언어 모델이 환각되는 이유는 무엇입니까?

편집자에 의한 이미지 | chatgpt

틀 소개

언어 모델 (LM)과 그 사용자의 금지 인 환각은 그럴듯한 소리이지만 LM에 의해 생성 된 사실적으로 잘못된 진술입니다. 이러한 환각은 사용자 신뢰를 침식하고, 잘못된 정보를 전파하며, 출력이 높은 신뢰로 표현 되더라도 하류 결정을 오도 할 수 있기 때문에 문제가됩니다. 이러한 환각은 특히 불확실성의 기초가되는 잘못된 정보 마스크의 확신을 갖도록 주장 (기술 답변, 의료 또는 법적 요약, 데이터 분석)을 쉽게 확인할 수없는 시나리오에서 특히 번거 롭습니다.

최근 논문, “언어 모델이 환각을 느끼는 이유“Kalai, Nachum, Vempala 및 Zhang은 이러한 오류의 통계적 뿌리와 그들을 살아있는 사회-기술 인센티브를 모두 분석하는 과제를 취했습니다. 저자들은 생성 실수를 단순한 분류 역학에 연결하고 오늘의 훈련과 평가가 어떻게 확신을 가지고 있는지에 대한 확신을 얻는 것보다 확신을 가지고있는 방법을 조사합니다. 종류의 변화는 실제로 그것들을 줄일 수 있습니다.

이 논문은 LM 환각의 원인과 지속성에 관한 몇 가지 높은 수준의 통찰력있는 계시를 제공하며, 우리는이 중 5 개를 살펴볼 것입니다.

틀 1. 환각의 근본 원인

TL; DR : 환각은 주로 불확실성을 인정하는 것에 대한 추측을 보상하는 훈련 및 평가 절차에 의해 발생합니다.

이 논문의 핵심 논증은 그럴듯하지만 부정확 한 진술로 정의 된 환각은 훈련 및 평가에 사용 된 절차가 불확실성의 인정보다는 자신감있는 추측을 실수로 보상하기 때문에 지속된다는 것이다. LMS는 “좋은 테스트 테이커”로 기능하도록 최적화되어 있으며, 불확실한 반응 (예 : “I not Mone”또는 IDK와 같은 채점 체계에서 점수를 최대화 할 수없는 경우 추측합니다. 공통 바이너리 0-1 점수 체계에서 불확실한 점수가 예상 점수를 극대화하는 시점을 추측합니다.

‘자신감 추측’을 완화하고 ‘불확실성의 인정’을 장려하기위한 제안 된 프롬프트
저자의 이미지 | 쌍둥이 자리

틀 2. 환각의 기원

TL; DR : 환각의 통계적 기원은 이진 분류에서 간단한 오류로 환원 될 수 있습니다.

이 논문은 신비하지 않다고 주장함으로써 환각을 시연한다. 이 분석은 생성 오류 (환각과 같은)를 “IS-IT-Valid (IIV)”이진 분류라는 감독 학습 문제에 연결합니다. 사전 여지 (교차-엔트로피 손실) 동안 최소화 된 통계적 목표는 시스템이 사실과 잘못된 진술을 통계적으로 구별 할 수없는 경우 자연스럽게 생성 오류로 이어집니다. 이 분석은 수학적 관계를 보여줍니다. 생성 오류율은 IIV 오 분류 속도의 두 배에 비례합니다.

‘유효한’진술을 잘못 분류하면 환각이 발생합니다
저자의 이미지 | 쌍둥이 자리

틀 3. 환각은 불가피합니다

TL; DR : 보정 된 기본 모델은 오류가없는 교육 데이터를 사용하더라도 수학적으로 환각으로 강제됩니다.

이 논문은 훈련 코퍼스가 완벽하고 오류가 없더라도 사전 조정 중 통계적 목표를 최소화하는 과정은 여전히 ​​언어 모델이 오류를 생성하도록 이끌어 낼 것임을 보여줍니다. 이것은 교정 개념과 관련이 있습니다. 오류는 표준 교차 엔트로피 목표의 자연스러운 결과이기 때문에, 교정 된 잘 훈련 된 기본 모델 (예상 확률이 현실과 일치 함), 특히 본질적으로 본질적으로 실질적인 사실에 직면 할 때 필연적으로 오류를 생성해야합니다. 반대로, 오류를 피하는 기본 모델은 반드시 잘못 보정되어야합니다 (즉, 불확실성 추정은 잘못되어야합니다).

틀 4. 환각은 지속적입니다

TL; DR : 환각의 지속성은 잘못 정렬 된 1 차 평가의 “전염병”에 의해 주도된다.

훈련 후 기술은 종종 허위를 줄이기 위해 종종 기존의 영향력있는 벤치 마크 및 리더 보드의 대다수가 금지와 불확실성을 처벌하는 이진 등급 시스템 (예 : 정확성 또는 패스 속도)을 압도적으로 활용하기 때문에 지속됩니다. 이것은 “사회 기술”문제를 만듭니다. 모델 A가 정확하게 불확실성을 나타내지 만 모델 B가 확실하지 않은 경우 항상 추측하는 경우, 모델 B는 0-1 점수 이하의 점수 체계 이하의 모델 A를 능가하여 환각과 같은 추측의 동작을 강화합니다. 잘못 정렬 된 평가의 이러한 지배력은 근본 문제이며, 새로운 환각-특이 적 평가의 작은 부분을 추가하여 단순히 해결할 수 없습니다.

틀 5. 임의의 역할

TL; DR : 임의의 사실 (낮은 데이터 주파수)에서 발생하는 통계적 불확실성은 사전 여면 오류의 주요 동인입니다.

사전 배송 오류에 기여하는 주요 통계 요인 중 하나는 임의의 사실이 존재한다는 점으로, 간결한 패턴이 목표 함수를 설명하는 특정한 임의의 사실로 정의되어 훈련 데이터에서 필요한 지식이 없거나 드물기 때문에 전염병 불확실성을 초래합니다. 예로는 개별 생일이 포함됩니다. 분석에 따르면 임의의 사실에 대해 예상되는 환각율은 싱글 톤 속도 또는 훈련 데이터에서 정확히 한 번 나타나는 사실의 비율에 의해 낮은 부분이 낮다는 것을 보여줍니다. 예를 들어, 생일 사실의 20%가 한 번만 나타나면 모델이 해당 사실의 최소 20%에 대해 환각 될 것으로 예상됩니다. 다른 생성 오류 요소로는 불량 모델 (모델 패밀리가 문자 계산 예와 같이 개념을 잘 표현할 수없는 경우)과 Gigo (쓰레기, 쓰레기 아웃, 모델이 교육 데이터에서 오류를 복제하는 곳)가 포함됩니다.

틀 주요 테이크 아웃

몇 가지 테마가 종이를 함께 묶습니다.

첫째, 환각은 신비로운 실패가 아닙니다. 대신, 그것들은 평범한 타당성의 오 분류에서 발생합니다. 분류기가 거짓으로 진정으로 말할 수 없을 때 분류기가 만드는 동일한 종류의 이진 오류입니다.

둘째, 우리의 지배적 인 평가 문화는 불확실성의 표현을 처벌함으로써 자신감있는 추측을 암시 적으로 보상하므로, “나는 모르겠다”고 말하지 않는 모델은 틀린 경우에도 리더 보드에서 더 좋아 보인다.

셋째, 내구성있는 진보는 볼트 온 패치에서 나오지 않습니다. 벤치 마크 점수를 변경하여 교정 된 불확실성과 복제를 가치가있는 다음 교육 및 배치를 이러한 인센티브에 맞추어야합니다.

숙고해야 할 것 : 언제 답변을하지 않아야하는지 아는 사람들과 기계에 대한 정보 소비가 어떻게 생겼습니까?

Matthew Mayo (@ matmayo13)는 컴퓨터 과학 석사 학위를, 데이터 마이닝 분야의 대학원 졸업장을 보유하고 있습니다. Matthew는 KDNUGGETS & GUNTOLOGY의 편집장 관리 및 Machine Learning Mastery의 편집자로서 복잡한 데이터 과학 개념에 액세스 할 수 있도록하는 것을 목표로합니다. 그의 전문적인 관심사에는 자연어 처리, 언어 모델, 기계 학습 알고리즘 및 신흥 AI 탐색이 포함됩니다. 그는 데이터 과학 커뮤니티에서 지식을 민주화하는 사명에 의해 주도되고 있습니다. Matthew는 6 살 때부터 코딩을 해왔습니다.