문화 지식과 언어 스캐 폴딩의 전달

링크 표

초록 및 1 소개

2. LLM의 프라이머

2.1. 역사적 기초

2.2. 변압기 기반 LLM

3. 고전적인 철학적 문제와의 인터페이스

3.1. 구성 성

3.2. 낙관주의와 언어 습득

3.3. 언어 이해와 근거

3.4. 세계 모델

3.5. 문화 지식과 언어 스캐 폴딩의 전달

4. 결론, 용어집 및 참고 문헌

3.5. 문화 지식과 언어 스캐 폴딩의 전달

또 다른 흥미로운 질문은 LLM이 문화적 습득에 참여하고 지식 전달에 중요한 역할을 할 수 있는지 여부입니다. 저명한 이론가들은 인간 지능의 열쇠가 문화 학습을위한 독특한 소인에 있다고 제안했다 (Tomasello 2009). 다른 영장류는 이러한 성향 중 일부를 공유 할 수 있지만,이 이론가들은 인간이 한 세대에서 다음 세대로 지식을 습득하고 지식을 습득하기 위해 서로 협력 할 수 있도록 독특하게 장비를 갖추고 있다고 주장합니다. Tomasello는 문화 학습을위한 독특한 인간의 능력을“래칫 효과”의 관점에서 설명했습니다.“래칫 효과”는 래칫 렌치에 대한 은유가 원하는 방향으로 더 돌릴 때마다 위치를 유지하기 위해 위치를 클릭합니다. Tomasello는 침팬지와 다른 동물들이 인간과 같은 방식으로 배울 수 있으며, 흰개미를 위해 낚시하기 위해 다른 도구 만들기 기술을 사용하는 다른 부대와 같은 문제 해결 전략에서 지역적 차이를 얻을 수 있다고 주장했다. 그러나 그는 인간만이 이전 세대가 중단 된 곳에서 바로 픽업 할 수 있으며 언어, 과학적, 사회 학적 지식에 대한 새로운 발전을 계속할 수 있다고 주장합니다. 이 끊임없는 래칫은 침팬지와 다른 동물의 상대적으로 정체 된 문화적 진화와 비교하여 인간 지식 축적과 발견의 꾸준한 진행을 허용하는 것입니다.

딥 러닝 시스템이 여러 작업 영역에서 이미 인간의 성과를 초과한다는 점을 감안할 때 LLM이 이러한 문화 학습의 많은 구성 요소를 인간 이론가들에게 발견하기 위해 많은 문화 학습 요소를 모방 할 수 있는지 묻는 것이 흥미 롭습니다. 예를 들어, 인간은 이미 GO와 체스의 명시 적 이론에서 미니 레벨을 생성하기 위해 알파 자로의 전략을 역전시키고 있습니다 (Schut et al. 2023). 마찬가지로, 재료 과학과 같은 특수 영역에서의 잠재 지식은 간단한 단어 임베딩 모델 Tshitoyan et al.에서도 추출 될 수 있습니다. (2019). 이러한 경우, 모델의 출력과 내부 활성화를 해석함으로써 문화적으로 트랜스 양육 가능한 지식을 합성하고 통과하는 것은 주로 인간입니다. 이 인간 주도의 해석과 전파는 문화적 래칫의 중요한 측면을 강조합니다. 새로운 솔루션을 생성 할뿐만 아니라 이러한 솔루션의 기본 원리를 이해하고 전달하여 누적 지식 성장을 가능하게합니다.

LLM은 인간 문화 학습에 참여하고 향상시키는 이론적으로 매개 된 방식으로 인간에게 자신의 전략을 설명 할 수 있었습니까? 이 질문은 LLM이 진정으로 분포되지 않은 데이터를 일반화 할 수 있는지 여부와 직접 관련이 있습니다. 섹션 3.1에서 논의 된 바와 같이, 변압기 기반 모델이 일부 열차 테스트 분포 교대로 구성 적으로 일반화 될 수 있다는 수렴 증거가있다.[14] 그러나 현재의 문제는 다른 종류의 일반화, 즉 진정으로 새로운 과제를 해결하는 능력과 교차합니다. Chollet (2019)의 분류법을 빌리려면, 우리는 알려진 작업 범위에 대한 친숙한 분포 내에서 새로운 데이터를 처리하는 지역 작업 일반화를 구별 할 수 있습니다. 광범위한 작업 일반화. 광범위한 작업 및 환경에 대한 겸손한 배포 시프트에서 새로운 데이터를 처리하는 것; 그리고 극단적 인 작업 일반화로, 이전 데이터 배포에서 상당한 이탈을 나타내는 완전히 새로운 작업에 대한 새로운 데이터를 처리해야했습니다. 현재 LLM은 현재 교육 세트에 반영된 다양한 작업을 마스터 할 수 있습니다. 따라서, 그들은 광범위한 작업 일반화가 아니라면 적어도 지역 과제 일반화를 나타냅니다. 그러나 군대 동료를 관찰하여 배우는 침팬지처럼, 그들은 종종 훈련 데이터에서 잘 표현 된 작업 범위를 넘어서는 시간을 넘어서는 데 어려움을 겪고있는 것 같습니다. McCoy et al. (2023).

또한, 래칫 효과는 혁신 외에도 안정적인 문화적 전파를 결정적으로 포함합니다. 인간과 마찬가지로 LLM은 새로운 솔루션을 생성 할뿐만 아니라 이전 솔루션을 넘어서 어떻게 발전했는지 인식하고 표현하여 이러한 혁신을“잠금”할 수 있습니까? 이러한 능력은 단순한 새로운 반응의 생성 이상의 것을 포함 할 것이다. 그것은 그들의 발견을 발견 할뿐만 아니라 이론화, 맥락화 및 의사 소통하는 인간 과학자들과 유사하게 솔루션의 참신함과 그 의미에 대한 이해가 필요합니다. 따라서 LLM에 대한 도전은 문제에 대한 새로운 해결책을 생성 할뿐만 아니라 문화 학습의 누적 과정에 기여하는 방식으로 혁신의 본질을 반영하고 전달하는 능력을 개발하는 데 있습니다. 이 능력은 이전 섹션에서 논의 된보다 진보 된 의사 소통 의도와 세계 모델 (예 : 인과 모델)이 필요할 것입니다. LLM은 다양한 형태의 과제 일반화로 약속을 보여 주지만, 문화 학습의 래칫 과정에 참여하는 것은이 분야의 추가 발전에 따라 현재 아키텍처의 범위를 벗어날 수있는 것으로 보입니다.

[14] 다양한 유형의 분포 이동을 포함하여 NLP에서 일반화 연구의 다양한 측면에 대한 체계적인 논의는 Hupkes et al. (2023).