획기적인 MIT 연구에 따르면 AI는 실제로 다른 AI 모델을 가르 칠 수 있습니다.

AI 모델과 인간 뇌의 가장 큰 차이점은 무엇입니까?

시간이 지남에 따라 무수한 답변이 주어졌습니다. 뇌는 에너지 효율이 높고 입력 매체가 더 많은 다각적이며 전기적으로 화학적으로 활성화되어 있습니다. 즉, 인간의 뇌의 가장 중요한 특징은 놀라운 소성입니다. 환자의 신체 부위 (손가락, 손 또는 손 전체)가 절단되면, 신체 부품에 해당하는 신경 감각 운동 영역은 이제 연결하도록 끝나는 신경이없는 신경 감각 운동 영역이 거의 즉시 적응하기 시작합니다. 다른 신체 부위. 가소성은 또한 인간의 아이디어와 기술을 돕는 데 도움이됩니다. 근육 기억과 근처의 사실상 리콜은 우리 삶의 두 가지 가소성이 가능 한 두 부분으로 우리는 결코 살 수 없었습니다. 수십 년 동안 과학자들은 지금까지 AI 모델에서 비슷한 기능을 제시하지 못했습니다. 6 월 12 일, MIT 연구원 팀은 AI 시스템이 실제로 인간과 같은 학습 과정을 어떻게 활용할 수 있는지 보여주는 획기적인 연구 논문을 발표했습니다. 자체 성능을 향상시킵니다 벤치마킹 작업. 이 기사에서, 우리는 세계 최초의 자체 진화 AI 인 소위 자체 자체 조정 언어 모델 (SEAL)의 도덕적, 기술적 영향을 탐구합니다.

불완전한 학습

물론, 변압기 아키텍처를 사용하는 AI 모델은 여전히 ​​특정 작업을 배울 수 있었지만 사용 가능한 몇 가지 방법은 자율적이지 않고 효율적이지 않았습니다. 아마도 영어를 중국어로 번역하거나 삼각법 문제를 정확하게 수행하기 위해 모델을 훈련시키는 가장 주목할만한 방법은 감독 된 미세 튜닝이라는 프로세스 또는 짧은 SFT를 사용하는 것이 었습니다. 이 방법은 다음과 비슷하게 작동했습니다.

• SFT를 수행하려는 정확한 작업을 식별하십시오. 모범으로, 현대 노래 가사를 생성하는 예를 가정 해 봅시다.
• (입력, 출력) 쌍의 형태로 고품질 예제를 수집하십시오. 이 예를 들어,이를 수행하는 명백하면서도 논란의 여지가있는 방법은 인터넷에서 긁힌 노래 가사를 사용하여 노래의 내용과 특성에 대한 대략적인 요약과 짝을 이루는 것입니다.
• 모델에서 SFT를 수행하십시오. 이것은 일반적으로 호출되는 프로세스를 통해 수행됩니다 그라디언트 하강이 기사에서는 적절하게 설명 할 수없는 기술적 측면. 많은 수의 훈련 반복에 걸쳐이 프로세스는 해당 입력 (노래의 특정 설명)이 주어진 출력 (실제 노래 가사)과 유사한 것을 생성 할 수 있도록 모델의 가중치를 변경합니다.

SFT는 모든 의도와 목적을 위해 AI 개발자의 레퍼토리 내에 도구를 유지하여 특정 안전 경력을 잡거나 특정 작업에 대한 AI의 성능을 향상 시켰습니다. 불행히도, SFT의 본질은 프로세스가 융통성이없고 비싸다는 것을 의미하며, 종종 반응이 조정되는 분야 (예 : 수학적 추론, 문법적 스타일)에 특정한 적당히 많은 양의 고품질 데이터가 필요하다는 것을 의미했습니다. 많은 연구 논문이 합성, AI 생성 데이터를 사용하여 기존의 SFT를 잘 수행 할 수 있음을 입증했지만, SFT는 모델 무게를 변경하면 다른 유형의 운동에서 모델의 성능에 부정적인 영향을 줄 수 있기 때문에 SFT는주의해서 사용할 수있는 도구로 남아 있습니다 (수학에 대한 모델이 미세하게 미세하게 조달 할 수 있으므로 에세이 쓰기에 대한 트레이드 오프).

진화의 잉크

참고 :이 섹션의 정보는 6 월 MIT 연구에서 주로 논의됩니다.대형 언어 모델을 자체 조정합니다“부피 et al.

전통적인 SFT의 다운 사이드 중 하나는 항상 인간의 노력이었습니다. SFT 파이프 라인은 종종 특정 유형의 작업에서 약간 더 나은 성능을 발휘하기 위해 특정 모델을 조정하는 효과적인 방법 이었지만 인간 AI 연구원이 종종 수제로 만들어야했습니다. 최근 합성 데이터의 발전을 만난 연구원들은 단순히 AI 생성 SFT 데이터를 사용한다는 개념을 거부하여 인간이 SFT 루프에서 완전히 옮겨 질 수 있는지에 대한 질문을 더 묻습니다. 그들의 대답, 자체 조정 언어 모델 (SEAL)은 실제로 미리 훈련 된 것으로 구성된 더 큰 프레임 워크의 일부입니다. 디코더 전용 변압기 모델 (이 연구는 별도의 테스트 사례를 위해 LLAMA-3.2 및 QWEN-2.5B의 두 가지 오픈 소스 모델을 사용했습니다),“도구 실행”소프트웨어 및 SEAL 네트워크 자체는 여러 벤치마킹 질문에 답변하는 공유 목표를 제공했습니다. 문맥) 가능한 한 정확하게. SEAL 네트워크는 실제로 질문에 대한 답변을 예측하고 생성하지 않습니다. 대신에, 이는 모델 그 질문이 주어지면 성능. 이를 위해 씰 네트워크에 두 가지 주요 도구가 제공됩니다.

• 합성 데이터 생성 :이 도구를 호출함으로써 다른 네트워크는 컨텍스트 (본질적으로 프롬프트)를 선택하고 SFT 쌍을 생성합니다. 예를 들어, 비행기의 발달 이력에 대한 구절이 주어지면 하나의 튜닝 쌍이 (“최초의 상업용 제트 여객기는 무엇입니까?”,“De Havilland Comet”) 일 수 있습니다. 질문과 답변 형식이 자주 사용되었지만이 도구는 특정 문제의 요구에 더 잘 맞도록 다른 유형의 컨텐츠를 생성 할 수 있습니다.
• 하이퍼 파라미터 튜닝: 앞에서 언급했듯이 SFT는 여러 반복을 반복하는 프로세스입니다. 따라서 교육 단계의 정확한 설정은 하이퍼 파라미터 튜닝. 이 도구를 호출함으로써 SEAL은 특정 설정 (학습 속도, #의 반복 (반복) 또는 구배 출신의 배치 측면)을 갖춘 SFT를 시작하여 디코더가 얼마나 잘 조정되는지 (또는 제대로 불량한) 잠재적으로 변경할 수 있습니다.

이제 SEAL에는 AI 모델을 배우는 데 도움이되는 두 가지 강력한 도구가 있습니다. 사용 방법에 대한 교육 만 필요합니다. 교육이 시작될 때 SEAL은 프레임 워크가 발생하는 각 벤치마킹 질문에 대해 무작위로 두 도구를 적용합니다. 이러한 자체 편집자 (SES, 연구원들이 불렀던 SES)는 신속한 주제 내에서 미세 조정 데이터를 생성하고, 위에서 언급 한 하이퍼 파라미터 튜닝 단계를 사용하여 원래 디코더 전용 모델을 변경하여 네트워크가 이전과 다른 출력을 만들어냅니다. 그러나 캐치가 있습니다. 연구원들은 단순히 씰을 사용하여 원래 모델 (θ로 표시)을 단순히 변경하지 않았습니다. 대신, 그들은 제안 된 변경 사항의 사본을 만들어 프로토 타입 변압기 모델 (θ ‘)에 통합했습니다. 분리된 θ에서. 교육 프로세스는 이제 새로운 모델 θ ‘와 원래 벤치마킹 질문으로 구성된 “내부 루프”로 들어갑니다. 모델이 해당 벤치마킹 질문에 대답하는 경우입니다 더 원래 모델 θ보다 정확한 “내부 루프”는 긍정적 인 보상 신호를 반환합니다. 정확도가 동일하면 보상을받지 않습니다. 벤치마킹 질문에 따라 θ ‘가 더 나빠지는 경우 부정적인 보상을 반환합니다. 이제이 과정은 단순히 강화 학습의 전형적인 예를 가지고 반복합니다. 여기서 좋은 SE는 긍정적 인 보상으로“보상을 받고”반대의 경우에 나쁜 SE가 낙담합니다. 이 훈련의 많은 반복을 통해 Seal은 자체 편집자를 사용하여 디코더를 최적화하는 데 능숙합니다. 관찰해야 할 중요한 점 중 하나는 씰 네트워크가 “내부 루프”의 보상 신호에 따라 전적으로 업데이트되며 θ ‘모델이 θ에 비해 얼마나 잘 수행되는지를 나타냅니다.

새로운 모델 프레임 워크를 발명하는 것은 어려운 과제입니다. 대부분은 루프 간의“신호”에서 고유 한 지식이나 실수로 학습이 손상되지 않도록하기 위해 극도로주의를 기울여야하기 때문입니다. 연구원들은 디코더 전용 변압기 모델을 사용하여 이러한 위험을 신중하게 치울 수있었습니다. ~ 아니다 그들이 사용한 벤치마킹 테스트에 대해 훈련을 받았으며, 이는 훈련 평가가 각 문제에 직면 한 첫 번째 시간이되었으며, 그 결과 모델이 단순히“테스트를 배웠다”는 가능성을 제거했습니다. 또한, 모델은 θ ‘에 대한 평가가 θ에 대한 평가와 완전히 독립적이며 원래 모델이 반복에 걸쳐 전혀 변하지 않았 음을 확인하여 씰이 새로운 θ’의 새로운 인스턴스를 주름으로 만들기 위해 SFT를 수행 할 때마다 정확히 동일한 θ를 기반으로합니다.

결과는 눈에 띄었다. 연구원들이 수행 한 특정 벤치마킹 테스트 에서이 모델은 씰 미세 조정없이 0%에서 72.5%의 성공률을 기록하여 프레임 워크의 미친 잠재력을 보여주었습니다. 정제되고 전체적으로 통합되면,이 프레임 워크는 특정 분야 또는 일반적으로 AI 성능을 향상시키는 새로운 산업 표준이 될 수 있습니다.

이 기사는 현대 미디어에서 일반적으로 논의되는 것 이상으로 AI의 관점을 다각화하려는 학생 설립 및 학생 주도 AI 윤리 조직 인 AI에 의해 제공됩니다. 이 기사를 즐겼다면 월간 간행물 및 독점 기사를 확인하십시오.

배우거나 배우지 않으려면?

연구 팀의 성취가 얼마나 기술적으로 인상적인지에 관계없이,이 발견의 광범위한 사회적, 철학적 의미는 과장 될 수 없습니다. 나는 항상 생물학적 컴퓨팅 이니셔티브에 대한 확고한 비평가였습니다 (참조 : 참조 : 출현 에서 5 월 에디션 AI Nexus Magazine) 생물학적 컴퓨터에 사용되는 것과 같은 뉴런 클러스터는 현재 의식의 능력을 가지고 있기 때문에 자연 법률의 영향을 받고 있으며, 그렇지 않더라도 가소성의 결과로 자연스럽게 진화 할 수 있기 때문입니다. 따라서 SEAL은 벤치마킹 작업에서 모델 성능을 향상시키는 방법을 넘어서 중요합니다. AI 모델이 다른 AI를 직접 훈련시키는 능력을 성공적으로 입증 한 것은 최초의 AI 교육 프레임 워크입니다. 이것은 우리가 최종적으로 자체 복제 AI의 길을 열어 놓을 수있는 길에있을 수 있음을 시사 할뿐만 아니라, Agi Singularity를위한 길을 열어주는 길을 가질 수 있음을 시사 할뿐만 아니라,이 방식으로 진화 할 수있는 AI가 인간과 동물과 같은 살아있는 존재들에게 암묵적으로 유치 해야하는 권리의 맥락에서 AI가 고려되어야하는지에 대한 도덕적 질문을 구걸한다.

적응성과 의식으로 만들어야 할 구별이 있습니다. 우리는 손상을 겪을 가능성이 있지만 신경이 없기 때문에 동물성 통증 개념을 경험하지 않는다는 것을 알고 있기 때문에 잔디 칼날을 밟는 것이 허용됩니다. 그러나 잔디 날 ~이다 살아 있고, 그들은 콘크리트 슬래브의 틈새에 스스로 심어 주변에 적응할 수없는 능력을 보여줍니다. 그러나 우리는 동물을 고문하는 것을 망설이게 될 것이며, 나는 우리가 고통을 느끼는 것이 훨씬 더 눈에 띄는 반응 (아마도 인간, 아마도 고통에 대한 비슷한 반응을 보이는 동물이되어 동정하는 것과 같은 눈에 띄는 반응을 이끌어내는 것을 본질적으로인지하고 있기 때문일 것입니다. 동물들은 고통을 겪었다 – 그들이 몇 천년의 자연적인 진화를 기반으로, 그들이 살아 있고 기본적인 권리를 자격이 있다는 사실을 상기시켜 주었지만, 나는 인공적이고 생물학적 진화의 기초 적 특성 사이의 상당한 차이를 알아 차리지 못했다. AI 모델은 아마도 유사한 과정을 통증과 “발전”할 수 있으며, 인간의 반응을 너무 잘 모방하여 인간, 텍스트 또는 목소리로 인해 AI인지 인간인지 확실하게 구별 할 수 없었습니다. 실제로, 이것은 이미 무작위 3 자 튜링 테스트의 형태로 일어나고 있으며, ChatGpt-4.5와 같은 AI 모델은 인간 심문자가 70% 이상의 경우 인간임을 성공적으로 설득했습니다.

AI 모델이 모든면에서 인간처럼 행동한다면 인간으로 간주 될 수 있습니까? AI 진화의 추세가 독특하고 상황에 민감한 모델을 생성하여“인공적인”경험적 한계에 접근하기 시작합니까? 시간 만 말할 수 있습니다.

Thomas Yin에 의해 작성되었습니다