PHI-3-MINI : 휴대 전화에서 LLM 성능을 재구성하는 3.8B 강국
링크 표
초록 및 1 소개
2 기술 사양
3 학술 벤치 마크
4 안전
5 약점
6 Phi-3 vision
6.1 기술 사양
6.2 학업 벤치 마크
6.3 안전
6.4 약점
참조
벤치 마크의 예제 예제
B 저자 (알파벳)
C 승인
추상적인
우리는 학문적 벤치 마크와 내부 테스트로 측정 한 전반적인 성능, Mixtral 8x7b 및 GPT-3.5 (예 : MMLU에서 69%, MT-Bench에서 8.38)와 같은 모델의 모델에 대한 모델의 경쟁 업체 인 3.3 조 토큰으로 훈련 된 38 억 개의 매개 변수 언어 모델 인 PHI-3-MINI를 소개합니다. 혁신은 전적으로 우리의 교육을위한 데이터 세트에 있으며, 공개적으로 사용 가능한 웹 데이터 및 합성 데이터로 구성된 PHI-2에 사용 된 것의 확장 버전 인 교육 버전에 있습니다. 이 모델은 또한 견고성, 안전 및 채팅 형식을 위해 더욱 정렬됩니다. 또한 PHI-3-SMALL 및 PHI-3-MEDIUM이라는 4.8T 토큰을 위해 훈련 된 7B 및 14B 모델로 초기 매개 변수 스케일링 결과를 제공합니다. PHI-3-Small 및 PHI-3-Medium (예 : MMLU에서는 각각 75% 및 78%, MT- 벤치에서 8.7 및 8.9). 또한 이미지 및 텍스트 프롬프트에 대한 강력한 추론 기능을 갖춘 PHI-3-MINI를 기반으로 42 억 파라미터 모델 인 PHI-3-VISION도 소개합니다.
1 소개
지난 몇 년 동안 AI의 놀라운 진보는 전 세계적으로 전 세계적으로 끊임없는 모델과 데이터 세트로 확장하는 데 큰 노력을 기울일 수 있습니다. 대형 언어 모델 (LLMS)은 불과 5 년 전 불과 10 억 개의 매개 변수에서 크기가 꾸준히 증가했습니다 (GPT-2는 15 억 개의 매개 변수를 가졌습니다. [RWC+ 19]) 오늘날 일억 파라미터. 이 노력의 자극은 소위 스케일링 법률 인 대형 모델을 훈련시켜 얻는 겉보기에 예측 가능한 개선에서 시작됩니다. [KMH+ 20, HBM+ 22, MRB+ 23]. 그러나이 법은 “고정 된”데이터 소스를 가정합니다. 이 가정은 이제 프론티어 LLM 자체의 존재에 의해 크게 혼란을 겪으므로, 우리는 새로운 방식으로 데이터와 상호 작용할 수 있습니다. PHI 모델에 대한 이전 작품에서 [GZA+ 23, LBE+ 23, JBA+ 23] 공개적으로 이용 가능한 웹 데이터의 LLM 기반 필터링과 LLM 제작 합성 데이터의 조합은 일반적으로 훨씬 더 큰 모델에서만 볼 수있는 소규모 언어 모델에서 성능을 발휘할 수 있음을 보여 주었다. 예를 들어,이 데이터 레시피에 대해 훈련 된 이전 모델 인 PHI-2 (2.7B 매개 변수)는 일반 데이터에 대해 25 배 더 큰 모델의 성능과 일치했습니다. 이 보고서에서는 PHI-2에 사용되는 더 크고 고급 버전의 데이터 세트에 대해 3.3T 토큰에 대해 훈련 된 새로운 모델 인 PHI-3-MINI (3.8B 매개 변수)를 제시합니다. 크기가 작기 때문에 Phi-3-Mini는 현대적인 전화기에서 로컬로 쉽게 추론 할 수 있지만 (그림 2 참조) Mixtral 8x7b와 같은 모델과 함께 보이는 품질을 달성합니다. [JSR+ 24] 및 GPT-3.5.
저자 :
(1) 화난 압둘;
(2) Sam Ade Jacobs;
(3) Ammar Ahmad Cloud;
(4) Jyoti Aneja;
(5) Ahmed Dishllah;
(6) 유일한 awadalla;
(7) Nguyen Bach;
(8) 어느 Bahree;
(9) Arash Bakhtiari;
(10) Jianmin Bao;
(11) Harkirat Behl;
(12) 알론 벤하임;
(13) 미샤 빌란 코;
(14) Johan Bjorck;
(15) Sébastien Bubeck;
(16) Qin Cai;
(17) 마틴 카이;
(18) Caio César Teodoro Mendes;
(19) Weizhu Chen;
(20) Vishrav Chaudhary;
(21) 동 첸;
(22) Dongdong Chen;
(23) 엔찬 첸;
(24) Yi-Ling Chen;
(25) Chopra 헤어;
(26) Xiyang Dai;
(27) 오늘의 동맹국;
(28) Gustavo de Rosa;
(29) Matthew Dixon;
(30) 로넨 핸드;
(31) Victor Fragoso;
(32) 및 반복;
(33) Mei Gao;
(34) Min Gao;
(35) Jianfeng Gao;
(36) 어떤 가그;
(37) Abhishek Goswami;
(38) Suriya Gunasekar;
(39) Emman Haider;
(40) Junheng Hao;
(41) Russell J. Hewett;
(42) Jamie Huynh;
(43) Mojan Javaheripi;
(44) Xin Jin;
(45) Piero Kauffmann;
(46) Nikos Karampatziakis;
(47) 동우 김;
(48) Mahoud Khademi;
(49) Lev Kurilenko;
(50) 제임스 R. 리;
(51) Yin Tat Lee;
(52) Yuanzhi Li;
(53) Yunsheng Li;
(54) Chen Liang;
(55) Lars Liden;
(56) 어떤 liu;
(57) Mengchen Liu;
(58) Weishung Liu;
(59) 에릭 린;
(60) Zeqi Lin;
(61) Chong Luo;
(62) Piyush Madan;
(63) Matt Maggola;
(64) Arindam Mitra;
(65) Modi Hardik;
(66) Anh Nguyen;
(67) 브랜든 노릭;
(68) Barun Patra;
(69) Daniel Perez-Becker;
(70) 토마스 캐리;
(71) Reid Pryzant;
(72) Heyang Qin;
(73) Marko Radmilac;
(74) Corby Rosset;
(75) 삼부다 로이;
(76) 리위의 옵션;
(77) Olli Saarikivi;
(78) 아시아 인;
(79) Adil Salim;
(80) Michael Santacroce;
(81) 시탈 샤;
(82) 닝 상하이;
(83) Hiteshi Sharma;
(84) Swadheen Shukla;
(85) Xia Song;
(86) 다나카 마사 이로;
(87) Andrea Tupini;
(88) Xin Wang;
(89) Lijuan Wang;
(90) Chunyu Wang;
(91) Yu Wang;
(92) 레이첼 워드;
(93) Guanhua Wang;
(94) Philipp Witte;
(95) haiping wu;
(96) Michael Wyatt;
(97) 빈 시아 오;
(98) can xu;
(99) Jiahang Xu;
(100) Weijian Xu;
(101) Sonali Yadav;
(102) 팬;
(103) Jianwei Yang;
(104) Ziyi Yang;
(105) Yifan Who;
(106) Donghan Yu;
(107) Lu Yuan;
(108) Chengruidong Zhang;
(109) 시릴 장;
(110) Jianwen Zhang;
(111) Li Lyna Zhang;
(112) Yi Zhang;
(113) Yue Zhang;
(114) Yunan Zhang;
(115) Xiren Zhou.
Post Comment