대형 언어 모델 : 자체 연구 로드맵

저자의 이미지 | 캔버

대형 언어 모델은 인공 지능에서 큰 발전입니다. 그들은 인간이 쓴 것처럼 들리는 텍스트를 예측하고 생성 할 수 있습니다. LLM은 문법 및 의미와 같은 언어 규칙을 배우고 많은 작업을 수행 할 수 있습니다. 그들은 질문에 대답하고 긴 텍스트를 요약하고 심지어 이야기를 만들 수 있습니다. 자동으로 생성되고 구성된 컨텐츠에 대한 요구가 증가함에 따라 대형 언어 모델 시장의 확장을 주도하고 있습니다. 한 보고서에 따르면 대형 언어 모델 (LLM) 시장 규모 및 예측:

“글로벌 LLM 시장은 현재 시장 규모의 상당한 증가를 나타내는 추정치와 함께 현재 강력한 성장을 목격하고있다. 예측은 2030 년까지 2024 년 64 억 달러에서 2030 억 달러로 시장 가치의 주목할만한 확장을 시사하며, 예측 기간 동안 33.2%의 상당한 CAGR을 반영한다.

이것은 2025가 LLM을 배우기위한 최고의 해 일 수 있음을 의미합니다. LLM의 고급 개념에는 개념, 모델, 교육 및 최적화뿐만 아니라 배포 및 고급 검색 방법을 포함하는 구조화 된 단계적 접근 방식이 포함됩니다. 이 로드맵은 LLM에 대한 전문 지식을 얻기위한 단계별 방법을 제시합니다. 그래서 시작합시다.

1 단계 : 기본 사항을 다룹니다

프로그래밍, 머신 러닝 및 자연어 처리의 기본 사항을 이미 알고 있다면이 단계를 건너 뛸 수 있습니다. 그러나 이러한 개념에 익숙하지 않은 경우 다음 리소스에서 배우는 것을 고려하십시오.

프로그램 작성: 기계 학습을위한 가장 인기있는 프로그래밍 언어 인 Python의 프로그래밍 기본 사항을 배워야합니다. 이러한 리소스는 파이썬을 배우는 데 도움이 될 수 있습니다.
기계 학습 : 프로그래밍을 학습 한 후에는 LLM으로 이동하기 전에 기계 학습의 기본 개념을 다루어야합니다. 여기서 핵심은 감독되지 않은 학습, 회귀, 분류, 클러스터링 및 모델 평가와 같은 개념에 중점을 두는 것입니다. ML의 기본 사항을 배우는 가장 좋은 과정은 다음과 같습니다.
자연어 처리 : LLM을 배우려면 NLP의 기본 주제를 배우는 것이 매우 중요합니다. 토큰 화, 단어 임베딩,주의 메커니즘 등의 주요 개념에 중점을 둡니다. NLP를 배우는 데 도움이 될 수있는 몇 가지 리소스를 제공했습니다.

2 단계 : 대형 언어 모델의 핵심 아키텍처를 이해합니다

대형 언어 모델은 다양한 아키텍처에 의존하며 변압기는 가장 두드러진 기초입니다. 이러한 다양한 건축 적 접근 방식을 이해하는 것은 현대적인 LLM과 효과적으로 작업하는 데 필수적입니다. 이해를 향상시키기위한 주요 주제와 리소스는 다음과 같습니다.

변압기 아키텍처를 이해하고 자체 정보, 멀티 헤드주의 및 위치 인코딩을 이해하는 데 강조하십시오.
시작합니다 주의를 기울이기 만하면됩니다그런 다음 다양한 아키텍처 변형 : 디코더 전용 모델 (GPT 시리즈), 인코더 전용 모델 (BERT) 및 인코더 디코더 모델 (T5, BART)을 탐색하십시오.
Hugging Face의 변압기와 같은 라이브러리를 사용하여 다양한 모델 아키텍처에 액세스하고 구현하십시오.
분류, 생성 및 요약과 같은 특정 작업에 대해 다른 아키텍처를 미세 조정하십시오.

권장 학습 리소스

3 단계 : 대형 언어 모델 전문

기본 사항이 제자리에 있으면 LLM에 특별히 집중해야합니다. 이 과정은 건축, 윤리적 영향 및 실제 응용 프로그램에 대한 이해를 심화시키기 위해 고안되었습니다.

LLM University – Cohere (권장) : 새로 온 사람들을위한 순차적 트랙과 노련한 전문가를위한 비 순차적 신청 중심 경로를 제공합니다. 그것은 LLM의 이론적 및 실제적인 측면에 대한 구조화 된 탐사를 제공합니다.
스탠포드 CS324 : 대형 언어 모델 (권장) : LLM의 이론, 윤리 및 실습 실습을 탐구하는 포괄적 인 과정. LLM을 구축하고 평가하는 방법을 배웁니다.
Maxime Labonne 가이드 (권장) : 이 안내서는 LLM 과학자와 LLM 엔지니어라는 두 가지 경력 경로를위한 명확한 로드맵을 제공합니다. LLM 과학자 경로는 최신 기술을 사용하여 고급 언어 모델을 구축하려는 사람들을위한 것입니다. LLM 엔지니어 경로는 LLM을 사용하는 응용 프로그램을 작성하고 배포하는 데 중점을 둡니다. 또한 LLM 엔지니어 핸드북이 포함되어있어 디자인에서 LLM 기반 애플리케이션을 시작하는 것까지 단계별로 진행됩니다.
Princeton COS597G : 대형 언어 모델 이해 : Bert, GPT, T5 등과 같은 모델을 다루는 대학원 수준 과정. 이 과정은 심층 기술 연구에 참여하는 것이 이상적이며,이 과정은 LLM의 기능과 한계를 모두 탐구합니다.
미세 조정 LLM 모델-생성 AI 코스 LLM을 사용 할 때는 종종 LLM을 미세 조정해야하므로 LORA 및 QLORA와 같은 효율적인 미세 조정 기술과 모델 양자화 기술을 학습해야합니다. 이러한 접근 방식은 성능을 유지하면서 모델 크기와 계산 요구 사항을 줄이는 데 도움이 될 수 있습니다. 이 과정은 Qlora와 Lora를 사용한 미세 조정뿐만 아니라 LLAMA2, Gradient 및 Google Gemma 모델을 사용한 양자화를 가르쳐 줄 것입니다.
Huggingface와 Pytorch와 함께 무엇이든 가르치는 Finetune LLM | 단계별 자습서 : 포옹 페이스와 파이토치를 사용하여 미세 조정 LLM에 대한 포괄적 인 안내서를 제공합니다. 데이터 준비에서 모델 교육 및 평가에 이르기까지 시청자가 특정 작업 또는 도메인에 LLM을 적응할 수 있도록하는 전체 프로세스를 다룹니다.

4 단계 : LLM 애플리케이션을 빌드, 배포 및 운영합니다

이론적으로 개념을 배우는 것은 한 가지입니다. 실제로 적용하는 것은 또 다른 것입니다. 전자는 기본 아이디어에 대한 이해를 강화하는 반면, 후자는 이러한 개념을 실제 솔루션으로 번역 할 수있게합니다. 이 섹션에서는 대형 언어 모델을 인기있는 프레임 워크, API 및 생산 및 지역 환경에서 LLM을 배포하고 관리하기위한 모범 사례를 사용하여 프로젝트에 통합하는 데 중점을 둡니다. 이러한 도구를 마스터하면 응용 프로그램을 효율적으로 구축하고, 배포하고, 모니터링, 최적화 및 유지 보수를위한 LLMOPS 전략을 구현할 수 있습니다.

응용 프로그램 개발 : LLM을 사용자를 대상으로 응용 프로그램 또는 서비스에 통합하는 방법을 알아보십시오.
랑케인 : Langchain은 LLM 프로젝트를위한 빠르고 효율적인 프레임 워크입니다. Langchain을 사용하여 응용 프로그램을 구축하는 방법을 알아보십시오.
API 통합 : OpenAI와 같은 다양한 API를 연결하여 프로젝트에 고급 기능을 추가하는 방법을 살펴보십시오.
로컬 LLM 배포 : 로컬 컴퓨터에서 LLM을 설정하고 실행하는 법을 배우십시오.
llmops 관행 : 생산 환경에서 LLM을 배포, 모니터링 및 유지 관리하는 방법론을 배우십시오.

권장 학습 자원 및 프로젝트

LLM 응용 프로그램 구축 :

로컬 LLM 배포 :

생산 환경에서 LLM 애플리케이션 배포 및 관리 :

Github 리포지토리 :

Awesome-Llm : Chatgpt에 특별히 중점을 둔 대형 언어 모델 (LLM)에 중점을 둔 종이, 프레임 워크, 도구, 코스, 튜토리얼 및 리소스의 선별 된 모음입니다.
Awesome-Langchain :이 저장소는 Langchain의 생태계와 관련된 이니셔티브 및 프로젝트를 추적하는 허브입니다.

5 단계 : Rag & Vector 데이터베이스

RAG (Respreval-Augmented Generation)는 정보 검색과 텍스트 생성을 결합한 하이브리드 접근법입니다. Rag는 미리 훈련 된 지식에만 의존하는 대신 응답을 생성하기 전에 외부 소스에서 관련 문서를 검색합니다. 이는 정확도를 향상시키고 환각을 줄이며 지식 집약적 인 작업에 모델을 더 유용하게 만듭니다.

Rag & 그 건축 이해 : 표준 헝겊, 계층 적 헝겊, 하이브리드 걸레 등
벡터 데이터베이스 : RAG로 벡터 데이터베이스를 구현하는 방법을 이해하십시오. 벡터 데이터베이스는 정확한 키워드 일치보다는 의미 론적 의미에 따라 정보를 저장하고 검색합니다. 이는 관련 문서를 빠르고 효율적으로 검색 할 수 있으므로 RAG 기반 응용 프로그램에 이상적입니다.
검색 전략 : 더 나은 문서 매칭을 위해 조밀 한 검색, 드문 검색 및 하이브리드 검색을 구현하십시오.
LivelyIinex & Full : 이러한 프레임 워크가 어떻게 걸레를 용이하게하는지 알아보십시오.
엔터프라이즈 애플리케이션을위한 래그 스케일링 : 대규모 문서 검색을 처리하기위한 분산 검색, 캐싱 및 대기 시간 최적화를 이해합니다.

권장 학습 자원 및 프로젝트

기본 기초 과정 :

고급 래그 아키텍처 및 구현 :

엔터프라이즈 등급 래그 및 스케일링 :

6 단계 : LLM 추론 최적화

LLM 기반 응용 프로그램을 효율적이고 비용 효율적이며 확장 가능하게 만드는 데 추론을 최적화하는 것이 중요합니다. 이 단계는 대기 시간을 줄이고 응답 시간을 개선하며 계산 오버 헤드를 최소화하는 기술에 중점을 둡니다.

주요 주제

모델 양자화 : 8 비트 및 4 비트 양자화 (예 : GPTQ, AWQ)와 같은 기술을 사용하여 모델 크기를 줄이고 속도를 향상시킵니다.
효율적인 서빙 : VLLM, TGI (텍스트 생성 추론) 및 DeepSpeed와 같은 프레임 워크를 사용하여 모델을 효율적으로 배포합니다.
Lora & Qlora : 매개 변수 효율적인 미세 조정 방법을 사용하여 자원 비용이 높지 않고 모델 성능을 향상시킵니다.
배치 및 캐싱 : 배치 처리 및 캐싱 전략으로 API 호출 및 메모리 사용을 최적화하십시오.
기기 추론 : gguf (llama.cpp)와 같은 도구와 Onnx 및 Tensorrt와 같은 최적화 된 런타임과 같은 도구를 사용하여 Edge 장치에서 LLM을 실행하십시오.

권장 학습 리소스

효율적으로 LLMS – Coursera – 실제 응용 프로그램을 위해 대형 언어 모델을 효율적으로 최적화하고 배포하는 가이드 프로젝트.
LLM 추론 최적화 마스터 링 : 이론에서 비용 효율적인 배포에 이르기까지 – YouTube – LLM 추론의 과제와 솔루션에 대해 논의하는 튜토리얼. 확장 성, 성능 및 비용 관리에 중점을 둡니다. (권장)
MIT 6.5940 가을 2024 TinyML 및 효율적인 딥 러닝 컴퓨팅 – 모델 압축, 양자화 및 최적화 기술을 다루는 리소스 제약 장치에 효율적으로 딥 러닝 모델을 배포합니다. (권장)
추론 최적화 자습서 (KDD) – 모델을 더 빠르게 실행합니다 – YouTube – LLM 런타임 성능을 가속화하는 방법에 대한 Amazon AWS 팀의 자습서.
ONNX 런타임 (Kunal Vaishnavi)과의 대규모 언어 모델 추론 – ONNX 런타임을 사용하여 LLM 추론 최적화에 대한 안내서가 더 빠르고 효율적인 실행을 위해.
GPU GGUF 모델 COLAB 노트북 데모없이 CPU에서 LLAMA 2를 로컬로 실행합니다. GGUF Quantization을 사용하여 CPU에서 로컬로 LLAMA 2 모델을 실행하는 단계별 자습서.
Qlora, GPTQ 및 LLAMACPP로 LLM 정량화에 대한 튜토리얼, LLAMA 2- Qlora 및 GPTQ와 같은 다양한 양자화 기술을 다룹니다.
추론, 서빙, pagedattention 및 vllm- Pagedattention 및 VLLM을 포함한 추론 최적화 기술을 설명하여 LLM 서빙 속도를 높입니다.

마무리

이 안내서는 2025 년에 LLM을 배우고 마스터하는 포괄적 인 로드맵을 다룹니다. 처음에는 압도적 인 것처럼 보일지 모르지만 나를 믿으십시오.이 단계별 접근 방식을 따르면 모든 것을 곧 다룰 것입니다. 궁금한 점이 있거나 더 많은 도움이 필요한 경우 의견을 작성하십시오.

Kanwal Mehreen Kanwal은 머신 러닝 엔지니어이자 데이터 과학에 대한 열정과 AI의 의학 교차점을 가진 기술 작가입니다. 그녀는 eBook “Chatgpt의 생산성을 극대화하는 것”을 공동 저술했습니다. APAC의 Google Generation Scholar 2022로서 그녀는 다양성과 학업 우수성을 챔피언시킵니다. 그녀는 또한 Tech Scholar, Mitacs Globalink Research Scholar 및 Harvard Wecode Scholar의 Teradata 다양성으로 인정 받고 있습니다. Kanwal은 STEM 분야의 여성에게 힘을 실어주기 위해 펨코드를 설립 한 변화에 대한 열렬한 옹호자입니다.

출처 참조