Falcon 3-7B 교육을 사용하는 방법은 무엇입니까?

AI를 재정의하려는 TII의 야망은 고급 Falcon 3을 통해 한 단계 더 발전했습니다. 이 최신 세대 릴리스는 오픈 소스 AI 모델에 대해 큰 의미를 부여하는 성능 벤치마크를 설정합니다.

Falcon 3 모델의 경량 디자인은 우리가 기술과 소통하는 방식을 재정의합니다. 소형 장치에서 원활하게 실행되는 능력과 뛰어난 컨텍스트 처리 기능을 통해 이 모델의 출시는 고급 AI 모델에서 큰 도약을 이루었습니다.

14조 토큰에 달하는 Falcon 3의 확장된 훈련 데이터는 Falcon 2의 5.5조 토큰 크기의 두 배 이상인 상당한 개선입니다. 따라서 높은 성능과 효율성은 의심의 여지가 없습니다.

학습 목표

• Falcon 3 모델의 주요 기능과 개선 사항을 이해합니다.
• Falcon 3의 아키텍처가 어떻게 성능과 효율성을 향상하는지 알아보세요.
• 다양한 모델 크기와 사용 사례를 살펴보세요.
• 텍스트 생성 및 작업별 애플리케이션에서 Falcon 3의 기능에 대한 통찰력을 얻으십시오.
• Falcon 3의 향후 다중 모드 기능의 잠재력을 알아보세요.

이 기사는 의 일환으로 게재되었습니다. 데이터 과학 블로그톤.

Falcon 3 제품군: 다양한 모델 크기 및 버전

모델은 다양한 크기로 제공되므로 Falcon 3-1B, -3B, -7B 및 -10B가 있습니다. 이러한 모든 버전에는 대화형 애플리케이션을 위한 기본 모델과 지침 모델이 있습니다. -10B 명령 버전을 실행하더라도 Falcon 3의 다양한 모델을 아는 것이 중요합니다.

TII는 다양한 방법으로 모델을 호환 가능하게 만들기 위해 노력했습니다. 표준 API 및 라이브러리와 호환되며 사용자는 쉽게 통합할 수 있습니다. 또한 양자화된 모델이기도 합니다. 이 릴리스에서는 특별 영어, 프랑스어, 포르투갈어 및 스페인어 버전도 만들어졌습니다.

참고: 위에 나열된 모델은 일반 언어도 처리할 수 있습니다.

읽어보기: Falcon 3의 경량 디자인으로 어디서나 고급 AI를 경험해 보세요.

Falcon 3의 모델 아키텍처

이 모델은 쿼리 주의를 그룹화하기 위해 Flash Attention 2를 사용하는 디코더 전용 아키텍처에서 설계되었습니다. 그룹화된 쿼리 어텐션을 통합하여 매개변수를 공유하고 메모리를 최소화하여 추론 중 효율적인 작업을 보장합니다.

이 모델 아키텍처의 또 다른 중요한 부분은 Falcon 2의 두 배인 131K 토큰을 지원하는 방법입니다. 이 모델은 또한 다양한 작업을 처리할 수 있는 용량을 갖추면서 탁월한 압축과 향상된 성능을 제공합니다.

Falcon 3은 장기간의 상황별 훈련도 처리할 수 있습니다. 이 모델에서 기본적으로 훈련된 컨텍스트 32K는 길고 복잡한 입력을 처리할 수 있습니다.

이 모델의 주요 특성은 리소스가 적은 환경에서도 기능이 가능하다는 것입니다. 그리고 그것은 TII가 양자화를 통해 이러한 효율성을 충족하도록 만들었기 때문입니다. 따라서 Falcon 3에는 몇 가지 양자화된 버전(int4, int8 및 1.5 Bisnet)이 있습니다.

성능 벤치마크

다른 소규모 LLM과 비교하여 Falcon은 다양한 벤치마크에서 선두를 달리고 있습니다. 이 모델은 Llama와 같은 포옹 얼굴에 대한 다른 오픈 소스 모델보다 순위가 높습니다. 강력한 기능과 관련하여 Falcon 3는 Qwen의 성능 임계값을 능가합니다.

Falcon 3의 교육용 버전도 전 세계적으로 리더로 평가됩니다. 다양한 미세 조정 버전에 대한 적응성이 돋보입니다. 이 기능을 통해 대화형 및 작업별 응용 프로그램을 만드는 데 있어 최고의 성능을 발휘합니다.

Falcon 3의 혁신적인 디자인은 이 제품이 채택한 뛰어난 성능의 또 다른 기준점입니다. 확장 가능하고 다양한 버전을 통해 다양한 사용자가 배포할 수 있으며, 리소스 효율적인 배포를 통해 다양한 다른 벤치마크를 능가할 수 있습니다.

Falcon 3: 2025년 다중 모드 기능

TII는 다중 모드 기능을 통해 이 모델의 기능을 확장할 계획입니다. 따라서 이미지, 비디오, 음성 처리를 포함한 더 많은 응용 프로그램을 볼 수 있었습니다. 다중 모드 기능은 Falcon 3의 모델을 가져와 이미지와 비디오 생성에 텍스트를 사용할 수 있음을 의미합니다. TII는 또한 음성 처리를 지원하는 모델을 만드는 것도 가능하게 할 계획입니다. 따라서 연구원, 개발자 및 비즈니스에 유용할 수 있는 모든 기능을 사용할 수 있습니다.

이 모델이 개발자, 기업 및 연구원을 위해 설계되었다는 점을 고려하면 이는 획기적인 일이 될 수 있습니다. 또한 창의성과 혁신을 촉진하는 더 많은 산업 응용 프로그램을 만들기 위한 기반이 될 수도 있습니다.

다중 모드 기능의 예

다중 모드 애플리케이션에는 많은 기능이 있습니다. 이에 대한 좋은 예는 시각적 질문 답변입니다. 이 애플리케이션은 이미지, 비디오와 같은 시각적 콘텐츠를 사용하여 질문에 대한 답변을 제공하는 데 도움이 될 수 있습니다.

음성 처리는 다중 모드 기능의 또 다른 좋은 응용 프로그램입니다. 이 애플리케이션을 사용하면 모델을 탐색하여 텍스트에서 음성을 생성하거나 음성을 사용하여 텍스트를 생성할 수 있습니다. 이미지-텍스트 및 텍스트-이미지는 모델의 다중 모드 기능을 활용하는 훌륭한 사용 사례이며 검색 애플리케이션에 사용되거나 원활한 통합에 도움이 될 수 있습니다.

다중 모드 모달에는 광범위한 사용 사례가 있습니다. 다른 애플리케이션에는 이미지 분할 및 생성 AI가 포함될 수 있습니다.

Falcon 3-7B 교육을 사용하는 방법은 무엇입니까?

이 모델 실행은 텍스트 생성, 대화 또는 채팅 작업을 수행할 수 있으므로 확장 가능합니다. 긴 컨텍스트 입력을 처리하는 능력을 보여주기 위해 하나의 텍스트 입력을 시도하겠습니다.

필요한 라이브러리 가져오기

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

‘토치’ 가져오기는 PyTorch를 활용하여 딥 러닝 계산을 촉진하고 GPU에서 모델을 실행하는 데 도움을 줍니다.

사전 학습된 모델 로드

‘AutoModelForCausalLM’에서 사전 훈련된 인과 언어 모델을 로드하는 인터페이스를 얻습니다. 모델이 텍스트를 순차적으로 생성하기 위한 것입니다. 반면 ‘Autotokenizer’는 Falcon 3 모델과 호환되는 토크나이저를 로드합니다.

사전 훈련된 모델 초기화

model_id = "tiiuae/Falcon3-7B-Instruct-1.58bit"


model = AutoModelForCausalLM.from_pretrained(
 model_id,
 torch_dtype=torch.bfloat16,
).to("cuda")

Model_id는 로드하려는 모델을 식별하는 변수입니다. 이 경우 Falcon 3-7B Instruct입니다. 그런 다음 효율적인 GPU 성능을 얻기 위해 계산에서 ‘bfloat’를 활용하면서 HF에서 가중치와 구성을 가져옵니다. GPU는 추론 중에 가속 처리로 이동됩니다.

텍스트 처리 및 입력

# Load the tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_id)


# Define input prompt
input_prompt = "Explain the concept of reinforcement learning in simple terms:"


# Tokenize the input prompt
inputs = tokenizer(input_prompt, return_tensors="pt").to("cuda")

모델과 연결된 토크나이저를 로드한 후 이제 텍스트 생성을 위한 프롬프트를 입력할 수 있습니다. 입력 프롬프트는 토큰화되어 모델과 호환되는 형식으로 변환됩니다. 그 결과 토큰화된 입력은 텍스트 생성 중 효율적인 처리를 위해 GPU(“cuda”)로 이동됩니다.

텍스트 생성

output = model.generate(
   **inputs,
   max_length=200,  # Maximum length of generated text
   num_return_sequences=1,  # Number of sequences to generate
   temperature=0.7,  # Controls randomness; lower values make it more deterministic
   top_p=0.9,  # Nucleus sampling; use only top 90% probability tokens
   top_k=50,  # Consider the top 50 tokens
   do_sample=True,  # Enable sampling for more diverse outputs
)

이 코드는 토큰화된 입력으로 텍스트를 생성합니다. 텍스트의 출력 순서는 최대 200개의 토큰 길이로 설정됩니다. ‘온도’ 및 ‘top_p’와 같은 특정 매개변수를 사용하면 출력의 다양성과 무작위성을 제어할 수 있습니다. 따라서 이 설정을 사용하면 창의력을 발휘하고 텍스트 출력의 톤을 설정하여 이 모델을 사용자 정의하고 균형 있게 만들 수 있습니다.

산출:

 # Decode the output
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)

# Print the generated text
print(generated_text)

이 단계에서는 먼저 ‘decode’ 메서드를 사용하여 출력을 사람이 읽을 수 있는 텍스트로 디코딩합니다. 그런 다음, 디코딩된 텍스트를 인쇄하여 모델의 생성된 응답을 표시합니다.

generated_text

다음은 Falcon 3으로 실행한 결과입니다. 이는 모델이 출력을 생성할 때 컨텍스트를 어떻게 이해하고 처리하는지 보여줍니다.

그러나 이 모델은 과학 및 기타 산업 전반에 걸쳐 응용할 수 있는 다른 중요한 기능도 보유하고 있습니다.

Falcon 3의 응용 및 한계

Falcon 3 모델의 주요 특성은 다음과 같습니다.

• 32K 토큰에 도달하는 확장된 컨텍스트 처리는 작업별 문제를 실행할 때 다양성을 제공하는 능력을 보여줍니다.
• Falcon 3은 또한 복잡한 수학 문제, 특히 Falcon 3 -10B 기본 모델을 해결하는 데 큰 가능성을 보여주었습니다.
• Falcon 3 -10B와 해당 지침 버전은 모두 높은 코드 숙련도를 보여주며 일반적인 프로그래밍 작업을 수행할 수 있습니다.

제한사항

• Falcon 3는 영어, 스페인어, 프랑스어, 독일어를 지원하는데, 이는 이 모델의 글로벌 접근성에 제한이 될 수 있습니다.
• 이 모델은 현재 다중 모드 기능을 탐색하는 연구원이나 개발자에게만 제한되어 있습니다. 그러나 Falcon 3의 이 부분은 개발이 계획되어 있습니다.

결론

Falcon 3은 오픈 소스 AI 발전에 대한 TII의 헌신을 보여주는 증거입니다. 이는 최첨단 성능, 다양성 및 효율성을 제공합니다. 확장된 컨텍스트 처리, 강력한 아키텍처 및 다양한 애플리케이션을 갖춘 Falcon 3는 텍스트 생성, 프로그래밍 및 과학적 문제 해결을 혁신할 준비가 되어 있습니다. 다가오는 다중 모드 기능을 기반으로 유망한 미래를 지닌 이 모델은 주목할 만한 중요한 모델이 될 것입니다.

주요 시사점

Falcon 3 분석의 주요 내용은 다음과 같습니다.

• 향상된 추론 기능과 추가된 데이터 교육을 통해 이 모델은 Falcon 2보다 더 나은 컨텍스트 처리 기능을 제공합니다.
• 이 모델은 리소스 효율적으로 설계되어 가벼워지고 리소스가 적은 환경에서 양자화를 지원합니다. API 및 라이브러리와의 호환성으로 배포가 쉽고 통합이 원활해집니다.
• 수학, 코드 및 일반 컨텍스트 처리 분야에서 Falcon 3의 다양성은 놀랍습니다. 다중 모드 기능의 개발 가능성도 연구자들에게 전망입니다.

자원

자주 묻는 질문

이 기사에 표시된 미디어는 Analytics Vidhya의 소유가 아니며 작성자의 재량에 따라 사용됩니다.