오픈 소스 AI는 이미 생산에 들어가고 있습니다.

오픈 소스는 웹 인터페이스에서 클라우드 네이티브 컴퓨팅에 이르기까지 오랫동안 혁신과 최첨단 기술 채택을 주도했습니다. 오픈 소스 인공 지능 (AI)의 급성장 분야에서도 마찬가지입니다. 오픈 소스 AI 모델과 빌드 및 사용 툴링은 전 세계의 개발자가 맞춤형 AI 솔루션을 구축하고 선택한 곳에서 호스팅 할 수있게 해줍니다.

당신이 알 수있는 것보다 더 빨리 일어나고 있습니다. 미국, 독일, 인도 및 브라질의 소프트웨어 개발 팀에 대한 2,000 명의 기업 응답자에 대한 설문 조사에서 거의 모든 사람들이 어느 시점에서 오픈 소스 AI 모델을 실험했다고 말했습니다. 설문 조사는 생성 AI 모델과 LLM (Lange Language Model)에 대해 구체적으로 묻지 않았으므로 이러한 결과에는 다른 유형의 AI 및 기계 학습 모델이 포함될 수 있습니다. 특히, 우리는 오픈 소스 이니셔티브가 오픈 소스 AI에 대한 그들의 정의를 발표하기 전에 설문 조사를 실시했습니다.

그러나 설문 조사 결과에 따르면 오픈 소스 AI 모델의 사용은 이미 놀랍게도 널리 퍼져 있으며 더 많은 모델이 확산되고 더 많은 사용 사례가 등장함에 따라 증가 할 것으로 예상됩니다. 소규모 모델의 상승이 증가함에 따라 생성 AI의 사용 사례에 이르기까지 오픈 소스 AI의 상승을 살펴 보겠습니다.

이 기사에서는 다음과 같습니다.

• 회사가 오늘날 생산에서 오픈 소스 AI 모델을 사용하는 방법과 이유를 탐색하십시오.
• 오픈 소스가 개발자가 AI를 사용하는 방식을 어떻게 변화시키는 지 알아보십시오.
• 향후 작은 오픈 소스 모델이 얼마나 많이 사용되는지 미리 살펴보십시오.

더 작고 개방형 모델을 사용하는 이유는 무엇입니까?

DeepSeek 모델, Meta의 Llama 모델 또는 Mistral AI의 모델과 같은 모델은 일반적으로 자신의 장치에서 다운로드하여 실행할 수 있으며 라이센스에 따라 작업 방식을 연구하고 변경할 수 있습니다. 많은 사람들이 더 작고 집중된 데이터 세트에 대해 교육을받습니다. 이 모델은 때때로 작은 언어 모델 (SLM)이라고하며 일부 시나리오에서 LLM의 성능과 경쟁하기 시작했습니다.

이 작은 모델을 사용하면 많은 이점이 있다고 Github의 책임자 인 Idan Gazit은 설명합니다. 실행 비용이 저렴하고 최종 사용자 장치를 포함하여 더 많은 장소에서 실행할 수 있습니다. 그러나 아마도 가장 중요한 것은 사용자 정의하기가 더 쉽습니다.

AI 컨설턴트이자 이전 Github 직원 인 Hamel Husain은 LLMS가 다양한 질문에 응답 해야하는 범용 챗봇으로 뛰어나는 반면, 조직은 틈새 솔루션이 필요할 때 소규모 AI 모델로 전환하는 경향이 있다고 설명합니다. 예를 들어, 오픈 소스 LLM을 사용하면 문법을 정의하고 모델이 해당 문법에 따라 유효한 토큰 만 출력해야합니다.

Husain은“오픈 모델이 항상 더 나은 것은 아니지만 작업이 좁을수록 해당 모델을 미세 조정하고 실제로 구별 할 수 있기 때문에 개방형 모델이 더 많이 빛날 것입니다.

예를 들어, 관찰 가능성 플랫폼 회사는 Husain을 고용하여 자연 언어를 회사의 사용자 정의 쿼리 언어로 변환 할 수있는 솔루션을 구축하여 고객이 쿼리 언어의 ins and-out을 배우지 않고도 쿼리를보다 쉽게 ​​제작할 수 있도록하는 솔루션을 구축 할 수있는 솔루션을 구축했습니다.

이것은 좁은 사용 사례였습니다. 그들은 자신의 쿼리 언어를 생성해야하며 다른 언어는 없었으며 유효한 구문을 생성해야했습니다. Husain은“그들의 쿼리 언어는 파이썬이라고하자와 같이 널리 퍼져있는 것이 아니므로 모델은 많은 예를 보지 못했습니다. “이것은 미세한 튜닝이 덜 난해한 주제보다 더 도움이되었습니다.” 이 회사는 또한 제 3 자와 협력하지 않고 LLM이 처리하는 모든 데이터에 대한 제어를 유지하기를 원했습니다.

Husain은 Mistral AI의 널리 사용되는 오픈 모델을 사용하여 맞춤 솔루션을 구축하게되었습니다. “나는 일반적으로 인기있는 모델이 이미 미세 조정되었고 일반적으로 구현을위한 포장 경로가 있기 때문에 일반적으로 인기있는 모델을 사용합니다.”라고 그는 말합니다.

오픈 소스는 LLM의 세계에 구조를 가져옵니다

오픈 소스 모델의 빠른 채택이 그들과 함께 작동하도록 설계된 도구에있는 것을 볼 수있는 한 곳. 예를 들어, 윤곽선은 오픈 소스 및 독점 모델을 사용하여 맞춤형 LLM 애플리케이션을 구축하는 데 점점 인기있는 도구입니다. 개발자가 LLM 출력 구조를 정의하는 데 도움이됩니다. 예를 들어 LLM이 JSON 형식의 응답을 출력하는 데 사용할 수 있습니다. 세밀하게 조정 된 작업 별 AI 응용 프로그램이 필요하기 때문에 대부분 생성되었습니다.

이전 작업에서 공동 제작자 및 관리자 인 Rémi Louf는 많은 문서 모음에서 일부 정보를 추출하고 JSON 형식으로 내보내는 데 필요했습니다. 그와 그의 동료 Brandon Willard는 작업을 위해 Chatgpt와 같은 범용 LLM을 사용하려고 시도했지만 잘 구조화 된 JSON 출력을 생성하는 데 어려움을 겪었습니다. Louf와 Willard는 컴파일러와 통역사에 대한 배경 지식을 가지고 있었고, 빌딩 컴파일러와 LLM의 출력을 구성하는 것 사이의 유사성을 발견했습니다. 그들은 자신의 문제를 해결하기 위해 개요를 구축했습니다.

그들은 프로젝트를 Hacker News에 게시했으며 빨리 이륙했습니다. Louf는“다른 많은 사람들이 LLM을 사용하여 특정 구조를 안정적으로 출력 할 수 없다는 것에 좌절감을 느꼈습니다. 팀은 계속해서 작업을 수행하여 기능을 확장하고 스타트 업을 설립했습니다. 이제 100 명 이상의 기고자가 있으며 OpenAI의 구조화 된 출력 기능을 고무 시켰습니다.

Louf는“이름을 줄 수는 없지만 일부 대기업은 프로덕션에 개요를 사용하고 있습니다.

다음은 무엇입니까

물론 오픈 소스 모델을 사용하여 사용자 정의 솔루션을 구축하려면 단점이 있습니다. 가장 큰 것 중 하나는 시간과 자원을 신속한 건설에 투자해야한다는 것입니다. 또한 애플리케이션에 따라 기본 인프라를 서서 관리해야 할 수도 있습니다. 이 모든 것은 API를 사용하는 것보다 더 많은 엔지니어링 리소스가 필요합니다.

Husain은“때때로 조직은 인프라를 더 많이 통제하기를 원합니다. “그들은 예측 가능한 비용과 대기 시간을 원하고 그 트레이드 오프 자체에 대한 결정을 내릴 의향이 있습니다.”

오픈 소스 AI 모델이 모든 문제에 적합하지는 않지만 여전히 초기입니다. 소규모 모델이 계속 향상됨에 따라 로컬 하드웨어에서 모델 실행에서 기존 애플리케이션 내에 맞춤형 LLM을 포함시키는 것까지 새로운 가능성이 나타납니다.

미세 조정 된 소형 모델은 이미 특정 작업에 대한 대형 모델보다 성능이 우수 할 수 있습니다. Gazit은 개발자가 다른 작고 맞춤형 모델을 결합하여 다른 작업을 완료하는 데 사용될 것으로 기대합니다. 예를 들어, 응용 프로그램은 데이터베이스를 한 모델로 구현하는 가장 좋은 방법에 대한 질문과 함께 프롬프트를 라우팅하면서 코드 완료를위한 프롬프트를 다른 모델로 라우팅 할 수 있습니다. “많은 다윗의 강점은 한 골리앗보다 강력 할 수 있습니다.”라고 그는 말합니다.

그 동안 대규모의 독점 모델도 계속 개선 될 것이며, 크고 작은 모델 개발이 서로 공급 될 것으로 예상 할 수 있습니다. Louf는“단기적으로는 또 다른 오픈 소스 혁명이있을 것입니다. “혁신은 종종 자원이 제한되는 사람들에게서 나옵니다.”

작성자가 작성했습니다