뉴스 정보 뉴스 컴퓨터 소프트웨어 및 개발 Min-jun (민준) 7월 25, 2025 0 Comments

GitHub 모델을 사용하여 오픈 소스 AI 프로젝트의 추론 문제 해결

AI 기능은 오픈 소스 프로젝트를 빛나게 할 수 있습니다. 적어도 설정이 시작될 때까지 유료 추론 API 키를 요청합니다. 기고자 또는 캐주얼 사용자가 자신의 대형 언어 모델 (LLM) 키를 가져 오도록 요구하기 위해 트랙에서 채택을 중지합니다.

$ my-cool-ai-tool
Error: OPENAI_API_KEY not found

개발자는 도구를 시험해보기 위해 유료 계획을 구매하고 싶지 않을 수 있으며, 자체 호스팅 모델은 랩톱이나 GitHub 액션 러너에게는 너무 무거울 수 있습니다.

GitHub 모델은 모든 GitHub 계정에서 새로운 키, 콘솔 또는 SDK가 필요하지 않고 사용할 수있는 무료 OpenAi 호환 추론 API로 해당 마찰을 해결합니다. 이 기사에서는 프로젝트에이를 삭제하고 CI/CD로 실행하고 커뮤니티가 이륙 할 때 규모를 제공하는 방법을 보여줍니다.

들어 오자.

“AID ADS”의 숨겨진 비용

AI 기능은 오늘날 유비쿼터스를 느끼지만 현지에서 운영하는 데 여전히 몇 가지 이유가 있습니다.

유료 API : 가장 간단한 경로는 사용자에게 OpenAI 또는 인류 키를 요청하는 것입니다. 유료 API가 너무 비싸기 때문에 많은 애호가와 학생들에게는 별이 아닌 것입니다.
로컬 모델 : 2 B-Parameter LLM을 실행하면 가벼운 작업에 효과가있을 수 있지만 더 많은 인텔리전스가 필요한 것은 일반적인 랩톱 메모리를 지나서 빠르게 날아갈 것입니다.
도커 이미지 및 가중치 : 앱과 함께 모델을 묶을 수 있지만 멀티 기가 바이트 웨이트 풍선 설치 크기 및 속도를 늦추는 배포.

모든 추가 요구 사항은 잠재적 인 사용자 및 기여자를 필터링합니다. 필요한 것은 추론 종점입니다.

공공 프로젝트에 무료
기존 OpenAI SDK와 호환됩니다
랩톱, 서버 또는 액션 러너와 같이 코드가 실행되는 곳마다 사용할 수 있습니다.

그것이 Github 모델이 제공하는 것입니다.

간단히 말해서 Github 모델

그것이 무엇인지 : 이미 알고있는 채팅/완성 사양을 말하는 REST 엔드 포인트.
당신이 얻는 것 : GitHub가 호스팅하는 선별 된 모델 세트 (GPT-4O, DeepSeek-R1, Llama 3 등).
누가 호출 할 수있는 사람 : 권한을 통해 옵트 인 할 때 Github Personal Access Token (PAT) 또는 저장소의 내장 Github_token이있는 사람.
비용 비용 : 모든 개인 계정 및 OSS 조직에 대한 무료 계층; Metered Pay Tier는 더 높은 처리량과 더 큰 컨텍스트 Windows를 잠금 해제합니다.

API는 OpenAi를 반영하기 때문에 BaseURL을 수락하는 모든 클라이언트는 코드 변경없이 작동합니다. 여기에는 OpenAi-JS, OpenAi Python, Langchain, Llamacpp 또는 자신의 컬 스크립트가 포함됩니다.

GitHub 모델을 시작하는 방법

GitHub 모델은 OpenAI와 호환되므로 chat/completions API, 거의 모든 추론 SDK가 사용할 수 있습니다. 시작하려면 OpenAi SDK를 사용할 수 있습니다.

import OpenAI from "openai";

const openai = new OpenAI({
  baseURL: "
  apiKey: process.env.GITHUB_TOKEN  // or any PAT with models:read
});

const res = await openai.chat.completions.create({
  model: "openai/gpt-4o",
  messages: [{ role: "user", content: "Hi!" }]
});
console.log(res.choices[0].message.content);

GitHub 모델로 AI 오픈 소스 소프트웨어를 추론 제공 업체로 작성하는 경우 모든 GitHub 사용자는 GitHub 개인 액세스 토큰 (PAT)을 제공하여이를 통해 실행할 수 있습니다.

소프트웨어가 GitHub 작업에서 실행되면 사용자가 PAT를 제공 할 필요조차 없습니다. 요청함으로써 models: read 워크 플로 파일에서 내장 GitHub 토큰은 GitHub 모델에 대한 추론 요청을 할 권한이 있습니다. 즉, 한 번의 클릭으로 공유하고 설치할 수있는 전체 AI 기반 조치 배열을 빌드 할 수 있습니다. 예를 들어:

코드 검토 또는 PR 심사 봇
스마트 문제 태깅 워크 플로
주간 리포지토리 활동 보고서 생성기
그리고 Github 액션이 할 수있는 다른 모든 것

또한 GitHub 모델을 사용하면 사용자가 AI 추론을 쉽게 설정할 수 있습니다. 그리고 그것은 또 다른 긍정적 인 영향을 미칩니다. 기고자 AI 추론도 설정합니다. GitHub 계정을 가진 사람이 Code End ~ End를 실행할 수 있으면 OpenAI 키가있는 사람뿐만 아니라 전체 범위의 GitHub 사용자로부터 기부금을받을 수 있습니다.

github 동작이있는 제로 구성 CI

사용자가 추론 API 키를 GITHUB 조치 비밀로 추가 해야하는 AI에 의존하는 조치를 게시합니다. 이제 원 클릭 설치를 배송 할 수 있습니다.

yaml 

# .github/workflows/triage.yml
permissions:
  contents: read
  issues: write
  models: read   # 👈 unlocks GitHub Models for the GITHUB_TOKEN

jobs:
  triage:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - name: Smart issue triage
        run: node scripts/triage.js

러너 GITHUB_TOKEN 운반합니다 models:read 스코프, 따라서 액션은 추가 설정없이 모든 모델을 호출 할 수 있습니다. 이것은 다음에 적합합니다.

자동화 된 풀 요청 요약
중복 제거 및 태깅을 발행합니다
주간 저장소 다이제스트
행동으로 스크립트 할 수있는 다른 모든 것

프로젝트가 시작될 때 스케일링

GitHub 모델 추론 API는 모든 사람에게 무료입니다. 그러나 귀하 또는 사용자가 자유율 한도가 허용하는 것보다 더 많은 추론을 원한다면, 상당히 큰 컨텍스트 Windows와 1 분 동안 더 높은 요청에 대한 설정에서 유료 추론을 켜면 분과가 발생할 수 있습니다.

커뮤니티가 성장하면 트래픽도 커집니다. 따라서 다음을 고려하는 것이 중요합니다.

분당 요청 (RPM): 자유 계층은 기본 제한을 제공하지만 유료 계층은 배수를 높이 제공합니다.
컨텍스트 창: 표준 모델 한계에서 자유 계층 상단; 유료는 지원되는 모델에서 128k 토큰을 활성화합니다.
숨어 있음: 유료 계층은 자체 별도의 배포로 실행되므로 무료 계층 사용자와 동일한 대기열에 있지 않습니다.

시작하려면 유료 사용을 활성화 할 수 있습니다 설정> 모델 당신의 조직이나 기업을 위해. 기존 고객과 토큰은 계속 일할 것입니다 (그러나 더 빠르고 더 큰 맥락을 지원할 것입니다).

이것을 당신과 함께 가져 가십시오

LLM은 개발자가 소프트웨어를 구축하고 선적하는 방식을 변형시키고 있지만 사용자가 자신의 유료 API 키를 제공하도록 요구하는 것은 진입의 장벽이 될 수 있습니다. 마법은 처음 일 때만 발생합니다 npm install,,, cargo run또는 go test 그냥 작동합니다.

AI 기반 오픈 소스 코드베이스를 유지하는 경우 기본 추론 제공 업체로 GitHub 모델을 추가하는 것이 좋습니다. 사용자는 이미 GitHub를 통해 무료 AI 추론이 있으므로 코드와 함께 사용할 수있는 단점이 거의 없습니다. 프로젝트가 GitHub 작업에서 실행될 수 있는지 이중적으로 사실입니다. 최고의 API 키는 API 키가 없습니다!

GitHub 모델은 GitHub의 모든 개발자에게 고품질 추론을 무료로 제공함으로써 OSS AI 채택의 가장 큰 차단제를 제거합니다. 그리고 그것은 더 많은 기여, 더 빠른 온 보딩 및 더 행복한 사용자의 문을 열어줍니다.

시도해보고 싶습니까? 확인하십시오 GitHub 모델 문서 또는 곧바로 점프하십시오 API 참조 그리고 오늘 작동하는 AI 기능을 배송하십시오.