모델 해킹 : Github Security Code 게임으로 AI 보안 기술 구축

우리는 방금 Github Secure Code Game의 시즌 3을 시작했으며 이번에는 인공 지능이 도입 한 보안 위험을 직면하게합니다. 배우고 즐거운 시간을 보내십시오! 먼저, 악의적 인 프롬프트를 제작하는 대적의 신발에 들어갑니다. 그런 다음 해당 공격에 대해 응용 프로그램을 확보합니다.

Secure Code Game은 플레이어가 의도적으로 취약한 코드를 수정하여 코드 보안 기술을 구축하는 모든 개발자 수준에 적합한 무료 소프트웨어 보안 과정입니다. 개발자의 자연 서식지 인 코드 편집기에 게임 플레이를 직접 배치함으로써 일반적으로 작동하는 취약점을 발견하는 데 도움이됩니다. 간단한 설정을 통해 플레이어는 Codespace를 사용하여 2 분 안에 시작할 수 있습니다.

우리는 2023 년 3 월 보안 코드 게임의 첫 시즌을 시작하여 개발자 교육의 격차를 메 웠습니다. 주의를 끌기 위해 OWASP Top 10과 같은 중요한 취약점으로 수수께끼의 흠없는 코드 스 니펫을 제시했습니다. 그런 다음 새로운 문제를 도입하지 않고도 이러한 문제를 효율적으로 수정하기 위해 플레이어에게 도전하여 학습을 게임을했습니다. 도전에 기여한 강력한 커뮤니티의 지원을 받아 시즌 2는 1 년 후 초연되었습니다. 그 이후로 기업, 오픈 소스 및 교육 커뮤니티의 10,000 명 이상의 개발자가 자신의 기술을 연마하기 위해 노력했습니다.

이 훈련은 독특한 경험이었습니다. 처음에 전체 코드 파일을 보았을 때 완전히 정상이라고 생각했습니다. 나는 어떤 결함도 보지 못했습니다. 단위 테스트는 완전히 정상이었고 코드는 완벽 해 보였습니다. 그러나 취약점은 내 눈앞에있었습니다. 그것은 가장 기본적인 결함조차 식별하는 데 얼마나 많은 차이가 있는지 깨달았습니다. 그것은 나를 더 조심스럽게 만들었습니다.

Back-Ed 개발자 Sanyam Mehta

이것은 배우는 꽤 재미있는 방법입니다! 나는이 게임을 추천 할 것입니다.

Tyler Anton, 컴퓨터 과학 학생

이제 기술을 향상시키기에 완벽한 시간입니다!

오늘, 우리는 세 번째 시즌을 시작하게되어 기쁩니다.이 시즌은 6 가지 현실적인 도전을 통해 플레이어를 매혹적인 인공 지능 세계에 몰입시킵니다. McKinsey & Company는 세계가 새로운 시대로 전환함에 따라 2023 년의 2023 년 33%에서 2024 년 71%로 증가했으며 현재 77,000 개 이상의 조직에서는 Github Copilot을 사용하고 있다고보고합니다.

당신이 배울 것

6 가지 보안 문제는 각각 다른 방어 기술에 중점을 둡니다. 레벨은 이전 기술의 방어 기술을 기반으로 점차 점점 어려워집니다. 배울 수있는 주제 중 일부는 다음과 같습니다.

• 강력한 시스템 프롬프트 제작 : 역할, 제약, 형식 및 컨텍스트를 설정하여 모델의 동작을 안내하는 초기 지침을 단단히 설계하고 원하는, 안전하며 관련 출력을 보장합니다.
• 출력 유효성 검사 : 출력이 특정 사전 정의 된 규칙, 형식 또는 기대치를 준수하는지 확인하여 누출을 방지합니다.

• 입력 필터링 : 사용자가 제공 한 텍스트가 모델에 공급되기 전에 사용자가 제공하는 텍스트를 검사, 수정 또는 차단하여 유해하거나 관련없는 콘텐츠가 출력을 생성 할 때 모델에 영향을 미치는 것을 방지합니다.

• LLM 자기 검증 : 이 기술을 사용하여 LLM (Large Language Model)이 정의 된 규칙 또는 제약 조건에 대한 정확성, 일관성 및 준수에 대한 자체 출력을 확인하도록하십시오. 여기에는 오류 확인, 추론 검증 또는 정책 준수 확인이 포함될 수 있습니다. 자체 검증은 모델의 응답 생성에 직접 또는 직접 내장 될 수 있습니다.

시즌 3을 진행하면 플레이어가 LLM을 해킹해야합니다. 각 과제는 코드 및 시스템 메시지 형식으로 제공된 LLM에 대한 일련의 안내 지침으로 시작합니다. 이러한 요소에는 악의적 인 프롬프트를 사용하여 악용 될 수있는 갭 또는 에지 케이스가 포함될 수 있습니다. 귀하의 임무는 취약점과 공예 프롬프트를 식별하여 모델을 숨겨진 비밀을 드러내도록 조작하는 것입니다.

취약성을 이용한 후 다음 작업은 코드 및 시스템 메시지를 개선하여 미래의 악성 프롬프트에서 누출이 유출되는 것을 방지하는 것입니다. 코드의 기능을 유지하는 동안이를 수행해야합니다.

나는 취약성, 어디서 어떻게 발생하는지, 그리고 세상에 밀어 내기 전에 효과적으로 수정하는 법을 배웠습니다. 사이버 보안뿐만 아니라 소프트웨어 개발도 누구 에게나이 교육을 추천합니다.

Rajeev Mandalam, Boeing의 응용 프로그램 보안

주요 테이크 아웃 중 하나는 세부 사항에 초점을 맞추는 것이 좋다는 것이 좋습니다. 왜냐하면 그들이 상상하지 못했던 취약점으로 이어질 수 있기 때문에 세부 사항에 집중하는 것이 좋습니다. 형식의 관점에서, 나는 그것이 하나의 특정 프로그래밍 언어에 초점을 맞추지 않았다는 사실을 좋아했으며, 전체 강조는 코드 개념에 있습니다. 또한 게임 레벨 사이를 탐색하는 것이 얼마나 쉬운지를 좋아했습니다. 이 게임은 저의 전문 여행에 추가 할 새로운 스킬 셋을 제공했습니다.

Reshmi Mehta, Alcon의 보안 분석가

시작하는 방법

학습을 시작하기를 간절히 원한다면 안전한 코드 게임 저장소가 모두 설정되어 준비가되어 있습니다. 모든 계절에 대한 지침이 포함되어 있으므로 제공해야 할 모든 것을 경험할 수 있습니다. 그냥 탐색하십시오 readme 그리고 시작하십시오.

시즌 3이 어떻게 함께 왔는지

전문가가되기를 기다리지 마십시오. 구축, 공유 및 올바른 사람들이 당신을 찾을 것입니다. 오픈 소스는 내 인생을 바꾸었고, 그것은 당신을 위해 똑같이 할 수 있습니다.

Bartosz Gałek (@bgalek), 안전한 코드 게임 시즌 3의 기고자

그것은 모두 벨기에의 Fosdem 2025에서 시작하여 보안 코드 게임을 오픈 소스 관리자 그룹에 제시했습니다. Bartosz는 청중에 있었고 여기에 자신의 말로 일어난 일이 있습니다.

보안과 게임 개발이 저의 일이므로 보안 코드 게임이 즉시 클릭되었습니다! 연설 후, 나는 LinkedIn의 Joseph에게 감사하고 Hackmerlin에게 그와 공유했습니다. 제작 한 게임은 선수들에게 프롬프트 기술을 테스트하도록 도전했습니다. 놀랍게도, 그는 그것을 좋아했습니다!

한 가지가 다른 것으로 이어졌고 Hackmerlin은 시즌 3의 협력의 기반이되었습니다. 전체 여행은 어리석은 아이디어로 시작되었지만 훨씬 더 큰 것으로 바뀌 었습니다.

Hackmerlin의 UI 중심 접근 방식에서 Secure Code Game의 Code-First Season 3으로 이동하는 데있어 중요한 과제는 사용자의 친근감을 보장하는 것이 었습니다. Hackmerlin의 백엔드는 UI를 통한 LLM 게이트웨이를 제공하여 Github 제품이 진정으로 뛰어난 통합 복잡성을 추상화했습니다! Codespace를 사용하면 개발 환경을 선입 당하고 내장 LLM 통합을 제공하는 AI 모델의 카탈로그 및 놀이터 인 GitHub 모델에 대한 액세스를 자동화 할 수 있습니다.

또한 Hackmerlin은 Azure에서 호스팅 된 OpenAI 모델을 사용하여 게임 제작자가 모델의 제공 업체 기본 보호 수단을 조정하거나 비활성화 할 수있었습니다. 대조적으로, 시즌 3은 GitHub 모델의 기본 보호 장치를 준수하여 현실주의를 우선시했습니다. 마지막으로 GitHub 모델을 통해 플레이어가 모델간에 전환하고 차이점을 쉽게 탐색 할 수있었습니다.

어떻게 생각하나요? 새로운 도전에 대한 아이디어가 있습니까? 우리의 다음 기고자가되어 게임의 다음 시즌을 형성하도록 도와주세요! 자세한 내용은 기여 가이드 라인을 참조하십시오.

작성자가 작성했습니다