데이터 과학자로서 관련성을 유지하기 위해 Rag가 필요한 이유

저자의 이미지 | 캔버

데이터 관련 필드에서 작업하는 경우 정기적으로 직접 업데이트해야합니다. 데이터 과학자는 데이터 시각화, 데이터 모델링 및 창고 시스템과 같은 작업에 다양한 도구를 사용합니다.

이와 마찬가지로 AI는 데이터 과학을 A에서 Z로 변경했습니다. 데이터 과학과 관련된 작업을 검색하는 데 방해가된다면 아마도 Rag라는 용어를 들었을 것입니다.

이 기사에서는 헝겊을 분해 할 것입니다. 소개 한 학술 기사와 대형 언어 모델 (LLM)으로 작업 할 때 비용을 절감하는 데 사용되는 방법으로 시작합니다. 그러나 먼저 기본 사항을 다루겠습니다.

검색 섭취 세대 (RAG) 란 무엇입니까?

패트릭 루이스 (Patrick Lewis)는 2020 년 에이 학술 기사에서 처음으로 래그를 소개했다. 그것은 리트리버와 발전기라는 두 가지 주요 요소를 결합했다.

이것 뒤에있는 아이디어는 간단합니다. 매개 변수에서 답을 생성하는 대신 Rag는 문서에서 관련 정보를 수집 할 수 있습니다.

리트리버 란 무엇입니까?

리트리버는 문서에서 관련 정보를 수집하는 데 사용됩니다. 하지만 어떻게?

이것을 고려합시다. 당신은 거대한 Excel 시트가 있습니다. 수천 행으로 20MB라고 가정 해 봅시다. Call_Date를 검색하고 싶습니다 user_id = 10234.

이 리트리버 덕분에 전체 문서를 보는 대신 Rag는 관련 부분 만 검색합니다.

그러나 이것이 우리에게 어떻게 도움이됩니까? 전체 문서를 검색하면 많은 토큰을 소비합니다. 아시다시피, LLM의 API 사용은 토큰을 사용하여 계산됩니다.

방문 하여이 계산이 어떻게 수행되는지 살펴 보겠습니다. 예를 들어,이 기사의 소개를 붙여 넣는 경우. 123 개의 토큰 비용이 들었습니다.

LLM의 API를 사용하여 비용을 계산하려면이 점을 확인해야합니다. 예를 들어, 단어 문서 (10MB)를 사용하는 것을 고려하면 수천 개의 토큰이 될 수 있습니다. LLM의 API를 사용 하여이 문서를 업로드 할 때마다 비용이 곱합니다.

RAG를 사용하면 문서의 관련 부분 만 선택하여 토큰 수를 줄여 지불 할 수 있습니다. 간단합니다.

이 리트리버는 어떻게 이렇게합니까?

검색이 시작되기 전에 문서는 작은 덩어리, 단락으로 나뉩니다. 각 청크는 임베딩 모델 (Openai Embedding, Sentence-Bert 등)을 사용하여 밀도가 높은 벡터로 변환됩니다.

따라서 사용자가 호출 날짜가 무엇인지 묻는 것과 같은 작업을 원할 때 리트리버는 쿼리 벡터를 모든 청크 벡터와 비교하고 가장 유사한 벡터를 선택합니다. 훌륭합니다.

생성기 란 무엇입니까?

위에서 설명한 것처럼 리트리버가 가장 관련성이 높은 문서를 찾은 후 발전기가 인수됩니다. 사용자의 쿼리와 검색된 문서를 사용하여 답을 생성합니다.

이 방법을 사용하면 환각의 위험을 최소화합니다. AI가 교육받은 데이터에서 자유롭게 답변을 생성하는 대신 모델은 귀하가 제공 한 실제 문서에 대한 응답을 근거로합니다.

컨텍스트 윈도우 진화

GPT-2와 같은 초기 모델에는 약 2048 개의 토큰이 작은 컨텍스트 창이 있습니다. 그렇기 때문에 이러한 모델에는 파일 업로드 기능이 없습니다. 몇 가지 모델을 기억 한 후 ChatGpt는 컨텍스트 창이 진화했기 때문에 데이터 업로드 기능을 제공합니다.

GPT-4O와 같은 고급 모델에는 128K 토큰 제한이 있으며, 이는 데이터 업로드 기능을 지원하고 컨텍스트 창의 경우 RAG 중복을 보여줄 수 있습니다. 그러나 비용 감소 요청이 입력되는 곳입니다.

이제 사용자가 RAG를 사용하는 이유 중 하나는 비용을 절감하는 것입니다. LLM 사용 비용이 감소하기 때문에 GPT 4.1은 최대 백만 개의 토큰의 컨텍스트 창을 도입하여 환상적인 증가입니다. 이제 Rag도 진화했습니다.

업계 관련 실습

이제 LLM은 에이전트로 진화하고 있습니다. 답을 생성하는 대신 작업을 자동화해야합니다. 일부 회사는 키워드와 마우스를 제어하는 ​​모델을 개발하고 있습니다.

따라서 이러한 경우 환각을 불러 일으키지 않아야합니다. 그래서 여기 헝겊이 현장에 들어옵니다. 이 섹션에서는 실제 세계에서 한 가지 예를 깊이 분석 할 것입니다.

회사는 자신을 위해 에이전트를 개발할 수있는 인재를 찾고 있습니다. 그것은 단지 대기업이 아닙니다. 중간 크기 또는 소규모 회사와 신생 기업조차도 옵션을 찾고 있습니다. Upwork 및 Fiverr와 같은 프리랜서 웹 사이트에서 이러한 작업을 찾을 수 있습니다.

마케팅 에이전트

유럽의 중형 회사가 회사 문서를 사용하여 고객을위한 마케팅 제안을 생성하는 에이전트 인 에이전트를 만들기를 원한다고 가정 해 봅시다.

게다가이 에이전트는 비즈니스 이벤트 또는 캠페인에 대한 제안에 관련 호텔 정보를 포함시켜 컨텐츠를 사용해야합니다.

그러나 문제가 있습니다 : 에이전트는 종종 환각을줍니다. 왜 이런 일이 발생합니까? 회사의 문서에만 의존하는 대신 모델은 원래 교육 데이터에서 정보를 가져옵니다. 아시다시피 이러한 LLM은 정기적으로 업데이트되지 않기 때문에 교육 데이터가 오래 될 수 있습니다.

결과적으로 AI는 잘못된 호텔 이름이나 단순히 관련없는 정보를 추가하게됩니다. 이제 문제의 근본 원인, 즉 신뢰할 수있는 정보 부족을 정확히 찾아냅니다.

웹 브라우징 API를 사용하여 회사는 LLM을 사용하여 웹에서 신뢰할 수있는 정보를 검색하고 참조하면서 방법에 대한 답변을 생성했습니다. 이 프롬프트를 보자.

“음성 및 회사 정보의 톤에 따라 제안서를 생성하고 웹 검색을 사용하여 호텔 이름을 찾으십시오.”

이 웹 검색 기능은 헝겊 방법이되었습니다.

최종 생각

이 기사에서 우리는 AI 모델의 진화와 Rag가 사용한 이유를 발견했습니다. 보시다시피, 그 이유는 시간이 지남에 따라 바뀌었지만 문제는 남아 있습니다 : 효율성.

이유가 비용이나 속도 인 경우 에도이 방법은 AI 관련 작업에서 계속 사용됩니다. 그리고 “AI 관련”에 의해, 나는 다가오는 AI 여름과 마찬가지로 데이터 과학이 이미 AI의 영향을 받았기 때문에 데이터 과학을 배제하지 않습니다.

비슷한 기사를 따르고 싶다면 데이터 과학과 관련된 700 개 이상의 인터뷰 질문 및 50 개 이상의 데이터 프로젝트를 해결하려면 내 플랫폼을 방문하십시오.

네이트 로시디 데이터 과학자이자 제품 전략입니다. 그는 또한 겸임 교수 교육 분석이며, 데이터 과학자들이 최고 회사의 실제 인터뷰 질문과의 인터뷰를 준비하는 플랫폼 인 Stratascratch의 창립자입니다. Nate는 커리어 시장의 최신 트렌드에 대해 글을 쓰고, 인터뷰 조언을 제공하고, 데이터 과학 프로젝트를 공유하며, 모든 SQL을 다룹니다.