10 파이썬 라이브러리 모든 MLOPS 엔지니어는 알아야합니다

저자의 이미지 | 표의 문자

머신 러닝은 도메인에 걸쳐 응용 프로그램을 계속 찾는 반면, 모델을 배포, 모니터링 및 유지 관리하는 운영 복잡성은 계속 증가하고 있습니다. 그리고 성공적인 ML 팀과 어려움을 겪고있는 ML 팀의 차이점은 종종 툴링에 달려 있습니다.

이 기사에서는 실험 추적, 데이터 버전화, 파이프 라인 오케스트레이션, 모델 서빙 및 생산 모니터링과 같은 MLOPS의 핵심 문제를 해결하는 필수 파이썬 라이브러리를 살펴 봅니다. 시작합시다!

1. MLFLOW : 실험 추적 및 모델 관리

그것이 해결되는 것: MLFLOW는 수백 개의 모델 실행 및 결과를 관리하는 문제를 관리하는 데 도움이됩니다.

도움이되는 방법: 과복을 조정하고 다른 알고리즘을 테스트 할 때 적절한 툴링없이 작동하는 것을 추적하는 것은 불가능 해집니다. MLFLOW는 ML 실험을위한 실험실 노트처럼 작용합니다. 모델 매개 변수, 성능 메트릭 및 실제 모델 아티팩트를 자동으로 캡처합니다. 가장 중요한 부분? 폴더 나 스프레드 시트를 파헤 치지 않고도 두 실험을 나란히 비교할 수 있습니다.

유용하게 만드는 것: 모든 ML 프레임 워크와 협력하고 모든 것을 한 곳에 저장하며 단일 명령으로 모델을 배포 할 수 있습니다.

시작하세요: mlflow 튜토리얼 및 예제

2. DVC : 데이터 버전 제어

그것이 해결되는 것: 대규모 데이터 세트 및 복잡한 데이터 변환 관리.

도움이되는 방법: 대형 데이터 세트를 제어하려고 할 때 git이 끊어집니다. DVC는 모든 것을 코드와 동기화하면서 데이터 파일과 변환을 별도로 추적 하여이 격차를 메 웁니다. 데이터 과학 워크 플로를 이해하는 더 나은 git으로 생각하십시오. 올바른 커밋을 확인하면 몇 달 전부터 실험을 재현 할 수 있습니다.

유용하게 만드는 것: GIT와 잘 통합되고 클라우드 스토리지와 함께 작동하며 재현 가능한 데이터 파이프 라인을 만듭니다.

시작하세요: DVC로 시작하십시오

3. Kubeflow : Kubernetes의 ML 워크 플로우

그것이 해결되는 것: Kubernetes 전문가가되지 않고 ML 워크로드 실행

도움이되는 방법: Kubernetes는 강력하지만 복잡합니다. Kubeflow는 ML 친화적 인 추상화에서 그 복잡성을 감싸고 있습니다. YAML 파일로 씨름하지 않고 분산 교육, 파이프 라인 오케스트레이션 및 모델 서빙을받습니다. 대형 모델을 훈련 시키거나 수천 명의 사용자에게 예측을 제공해야 할 때 특히 가치가 있습니다.

유용하게 만드는 것: 자원 관리를 자동으로 처리하고 분산 교육을 지원하며 노트북 환경을 포함합니다.

시작하세요: kubeflow 설치

4. 지사 : 현대 워크 플로 관리

그것이 해결되는 것: 보일러 플레이트 코드가 적은 안정적인 데이터 파이프 라인 구축.

도움이되는 방법: 공기 흐름은 때때로 장악하고 단단 할 수 있습니다. 그러나 Prefect는 개발자가 시작하기가 훨씬 쉽습니다. 재심, 캐싱 및 오류 복구를 자동으로 처리합니다. 라이브러리는 워크 플로 엔진을 구성하는 것보다 일반 파이썬 코드를 작성하는 것이 더 좋습니다. 학습 곡선없이 워크 플로 오케스트레이션을 원하는 팀에게는 특히 좋습니다.

유용하게 만드는 것: 직관적 인 Python API, 자동 오류 처리 및 최신 아키텍처.

시작하세요: Prefect 소개

5. Fastapi : 모델을 웹 서비스로 바꾸십시오

그것이 해결되는 것: Fastapi는 모델 서빙을위한 생산 준비 API를 구축하는 데 유용합니다.

도움이되는 방법: 모델이 작동하면 서비스로 노출해야합니다. Fastapi는 이것을 간단하게 만듭니다. 설명서를 자동으로 생성하고 수신 요청을 확인하며 HTTP 배관을 처리합니다. 모델은 몇 줄의 코드만으로 웹 API가됩니다.

유용하게 만드는 것: 자동 API 문서, 요청 유효성 검사 및 고성능.

시작하세요: Fastapi 튜토리얼 및 사용자 안내서

6. 분명히 : ML 모델 모니터링

그것이 해결되는 것: 분명히 모델 성능 모니터링 및 드리프트 감지에 좋습니다.

도움이되는 방법: 모델은 시간이 지남에 따라 저하됩니다. 데이터 배포가 이동합니다. 성능이 떨어집니다. 이러한 문제가 사용자에게 영향을 미치기 전에 이러한 문제를 해결하는 데 도움이됩니다. 시간이 지남에 따라 모델의 예측이 어떻게 변하는 지 보여주는 보고서를 생성하고 데이터 드리프트가 발생할 때 경고합니다. ML 시스템의 건강 검진으로 생각하십시오.

유용하게 만드는 것: 사전 구축 모니터링 메트릭, 대화식 대시 보드 및 드리프트 감지 알고리즘.

시작하세요: 분명히 AI로 시작하는 것

7. 웨이트 및 편견 : 실험 관리

그것이 해결되는 것: Weights & Biases는 실험을 추적하고, 초라미터를 최적화하고, 모델 개발에 대한 협력에 유용합니다.

도움이되는 방법: 동일한 모델에서 여러 개발자가 작동하면 실험 추적이 더욱 중요해집니다. 가중치 및 바이어스는 실험을 기록하고 결과를 비교하며 통찰력을 공유하는 중심의 장소를 제공합니다. 초 파라미터 최적화 도구가 포함되어 있으며 인기있는 ML 프레임 워크와 통합됩니다. 협업 기능은 팀이 중복 작업을 피하고 지식을 공유하는 데 도움이됩니다.

유용하게 만드는 것: 자동 실험 로깅, 하이퍼 파라미터 스윕 및 팀 협업 기능.

시작하세요: W & B QuickStart

8. 큰 기대 : 데이터 품질 보증

그것이 해결되는 것: 큰 기대는 ML 파이프 라인의 데이터 검증 및 품질 보증에 대한 것입니다.

도움이되는 방법: 잘못된 데이터는 모델을 중단합니다. 큰 기대치는 좋은 데이터의 모습을 정의하고 이러한 기대에 대비하여 들어오는 데이터를 자동으로 검증하는 데 도움이됩니다. 데이터 품질 보고서를 생성하고 모델에 도달하기 전에 문제를 포착합니다. 데이터 세트에 대한 단위 테스트로 생각하십시오.

유용하게 만드는 것: 선언적 데이터 검증, 자동 프로파일 링 및 포괄적 인보고.

시작하세요: 큰 기대에 대한 소개

9. Bentoml : 어디서나 모델을 패키지 및 배포합니다

그것이 해결되는 것: Bentoml은 다른 플랫폼에서 모델 배포를 표준화합니다

도움이되는 방법: 모든 배포 목표마다 요구 사항이 다릅니다. Bentoml은 통일 된 모델을 패키지 모델로 만들어 이러한 차이점을 추상화합니다. Docker, Kubernetes 또는 클라우드 기능에 배포하든 Bentoml은 포장 및 서빙 인프라를 처리합니다. 다양한 프레임 워크의 모델을 지원하고 생산 사용을 위해 최적화합니다.

유용하게 만드는 것: 프레임 워크 공유 포장, 다중 배포 대상 및 자동 최적화.

시작하세요: Hello World Tutorial | Bentoml

10. Optuna : 자동화 된 하이퍼 파라미터 튜닝

그것이 해결되는 것: 수동 추측이없는 최적의 하이퍼 파라미터 찾기.

도움이되는 방법: 하이퍼 파라미터 튜닝은 시간이 많이 걸리고 종종 제대로 이루어지지 않습니다. Optuna는 정교한 최적화 알고리즘을 사용 하여이 프로세스를 자동화합니다. 그것은 유도하지 않는 시험을 조기에 정리하고 병렬 최적화를 지원합니다. 라이브러리는 인기있는 ML 프레임 워크와 통합되며 최적화 프로세스를 이해하기위한 시각화 도구를 제공합니다.

유용하게 만드는 것: 고급 최적화 알고리즘, 자동 가지 치기 및 병렬 실행.
시작하세요: Optuna 튜토리얼

마무리

이 라이브러리는 실험 추적에서 모델 배포에 이르기까지 MLOPS 파이프 라인의 다양한 측면을 다룹니다. 가장 긴급한 과제를 해결하는 도구부터 시작한 다음 MLOPS 성숙도가 증가함에 따라 툴킷을 점차 확장하십시오.

대부분의 성공적인 MLOPS 구현은 이러한 라이브러리의 3-5를 응집력있는 워크 플로로 결합합니다. 툴킷을 선택할 때 팀의 특정 요구, 기존 인프라 및 기술적 제약 조건을 고려하십시오.

발라 프리 야 c 인도의 개발자이자 기술 작가입니다. 그녀는 수학, 프로그래밍, 데이터 과학 및 컨텐츠 제작의 교차점에서 일하는 것을 좋아합니다. 그녀의 관심 분야와 전문 지식에는 DevOps, 데이터 과학 및 자연어 처리가 포함됩니다. 그녀는 독서, 쓰기, 코딩 및 커피를 즐깁니다! 현재 그녀는 자습서, 방법 안내, 의견 조각 등을 통해 개발자 커뮤니티와 지식을 배우고 공유하는 작업을하고 있습니다. Bala는 또한 매력적인 리소스 개요 및 코딩 자습서를 만듭니다.