엔지니어링 팀은 AI의 스케일링 문제에 적응해야합니다

AI offers huge wins for engineering teams, but almost as many headaches along the path to successful implementations. Tech leaders need to adapt development processes as GenAI projects move from pilot to rollout. With growing demand for high-quality data, testing, and security moving up a gear, teams need to rethink previous ways of working.

In the latest Leaders of Code podcast episode

많은 엔지니어링 및 제품 팀은 기초 모델이나 내부 데이터를 사용할 수있는 AI 개념을 구축하고 있지만 Brandenberger는 스케일링이 도전적인 것으로 판명되고 있다고 생각합니다. “어떻게 더 나아질 수 있습니까? 우리는 시간이 지남에 따라 어떻게 반복합니까? 우리 팀과 업계 사람들과의 대화는 그 문제를 중심으로합니다. 일부는 에이전트를 솔루션으로보고 있습니다. 용량, 스로틀 링 및 데이터 보호는 전반적으로 중심입니다.”

AI 덕분에 고객은 이제 빠른 솔루션을 기대합니다. “사람들이 기다릴 것으로 기대했던 것은 더 이상 그렇게하지 않습니다. 어떤 경우에는 그들이 기다릴 것으로 기대하지 않은 것이 지금도 더 빨리 원합니다.”

‘속도의 필요’는 개발 팀에 도전하고 있습니다. 재귀는 AI를 사용하여 제약 약물을 가져와 질병을 치료하기 위해 더 빠르게 시장에 출시합니다. “우리는 끊임없이 앞으로 나아가고 싶습니다. ‘우리는 이것을 더 잘 할 수 있습니까? 더 빨리 할 수 ​​있습니까?’ 희귀 한 질병과 치료법이없는 것들의 경우 환자에게는 시간이 중요합니다. “

그들은 기초 이미지 모델, NVIDIA의 PHENOM-BETA 플랫폼 및 한 가지 크기의 접근 방식이 아닌 다른 LLM을 사용합니다. “이 작업에 적합한 도구는 무엇입니까?”AI의 요구를 충족시키기 위해 인프라가 변경되어야합니다.

최근 몇 년 동안 데이터가 양과 복잡성으로 폭발했지만 AI의 부상은 기업에 구조화되지 않은 데이터를 사용하는 것이 얼마나 어려운지를 보여주었습니다. 전통적인 인프라를 압도하고 있습니다. 병목 현상과 품질 문제는 AI 프로그램의 성공을 방해 할 수 있습니다.

이를 통해 AI 모델이 발전함에 따라 인프라가 변경되어야합니다.[–>Databricks reportsSam Altman claimedBlackstone estimatesGartner previously estimatedestimatesDeloitte surveyfine-tuned and cleanedMcKinseyMcKinsey’s 2025 AI Global Surveylax about monitoring GenAI outputs