실리콘 데이터는 첫 번째 GPU 가격 지수를 출시합니다

SDH100RT라고 불리는 임대료 지수가 오늘 시작되었습니다. 매일 매일 NVIDIA H100 GPU를 1 시간 동안 사용하기위한 평균 지점 임대 가격을 제공하기 위해 전 세계 30 개 이상의 소스에서 350 만 개의 데이터 포인트를 구축 할 것입니다. (“Spot Price”는 지금 배달되는 상품이 지금 당장 판매하는 것입니다.)

Li는“저는 Compute가 향후 몇 년 동안 인류를위한 가장 큰 자원이 될 것이라고 정말로 믿습니다. “내 논문이 옳다면 더 정교한 위험 관리가 필요합니다.”

Li에 따르면, 이러한 지수는 더 저렴한 AI 도구와 더 넓은 플레이어가 AI 업계에 참여할 수있는 더 많은 기회로 이어질 것입니다. 인덱스에서 그 모든 것으로 어떻게 얻습니까? 실리콘 데이터의 기원 이야기는 설명하는 데 도움이됩니다.

작년 초까지 Li는 블룸버그. 그 위치에서 그녀는 AI 연료 데이터 제품을 제공하려는 여러 소규모 회사를 만났고, 그 중 많은 사람들이 같은 문제로 어려움을 겪고있었습니다. 그들은 고정 속도로만 제품을 제공 할 수 있었지만 필요한 GPU 시간의 비용은 예측할 수 없었습니다. 따라서 그들의 이익 마진도 마찬가지였습니다.

에너지와 같은 전형적인 상품을 통해 회사는 역사적 추세를 알고 선물 계약과 같은 금융 상품으로 헤지함으로써 이러한 스윙을 계획 할 수 있습니다. 그러나 그것은 AI의 주요 상품 : GPU의 시간에 존재하지 않았습니다. 따라서 Li는 해당 제품의 기초를 만들기 시작했으며 그 결과 SDH100RT 가격 지수입니다.

그녀는 NVIDIA H100을 가장 널리 배포 한 GPU이기 때문에 NVIDIA H100을 색인으로 선택했으며 새로운 AI 모델을 훈련시키는 데 사용되었습니다. 그러나 많은 추론 과제를 다루는 NVIDIA A100의 가격 지수도 효과가 있습니다. 그리고 그녀는 AMD 및 NVIDIA의 BlackWell 시리즈와 같은 다른 AI 칩의 가격을 색인하는 것이 적합한시기를 결정하는 방법을 개발했습니다.

Carmen Li는 Bloomberg에서 실리콘 데이터를 설립했습니다.실리콘 데이터

데이터, 신생 기업 및 새로운 AI 제품을 구축하는 다른 사람들은 잠재적 인 비용을 더 잘 이해할 수 있으므로 수익성있는 가격으로 서비스를 설정할 수 있습니다. 그리고 새로운 AI 인프라를 구축하면 자체 수익을위한 벤치 마크를 설정할 수 있습니다. 그러나 Li의 견해로는 새로운 자본 원이 AI 공간에 참여할 수 있다는 것입니다.

예를 들어, 은행은 비교적 저렴한 자본 공급 업체입니다. 그러나 엄격한 위험 관리가 있고 GPU 가격 데이터가 충분하지 않았기 때문에 AI 프로젝트에 자금을 지원할 수있는 위치에 있지 않았습니다. Li는 SDH100RT가 은행이 AI 업계의 더 넓은 플레이어에게 빌려주고 이미 그 안에있는 사람들의 위험을 줄이는 금융 상품을 제시 할 수 있기를 희망합니다.

데이터의 통찰력과 이상

오늘 발사되었지만 실리콘 데이터는 몇 달 동안 GPU 임대 가격을 추적하고 있습니다. 예상대로 AI 훈련 가격에 창문을두면 흥미로운 통찰력이 공개되었습니다. 다음은 Li가 발견 한 몇 가지 사항입니다. (그녀는 지난 9 월부터 정기적 으로이 분석을 게시했습니다.)

동해안 규칙! 웨스트 코스트 침강 : H100 임대료 가격은 미국에서는 매우 안정적이지만 이스트 코스트 이점이 지속적입니다. 3 월에는 동해안의 H100에서 1 시간 동안 5.76 달러를받을 수 있습니다. 그러나 같은 시간은 서해안에서 $ 6.80의 비용이들 것입니다.

hyperscaler 칩 도움말 : Amazon Web Services는 자체 칩을 설계하고 서버를 설계하기 위해 Cloud Giant의 고객의 가격을 낮추었습니다. 실리콘 데이터에 따르면, 시간당 약 $ 4.80의 AWS Trainium2의 GPU 당 평균 단가는 NVIDIA H100을 사용하는 가격의 절반 미만입니다. 1 세대 칩 추론과 훈련은 둘 다 시간당 $ 1.50 미만으로 제공되며, 이는 오늘날의 추론 주제 인 Nvidia A100의 가격의 절반 미만입니다. 그러나 H100은 최첨단 모델 교육을위한 유일한 옵션으로 생각되므로 성능은 추가 스크래치를 정당화 할 수 있습니다.

DeepSeek의 겸손한 효과 : 1 월의 깊은 충격은 스팟 임대료에 거의 영향을 미치지 않았습니다. 항저우 기반의 DeepSeek의 LLM에 대한 성능과 저렴한 교육이 많은 사람들을 놀라게하고 AI 관련 주식을 진주 클러치 패치로 보냈다는 것을 기억할 수 있습니다. “Deepseek이 나왔을 때 [stock] Li는 시장은 견해가 없었다”고 말했다.“그러나 현장 가격은 크게 변하지 않았습니다.” DeepSeek의 데뷔에서 H100 가격은 시간당 $ 2.50으로 약간 상승했지만, 시간당 2.60 달러는 몇 달 동안 2 월에 시간당 2.30 달러로 다시 등반하기 시작했습니다.

인텔은 AMD보다 더 포쉬합니다. GPU는 항상 CPU의 제어하에 있으며 일반적으로 4 : 1 비율입니다. 그리고 그 CPU 지점의 시장은 인텔과 AMD 사이에 경쟁합니다. (Nvidia는 또한 Grace라고 불리는 자체 CPU를 만듭니다.) 그러나 고객은 인텔 구동 시스템에 대해 약간의 프리미엄을 기꺼이 지불 할 것 같습니다. NVIDIA A100 시스템의 경우 Intel CPU를 가진 시스템은 AMD 프로세서를 가진 시스템보다 약 40 % 더 높은 가격을 가져 왔습니다. H100의 경우, 그 효과는 관련된 상호 연결 기술에 달려있었습니다. 컴퓨터가 SXM 또는 PCIE를 링크로 사용한 경우 인텔은 더 높은 가격을 가져 왔습니다. 그러나 NVIDIA의 NVLINK InterConnect 체계를 사용하는 사람들의 경우 AMD가 프리미엄을 얻었습니다.

AI의 상품화

AI의 가격을 단일 숫자로 요약 할 수 있습니까? 결국, 컴퓨터의 성능과 특정 고객에 대한 유틸리티와 관련된 많은 요소가 있습니다. 예를 들어, 고객은 법적 이유로 국제 국경을 넘을 수없는 데이터로 교육을받을 수 있습니다. 그렇다면 왜 다른 나라의 가격에 관심을 가져야합니까? 또한 머신 러닝의 주요 벤치 마크 결과 인 MLPERF가 볼 수 있듯이 동일한 NVIDIA GPU의 성능은 시스템과 실행중인 소프트웨어에 따라 크게 다를 수 있습니다.

Li에 따르면, 상품 견해는 효과가있을 수 있습니다. Silicon Data의 지수는 이러한 모든 차이점을 정상화하고 데이터 센터가 임대 시장, 위치, 데이터 소스 및 기타 많은 것들에 얼마나 많은 데이터 센터에 참여하는지와 다른 가중치를 부여합니다.

아마도 상품으로서 AI의 아이디어를 가장 큰 승인은 Nvidia CEO Jensen Huang 자신의 것입니다. 회사의 대규모 개발자 이벤트 인 GTC에서 그는 데이터 센터를 “AI 공장”으로 생각하게했으며 LLM이 사용하는 가장 작은 정보 단위 인 토큰 수에서 출력을 측정 할 수있는 것으로 추진했습니다.