일론 머스크, 테슬라가 "100 엑사플롭"의 AI를 위해 엔비디아 GPU와 함께 도조 슈퍼컴퓨터에 "10억 달러 이상"을 투자할 것이라고 주장

테슬라의 CEO 일론 머스크는 도조 슈퍼컴퓨터에 내년에 10억 달러 이상을 투자할 것이라고 밝혔습니다.

이 슈퍼컴퓨터는 자율 주행 차량 시스템을 훈련하기 위해 이 자동차 회사에서 설계한 맞춤형 Dojo D1 칩 아키텍처를 사용합니다.

머스크는 실적 발표에서 "내년까지 도조에 투자하는 금액이 10억 달러를 훨씬 넘을 것"이라고 말했습니다. "우리는 훈련할 수 있는 비디오 데이터의 양이 정말 엄청나게 많습니다. 그리고 우리를 모방하려면 훈련 컴퓨팅에 수십억 달러를 투자해야 합니다."라고 말했습니다.

그는 "도조는 비디오 트레이닝에 최적화되도록 설계되었습니다. 대규모 언어 모델에는 최적화되어 있지 않습니다. 비디오 교육에 최적화되어 있습니다."

나중에 전화 통화에서 Tesla의 최고재무책임자(CFO) 재커리 커크혼은 10억 달러 투자에는 연구 개발 비용이 포함되어 있으므로 데이터 센터 지출뿐만 아니라 칩 R&D도 포함될 수 있다고 설명했습니다. 테슬라는 작년에 도조를 설치하기 시작했을 때 캐비닛당 200kW 이상의 밀도를 지원하기 위해 완전히 맞춤형으로 설계된 쿨링 분배 장치를 만들었다고 주장했습니다. 이 캐비닛 역시 맞춤형이라고 밝혔습니다.

당시 테슬라는 도조에 약 3,000개의 커스텀 D1 칩이 탑재되어 총 1.1 엑사플롭스(BF16/CFP8)의 성능을 발휘할 것이라고 말했습니다.

도조와 함께 테슬라는 2021년 현재 3개의 HPC 클러스터에 10,000개의 GPU를 보유하고 있으며, 머스크는 이 숫자는 계속 늘어날 것이라고 말했습니다. "우리는 실제로 엔비디아 하드웨어를 엔비디아가 우리에게 제공하는 만큼 빠르게 가져갈 것입니다."라고 그는 말했습니다. "젠슨(CEO 겸 설립자)과 엔비디아에 대해 엄청난 존경을 표합니다. 그들은 놀라운 일을 해냈습니다.

"솔직히 말해서 엔비디아가 충분한 GPU를 공급할 수 있었다면 도조가 필요 없었을지도 모르겠지만, 그렇지 못했습니다."

728x90

머스크는 도조와 GPU 구축을 통해 "내년 말까지 100엑사플롭의 사내 신경망 훈련 능력에 도달할 수 있을 것"이라고 주장했습니다. 이 주장에 사용된 벤치마크는 공유되지 않았습니다. 머스크는 큰 목표를 달성하겠다고 약속했다가 제대로 이행하지 않은 전력이 있기 때문에 이 발표는 신중하게 받아들여야 합니다.

머스크는 "우리는 엔비디아와 도조를 모두 사용할 것으로 예상합니다."라고 말했습니다. " 방대한 교육 리소스에 대한 수요를 파악하고 있습니다."

과거에 머스크는 도조를 다른 기업에 클라우드 리소스로 제공할 수도 있다고 말했지만 아직 그렇게 하지는 않았습니다.

동시에 머스크는 트위터(X Corp로 브랜드 변경)를 위해 약 10,000개의 GPU를 확보했으며, 상당한 GPU 리소스를 필요로 하는 새로운 AI 스타트업(X.AI로 알려짐)을 출범시켰습니다.

ref. https://www.datacenterdynamics.com/en/news/elon-musk-claims-tesla-will-spend-well-over-1bn-on-dojo-supercomputer-alongside-nvidia-gpus-for-100-exaflops-of-ai/