일론 머스크의 xAI Corp.가 강력한 AI 훈련 시스템인 Colossus를 출시했습니다. 머스크는 이를 X(이전 명칭: Twitter)에 최근 게시한 글에서 발표했습니다. 10만 개의 Nvidia 그래픽 카드를 사용하는 이 새로운 시스템은 xAI와 AI 커뮤니티에 큰 진전입니다.
콜로서스 시스템은 2022년부터 AI 처리의 표준이 된 엔비디아의 H100 그래픽 카드를 사용합니다. 이 시스템은 지금까지 만들어진 가장 진보된 AI 훈련 시스템 중 하나입니다. 머스크는 이 새로운 시스템이 “세계에서 가장 강력한 AI 훈련 시스템”이라고 말합니다. 미국 에너지부의 오로라와 같은 가장 빠른 슈퍼컴퓨터를 능가할 수도 있습니다.
이번 주말에는 @xAI 팀은 우리의 콜로서스 100k H100 훈련 클러스터를 온라인으로 가져왔습니다. 처음부터 끝까지, 122일 만에 완료되었습니다.
콜로서스는 세계에서 가장 강력한 AI 훈련 시스템입니다. 게다가 몇 달 안에 200k(50k H200)로 두 배로 늘어날 것입니다.
훌륭한…
— 엘론 머스크 (@elonmusk) 2024년 9월 2일
콜로서스의 힘을 뒷받침하는 원동력
Colossus 시스템의 처리 능력은 Nvidia에서 나옵니다. H100 칩. 이 칩은 AI 산업에서 가장 강력한 칩 중 하나이며 대규모 언어 모델을 훈련하도록 설계되었습니다. H100의 Transformer Engine 모듈은 Transformer 신경망 아키텍처를 기반으로 AI 모델을 실행하도록 최적화된 회로 세트입니다. 이 아키텍처는 Meta의 Llama 3.1 405B와 OpenAI의 GPT-4를 포함한 많은 최고 AI 모델에서 사용됩니다.
머스크의 xAI Corp.가 60억 달러 투자가치를 높이다 240억 달러. 이 자금은 머스크가 계약 위반으로 소송을 제기한 회사인 OpenAI와 경쟁하기 위한 노력의 일환입니다. 콜로서스 시스템은 미국 에너지부의 오로라 슈퍼컴퓨터보다 빠릅니다. 엔비디아의 고급 H100 그래픽 카드를 사용합니다. 최신 H200 칩 개선 사항을 제공합니다. 여기에는 다음이 포함됩니다. HBM3 ~ HBM3e 메모리 그리고 온보드 메모리 용량이 증가했습니다. 141기가바이트. 콜로서스에 사용된 칩 중 일부는 원래 테슬라용으로 제작되었습니다.
오스틴에 있는 Tesla 본사에서 실제 세계 AI 문제를 해결하기 위해 건설 중인 거대한 새로운 AI 교육 슈퍼클러스터인 Cortex의 내부를 보여주는 오늘의 비디오 pic.twitter.com/DwJVUWUrb5
— 엘론 머스크 (@elonmusk) 2024년 8월 26일
이 시스템은 100,000개가 넘는 칩을 가지고 있습니다. 머스크는 시스템의 칩 수를 200,000개로 두 배로 늘릴 계획이며, 그 중 50,000개가 더 새롭고 빠른 H200 프로세서입니다. H200은 H100의 개량된 버전입니다. 더 빠르고 강력하게 만드는 두 가지 새로운 기능이 있습니다. 이러한 업그레이드를 통해 콜로서스는 복잡한 AI 모델을 더 쉽게 처리할 수 있습니다.
xAI가 AI 기술을 발전시키면서, 새로운 시스템은 차세대 언어 모델을 개발하는 데 핵심이 될 것입니다. 이 회사의 주요 모델인 Grok-2는 15,000개의 GPU를 사용하여 훈련되었습니다. Colossus의 100,000개 칩의 힘으로 더욱 진보된 모델을 만들 수 있습니다. xAI는 연말까지 새로운 모델을 출시할 계획입니다.
획기적인 AI 개발 외에도 xAI가 Nvidia 하드웨어를 사용하는 것은 다양한 산업에서 강력한 AI 처리 기능에 대한 수요가 증가하고 있음을 보여줍니다. Colossus에 사용된 일부 칩이 원래 Tesla를 위해 의도되었다는 사실은 Musk의 더 광범위한 비전에서 이 기술의 중요성을 더욱 강조합니다.
주요 이미지 출처: Furkan Demirkaya / Dall-E
