테네시 주 멤피스에 세계에서 가장 큰 슈퍼컴퓨터를 건설하는 것을 목표로 하는 Elon Musk의 xAI 이니셔티브는 인공 지능 인프라 영역에 대한 주목할만한 진출을 나타냅니다. 야심찬 이니셔티브인 “컴퓨팅 기가팩토리”는 AI 모델 추론 및 훈련에 사용할 수 있는 처리 용량을 변화시키려고 합니다. 이 계획은 Musk가 OpenAI와 경쟁하기 위해 설립한 스타트업인 xAI가 재치 있고 반항적인 성격으로 유명한 AI인 Grok을 개발하여 AI 업계의 리더로 자리매김하려는 시기에 이루어졌습니다.
xAI는 현재 Grok 기반 모델을 교육하고 개선하기 위해 X(이전의 Twitter)의 데이터 센터와 Oracle의 클라우드 서비스에 의존하고 있습니다. 이러한 의존성은 xAI가 전용 인프라를 개발해야 할 필요성을 강조합니다. 멤피스에 제안된 기가팩토리는 이 솔루션을 제공하여 효율성과 성능 향상을 약속하는 AI 개발을 위한 중앙 집중식 허브를 만들 예정입니다.
Elon Musk의 xAI, 멤피스에 세계 최대 슈퍼컴퓨터 구축
이 최첨단 시설 건설 계획은 아직 Memphis Shelby 카운티 경제 개발 성장 엔진 및 기타 지역 당국의 승인을 기다리고 있습니다. 그럼에도 불구하고 이 이니셔티브에 대한 실질적인 기대감이 있습니다. 멤피스 시장인 폴 영(Paul Young)은 도시의 혁신적인 정신과 이러한 변화를 주도할 준비가 되어 있음을 강조하며 흥분을 표현했습니다. MLGW(Memphis Light, Gas and Water)의 CEO인 Doug McGowen은 이러한 정서를 반영하면서 일자리 창출 및 지역 서비스 수익 증대를 포함하여 지역사회에 대한 잠재적인 이익을 언급했습니다.
xAI라는 회사는 AI 프로젝트를 지원하기 위해 60억 달러를 모금하여 업계 금융 환경의 강점을 입증했습니다. 이번 자금 조달 라운드를 통해 회사의 가치는 무려 240억 달러에 달했습니다. 이 자금은 주로 멤피스 인근에 위치한 슈퍼컴퓨터 기가팩토리 등 첨단 인프라 건설에 사용됩니다. 이러한 재정적 지원을 통해 xAI는 AI 부문에서 중요한 발전을 이룰 수 있는 더 나은 위치에 있으며 야망의 범위와 심각성을 더욱 입증합니다.
기술 개선 속도를 고려하면 H100에 1GW의 전력을 투입하는 것은 가치가 없습니다.
그만큼 @xAI 100,000개의 H100 수냉식 교육 클러스터가 몇 달 안에 온라인 상태가 될 것입니다.
다음 큰 단계는 아마도 내년 여름 CX8 네트워킹을 갖춘 약 300,000개의 B200이 될 것입니다.
— 엘론 머스크(@elonmusk) 2024년 6월 2일
xAI에 대한 Musk의 비전은 단순히 OpenAI와 경쟁하는 것 이상입니다. 여기에는 AI 기능의 경계를 넓힐 수 있는 기술 강국을 만드는 것이 포함됩니다. 단 4개월 만에 개발된 Grok 모델은 스타트업의 빠른 개발 속도와 혁신적인 접근 방식을 입증합니다. 프로젝트의 성공은 엔지니어가 모델 출력을 효율적으로 미세 조정할 수 있는 신속한 엔지니어링을 위한 xAI의 개발 환경인 Project IDE에 부분적으로 기인합니다.
머스크가 슈퍼컴퓨팅에 진출한 것은 이번이 처음이 아니다. Tesla는 2021년부터 조용히 슈퍼컴퓨팅 프로젝트인 Dojo를 진행해 왔습니다. Dojo는 2023년에 첫 번째 클러스터가 온라인에 등장하면서 AI 훈련 기능을 강화하려는 Tesla의 노력을 나타냅니다. 이러한 노력의 일환으로 Tesla는 상당한 양의 하드웨어를 구입했습니다. 회사가 4월 1분기 실적 발표에서 밝혔듯이 Nvidia의 약 85,000개의 H100 GPU를 포함합니다.
흥미롭게도 원래 Tesla용으로 의도된 Nvidia 칩 중 일부가 xAI로 리디렉션되었습니다. CNBC가 입수한 이메일에 따르면 약 12,000개의 H100 GPU가 Grok 개발을 지원하기 위해 경로가 변경되었습니다. 이러한 전략적 자원 배분은 머스크 벤처의 상호 연결된 성격과 AI 기술 발전을 위한 공동 노력을 강조합니다.
Frontier가 선두를 달리고 있지만 xAI와 Tesla는 슈퍼컴퓨팅을 장악하는 것을 목표로 하고 있습니다.
현재 세계에서 가장 강력한 슈퍼컴퓨터의 타이틀은 지난 5월 가장 최근 Top500 목록에서 1위를 차지한 Frontier에 속해 있습니다. 그러나 xAI와 Tesla의 슈퍼컴퓨팅 프로젝트는 아직 완전히 작동하지 않았음에도 불구하고 2위를 차지한 Aurora를 포함한 다른 강력한 시스템과의 치열한 경쟁에 직면해 있습니다. 이러한 경쟁 환경은 슈퍼컴퓨팅 분야의 지속적인 혁신과 개선을 주도하여 가능성의 한계를 뛰어넘습니다.
멤피스에 계획된 기가팩토리를 통해 xAI는 기술 혁신의 최전선에 서서 인공 지능 세계에 큰 영향을 미칠 것입니다. 프로젝트가 승인을 기다리고 실현에 가까워짐에 따라 AI 인프라 발전의 초석이 될 수 있는 것에 대한 기대가 커지고 있습니다.
주요 이미지 출처: William Daigneault / Unsplash
