Nvidia Grace CPU와 Nvidia H100은 Nvidia GTC 2022에서 공개되었습니다. Nvidia는 오늘 차세대 Hopper GPU 아키텍처와 Hopper H100 GPU와 GPU와 고성능 CPU를 결합한 새로운 데이터 센터 칩을 발표했습니다. Grace CPU Superchip”(Nvidia의 다른 Grace 슈퍼칩과 혼동하지 마십시오).
Nvidia Grace CPU: 사양, 가격 및 출시일
Nvidia GPU Superchip은 전문 데이터 센터 CPU에 대한 회사의 첫 번째 시도입니다. Intel이 유출한 정보에 따르면 Arm 기반 칩은 엄청난 144개의 코어와 초당 1테라바이트의 메모리 대역폭을 특징으로 합니다. 실제로 Nvidia의 NVLink 상호 연결을 통해 연결된 2개의 Grace CPU를 결합합니다. 이는 Apple의 M1 Ultra 아키텍처와 유사합니다.
고속 LPDDR5X 메모리로 구동되는 새로운 CPU는 2023년 상반기에 출시될 예정이며 기존 서버의 2배 성능을 제공합니다. Nvidia는 이 칩이 SPECrate®2017_int_base 벤치마크에서 740점을 달성하여 고급 AMD 및 Intel 데이터 센터 프로세서와 맞붙을 것으로 예측합니다(일부는 점수가 더 높지만 와트당 성능은 더 낮습니다. ).
“새로운 유형의 데이터 센터, 즉 지능을 생성하기 위해 방대한 데이터를 처리하고 정제하는 AI 공장이 등장했습니다. Grace CPU Superchip은 최고의 성능, 메모리 대역폭, NVIDIA 소프트웨어 플랫폼을 하나의 칩으로 제공하며 세계 AI 인프라의 CPU로 빛날 것입니다.”
-Nvidia의 설립자이자 CEO인 Jensen Huang
이 새로운 칩은 여러 면에서 작년에 발표된 Grace Hopper Superchip과 CPU의 자연스러운 발전입니다. Grace Hopper Superchip은 CPU와 GPU를 단일 시스템 온 칩 설계로 결합합니다. 2023년 상반기에도 출시될 이 시스템에는 대형 모델용 600GB 메모리 GPU가 포함되며 Nvidia는 메모리 대역폭이 기본 서버 GPU보다 30배 더 클 것이라고 주장합니다. Nvidia에 따르면 이러한 프로세서는 “거대한 규모” AI 및 고성능 컴퓨팅 응용 프로그램을 위한 것입니다.
Grace CPU Superchip은 독립 실행형 CPU 또는 최대 8개의 Hopper 기반 GPU가 있는 서버를 만드는 데 사용할 수 있는 Arm v9 기반 SoC입니다.
회사는 “주요 HPC, 슈퍼컴퓨팅, 하이퍼스케일 및 클라우드 고객”과 협력하고 있으며 이러한 시스템이 결국 가까운 클라우드 제공업체에서 제공될 것임을 암시합니다.
가격에 대한 정보는 아직 공유되지 않았습니다.
Nvidia H100 GPU: 사양, 가격 및 출시일
Nvidia는 Hopper와 함께 여러 가지 새롭고 향상된 기술을 출시하고 있지만, 많은 애플리케이션에서 기계 학습 기술이 선택되고 GPT-3 및 asBERT와 같은 전력 모델이 가장 필수적인 변압기 모델에 대한 아키텍처의 강조 .
H100 칩의 새로운 Transformer Engine은 모델 교육 속도를 최대 6배까지 높일 수 있으며, 이 새로운 아키텍처에는 수많은 노드를 연결하기 위한 Nvidia의 새로운 NVLink 스위치 시스템도 포함되어 있기 때문에 이러한 칩으로 구동되는 대규모 서버 클러스터는 다음을 지원하도록 확장할 수 있습니다. 오버헤드가 적은 거대한 네트워크.
“가장 큰 AI 모델은 오늘날의 컴퓨팅 플랫폼에서 훈련하는 데 몇 달이 걸릴 수 있습니다. 기업에게는 너무 느립니다. AI, 고성능 컴퓨팅 및 데이터 분석은 수조 개의 매개변수에 도달하는 대형 언어 모델과 같은 일부 모델과 함께 복잡성이 증가하고 있습니다. NVIDIA Hopper 아키텍처는 대규모 컴퓨팅 성능과 빠른 메모리로 이러한 차세대 AI 워크로드를 가속화하여 증가하는 네트워크 및 데이터 세트를 처리할 수 있도록 처음부터 구축되었습니다.”
-데이브 살바토르
정밀함을 유지하면서 필요에 따라 8비트 정밀도와 16비트 반정밀도를 결합할 수 있는 고객의 Tensor 코어가 새로운 Transformer Engine에 사용됩니다.
가격에 대한 정보는 아직 공유되지 않았습니다.