GTC 2024가 성황리에 시작되었으며 NVIDIA는 차세대 AI 가속기인 B200 그리고 GB200 획기적인 Blackwell 아키텍처를 기반으로 구축된 GPU.
이러한 프로세서는 날로 증가하는 현대 워크로드의 복잡성을 처리하도록 설계된 AI 컴퓨팅의 큰 진전을 나타냅니다.
B200은 기록적인 트랜지스터 수를 갖춘 모놀리식 디자인을 자랑하는 반면, GB200은 멀티 칩 접근 방식을 취하여 여러 B200의 성능과 Grace CPU를 결합하여 비교할 수 없는 성능을 제공합니다.
이러한 GPU는 함께 처리 능력과 메모리 용량을 획기적으로 증가시켜 인공 지능에 크게 의존하는 수많은 분야에서 발전할 수 있는 길을 열어줍니다.
모놀리식 경이로움 NVIDIA B200
NVIDIA B200은 무려 2,080억 개의 트랜지스터를 자랑하는 엔지니어링 걸작입니다. 이 놀라운 업적은 두 개의 거대한 다이가 완벽하게 통합된 칩렛 설계로 가능해졌습니다.
B200은 호퍼 기반 이전 제품에 비해 FP64 고정밀 컴퓨팅 성능이 3배 향상된 강력한 컴퓨팅 성능을 제공합니다.
아마도 가장 눈에 띄는 점은 B200의 AI 추론 작업 능력일 것입니다.
NVIDIA는 이 GPU가 H200에 비해 5배나 향상된 성능을 제공한다고 주장합니다. 이러한 성능 향상은 추론에 크게 의존하는 LLM(대규모 언어 모델) 및 기타 AI 애플리케이션을 배포하는 데 중요합니다.
기술 거물들을 위해 Nvidia B200의 모든 단일 기술 세부 사항은 다음과 같습니다.
| 사양 | 세부 |
| 건축학 | 블랙웰 |
| 제작과정 | TSMC N4P(커스텀 4nm급) |
| 트랜지스터 수 | 2,080억(두 개의 칩렛에 걸쳐) |
| 메모리 유형 | HBM3E |
| 기억 용량 | 192GB(24GB 스택 8개) |
| 메모리 대역폭 | 8TB/초 |
| NVLink 인터페이스 | 1.8TB/초 |
| FP64 컴퓨팅 성능 | H100 대비 3배 개선 |
| AI 추론 성능 | H100 대비 5배 개선 |
GB200은 Grace와 Blackwell 아키텍처를 결합합니다.
GB200은 초저전력 NVLink 칩 간 상호 연결을 통해 두 개의 B200 GPU의 성능과 Grace CPU를 결합하여 ‘슈퍼칩’ 개념을 더욱 발전시켰습니다.
이 구성은 가장 까다로운 AI 워크로드에 맞춰 더욱 인상적인 성능과 메모리 용량을 제공합니다.
GB200 기능은 다음과 같습니다.
- 엄청난 메모리 용량: 메모리 요구 사항을 처리하도록 설계되었습니다. 1000조 매개변수 AI 모델
- 고속 네트워킹: NVIDIA Quantum-X800 InfiniBand 및 Spectrum-X800 이더넷 플랫폼 지원 초고속 800Gb/s 속도
- 다중 노드 확장성: GB200은 최고 수준의 컴퓨팅 강도를 위한 수냉식 랙 규모 시스템인 NVIDIA GB200 NVL72의 기반을 형성합니다.
GB200의 사양을 간단히 요약하면 다음과 같습니다.
| 사양 | 세부 |
| 건축학 | 블랙웰 |
| 구성요소 | 2x B200 GPU + NVIDIA Grace CPU |
| 상호 연결 | 900GB/s 초저전력 NVLink(칩 투 칩) |
| 기억 용량 | 384GB HBM3E |
| 총 메모리 대역폭 | 16TB/초 |
| 네트워킹 지원 | NVIDIA Quantum-X800 InfiniBand(800Gb/s), Spectrum-X800 이더넷(800Gb/s) |
| 시스템 설정 | GB200 NVL72(수냉식, 랙 규모) |
B200 및 GB200의 잠재적인 영향은 수많은 산업과 응용 분야에 걸쳐 확장됩니다.
강력한 가속 기능은 예술, 텍스트, 코드 등을 만드는 방식을 바꾸는 대규모 생성 AI 모델을 교육하고 배포하는 데 이상적입니다.
B200/GB200은 자연어 처리 및 추천 시스템과 같은 분야에서 향상된 서비스를 제공합니다. 연구자들은 또한 신약 발견, 기후 모델링, 재료 과학과 같은 분야에서 정확성과 속도를 얻을 수 있습니다.
대규모 블랙웰
NVIDIA는 GB200 Grace Blackwell Superchips의 성능을 활용하도록 특별히 제작된 DGX SuperPOD를 동시에 발표했습니다. 이 턴키 솔루션은 업계 최고의 안정성으로 생성 AI 워크로드를 확장하기 위한 최적화된 플랫폼을 제공합니다.
AI 가속의 미래
NVIDIA B200 및 GB200은 AI 컴퓨팅의 주요 발전을 나타내며 강력한 가속 솔루션의 새로운 최고점을 제시합니다.
성능과 메모리의 이점을 갖춘 이 획기적인 GPU는 혁신을 주도하고 다양한 분야에서 가능성의 한계를 뛰어넘을 준비가 되어 있습니다.
주요 이미지 크레딧: pvproductions/Freepik.
Source: NVIDIA는 방금 차세대 B200 및 GB200 AI 칩을 출시했습니다.