NVIDIA가 뒷받침하는 스타트 업인 Enfabrica는 AI 추론 워크로드를 요구하기위한 서버 메모리 용량을 증강 시키도록 설계된 EMFASYS 시스템을 도입했습니다. EMFASYS 시스템은 이더넷을 통해 서버를 통해 최대 18TB의 추가 DDR5 메모리를 제공하여 대규모 AI 응용 프로그램에서 종종 발생하는 메모리 병목 현상을 해결합니다.
랙 호환 EMFASYS 시스템은 Enfabrica의 ACF-S Supernic을 사용하여 3.2TB/S (400GB/s) 처리량을 특징으로합니다. 이 시스템은 DDR5 메모리를 CXL 기능과 연결하여 4 방향 및 8 방향 GPU 서버가 표준 400G 또는 800G 이더넷 포트를 통해 메모리 풀에 액세스 할 수 있도록합니다. 연결은 이더넷을 통한 원격 직접 메모리 액세스 (RDMA)에 의존하여 기존 AI 서버 인프라와의 원활한 통합을 용이하게합니다.
GPU 서버와 EMFASYS 메모리 풀 간의 데이터 전송은 RDMA를 활용하여 CXL.MEM 프로토콜을 사용하여 CPU 개입없이 제로 카피의 저조도 메모리 액세스 (마이크로 초로 측정)를 허용합니다. EMFASYS 메모리 풀에 액세스하려면 ENFABRICA에서 제공하는 메모리 계층 소프트웨어가 필요하며 전송 지연 및 기타 관련 문제를 관리합니다. 이 소프트웨어는 기존 하드웨어 및 OS 환경 내에서 작동하도록 설계되었으며, 기존의 RDMA 인터페이스를 구축하여 주요 아키텍처 수정을 필요로하지 않고 배포를 단순화합니다.
Enfabrica의 Emfasys는 특히 현대 AI 응용 프로그램의 증가하는 메모리 요구, 특히 긴 프롬프트, 큰 컨텍스트 창 또는 여러 에이전트와 관련된 메모리 요구를 해결하기 위해 특별히 맞춤화되었습니다. 이러한 응용 분야는 GPU- 부착 된 HBM에 상당한 긴장을가하며, 이는 용량이 제한되고 비싸다. 외부 메모리 풀을 사용함으로써 데이터 센터 운영자는 개별 AI 서버의 메모리 용량을 확장 할 수있는 유연성을 얻어 이러한 도전적인 시나리오에 적합한 솔루션이됩니다.
AI 서버 운영자는 EMFASYS 메모리 풀을 채택함으로써 컴퓨팅 리소스의 활용 개선, 고가의 GPU 메모리의 낭비 감소 및 인프라 비용의 전반적인 감소를 통해 효율성을 향상시킬 수 있습니다. ENFABRICA는이 구성으로 인해 AI 생성 토큰 당 비용을 하이 턴 및 장거리 텍스트 시나리오에서 최대 50% 감소시킬 수 있다고 주장합니다. 또한 토큰 생성 작업은 서버에 더 고르게 배포하여 잠재적 인 병목 현상을 완화 할 수 있습니다.
Enfabrica의 CEO 인 Rochan Sankar는“AI 추론에는 메모리 대역폭 스케일링 문제와 메모리 마진 스태킹 문제가 있습니다. “추론이 더 많은 대리인과 대화적이고 보존성 대 잊어 버리기 때문에 현재 메모리 액세스를 스케일링하는 방법은 유지되지 않습니다. 우리는 탄력적이고 랙 스케일 AI 메모리 패브릭을 만들기 위해 Emfasys를 구축하고 이전에 수행되지 않은 방식으로 이러한 과제를 해결하기 위해 이러한 과제를 해결합니다. 고객은 유전자 작업량과 더 나은 경제를 유도하기 위해 훨씬 더 많은 메모리 운동 아키텍처를 구축하기 위해 우리와 파트너 관계를 맺고 있습니다.
Emfasys AI 메모리 패브릭 시스템과 3.2 TB/S ACF Supernic Chip은 현재 일부 고객이 평가 및 테스트를 진행 중입니다. 일반 가용성 타임 라인은 불분명합니다.
ENFABRICA는 UEC (Ultra Ethernet Consortium)의 자문 멤버이며 ULink (Ultra Accelerator Link) 컨소시엄에 기여합니다.
