OpenAI는 Broadcom과 협력하여 개발한 최초의 맞춤형 추론 프로세서인 Jalapeño를 공개했습니다. OpenAI 추론 시스템을 위해 특별히 설계된 프로세서는 회사 자체 AI 모델의 지원을 받았다고 회사는 밝혔습니다.
Jalapeño는 현재 테스트 중이며 초기 결과는 현재의 최첨단 대안에 비해 와트당 성능이 훨씬 더 나은 것으로 나타났습니다. Broadcom과의 파트너십은 10월에 공식적으로 발표되었으며, Nvidia의 GPU에 대한 OpenAI의 의존도를 줄이는 것을 목표로 한다는 추측이 계속 진행되고 있습니다.
OpenAI와 마찬가지로 Google과 Amazon도 기계 학습 성능을 향상시키기 위해 “AI 가속기”라는 맞춤형 칩을 만들었습니다. OpenAI 사장 Greg Brockman은 Broadcom 파트너십을 발표한 직후 팟캐스트에서 회사의 칩 개발 전략에 대해 논의했습니다.
Brockman은 “우리는 워크로드를 깊이 이해하고 있습니다.”라고 말했습니다. “우리는 실제로 서비스가 부족한 특정 워크로드를 찾고 있으며 가능한 작업을 가속화할 수 있는 무언가를 어떻게 구축할 수 있는지 묻고 있습니다.”
Jalapeño 프로세서는 사용자 명령에 응답하여 사전 구축된 AI 모델을 실행하는 추론에 최적화되어 있습니다. OpenAI는 실시간 코딩 모델에 대한 칩의 낮은 운영 비용을 강조했습니다. 사전 훈련과 같은 보다 성능 집약적인 작업은 계속해서 Nvidia 하드웨어에 의존할 가능성이 높지만 추론 비용 감소는 OpenAI의 재정에 긍정적인 영향을 미칠 수 있습니다.
추론 시스템을 최적화하는 것은 AI의 경제적 생존 가능성을 위해 필수적일 수 있습니다. OpenAI는 배포에 필요한 데이터 센터와 함께 Codex를 포함한 다양한 에이전트 제품을 구축하는 데 중점을 두고 있습니다. 맞춤형 칩으로의 전환을 통해 회사는 인프라를 더욱 향상시킬 수 있습니다.
OpenAI는 “OpenAI는 프론티어 모델을 개발하거나 그 위에 제품을 구축할 뿐만 아니라 칩 아키텍처, 커널, 메모리 시스템, 네트워킹, 스케줄링, 배포 시스템, 제품 경험 등 그 기반의 인프라를 설계하고 있습니다”라고 밝혔습니다. “OpenAI는 스택 전체에서 작동하기 때문에 각 계층은 동일한 목표를 중심으로 최적화될 수 있습니다. 즉, 사용자에게 모델을 더 빠르고 안정적이며 저렴하게 만드는 것입니다.”
<시간 />
