무선 통신 및 프로세서 분야의 선도적인 공급업체인 Qualcomm은 바르셀로나 모바일 월드 콩그레스(Mobile World Congress Barcelona)에서 인공 지능(AI) 분야에서 상당한 진전을 이루었습니다. 회사의 주요 목표는 전화, 컴퓨터 및 기타 장치와 같은 엣지 장치에서 AI를 대규모로 실행하는 것입니다.
Qualcomm은 Android 휴대폰에서 세계 최초의 LLM(대형 언어) 및 대규모 다중 모달 모델을 성공적으로 실행하여 사용자와 장치 간에 채팅과 같은 다단계 대화가 가능하도록 했습니다. 또한 회사는 차세대 컴퓨터, 차량, 전화, 산업용 IoT 장치, Wi-Fi 액세스 포인트 및 셀룰러 인프라를 포함한 광범위한 엣지 장치에서 AI를 가속화할 계획을 발표했습니다.
사용하기 쉬운 Qualcomm AI 허브
AI 애플리케이션 개발을 촉진하기 위해 Qualcomm은 개발자에게 Snapdragon 및 기타 Qualcomm 플랫폼의 고성능에 최적화된 방대한 AI 모델 라이브러리를 제공하는 AI Hub를 만들었습니다. 이 플랫폼은 이미지 및 텍스트 렌더링과 같은 다양한 기능을 제공하며 Snapdragon 또는 기타 Qualcomm 플랫폼을 기반으로 하는 장치에서 최대 4배 더 빠른 추론을 제공합니다.
AI Hub는 사용자 친화적인 환경을 제공하므로 개발자는 75개 이상의 AI 모델 중에서 선택하고 TensorFlow, PyTorch 또는 Onyx 작업 환경 중에서 선택할 수 있습니다. Hugging Face 및 GitHub에서도 모델을 사용할 수 있으므로 개발자가 AI를 애플리케이션에 쉽게 통합할 수 있습니다.
LoRA 란 무엇입니까?
Qualcomm은 또한 Android 휴대폰에서 최초의 LoRA(낮은 순서 구현)를 실행하여 또 다른 기술적 성과를 달성했습니다. Microsoft에서 개발한 LoRA는 대기 시간, 비용 및 하드웨어 요구 사항 측면에서 모델 교육의 복잡성을 줄이는 것을 목표로 합니다. LoRA는 DALL-E와 같은 생성 AI 도구와는 다른 이미지 생성에 대한 새로운 접근 방식을 제공합니다. LoRA는 모델 복잡성을 줄여 메모리 요구 사항을 줄이고 효율성을 향상하며 전체 모델을 다운로드하거나 미세 조정할 필요 없이 경량 버전을 사용자 정의할 수 있습니다.
LoRA는 기존 AI 렌더링 모델과 다른 접근 방식을 취합니다. 이 모델은 픽셀 패턴을 학습하여 이미지를 생성합니다. LoRA는 벡터 목록을 사용하여 이미지를 생성합니다. 벡터는 이미지의 기본 특징(모양, 색상, 질감 등)을 나타냅니다.
LoRA의 벡터 기반 접근 방식은 모델의 복잡성과 크기를 크게 줄입니다. 이를 통해 모델을 더 빠르게 훈련할 수 있으며 하드웨어와 에너지 소비도 줄어듭니다.
Snapdragon X Elite: AI 애플리케이션용으로 설계됨
AI를 실행하도록 설계된 Snapdragon X Elite는 4nm SoC 아키텍처, 듀얼 코어를 지원하는 12코어 Qualcomm Oryon CPU 및 통합 Qualcomm Adreno GPU를 갖추고 있습니다. 한 번 충전으로 며칠 동안 사용할 수 있어 지속적인 재충전이 필요하지 않습니다. 가장 중요한 기능 중 하나는 130억 개의 매개변수를 사용하여 생성적 AI LLM 모델을 실행할 수도 있다는 것입니다.
SoC의 기능을 입증하기 위해 Qualcomm은 Snapdragon X Elite와 가장 효율적인 GPU, CPU 및 NPU 구성을 갖춘 경쟁사 x86 프로세서 간의 성능 벤치마크를 실행했습니다. 벤치마크에서는 GAI 이미지 생성을 위한 Stable Diffusion 플러그인을 갖춘 강력한 오픈 소스 래스터 그래픽 편집기인 GIMP를 사용했습니다. 결과에 따르면 “45 TOPS” NPU를 탑재한 Snapdragon X Elite는 x86 경쟁사보다 3배 빠르게 이미지를 렌더링할 수 있는 것으로 나타났습니다. 45 TOPS 처리 능력이 얼마나 강력한지 더 잘 이해하기 위해 아래 예를 살펴볼 수 있습니다.
- 인간의 두뇌는 초당 약 100조 번의 연산을 수행할 수 있습니다.
- 데스크톱 컴퓨터는 초당 약 10조 개의 작업을 수행할 수 있습니다.
- 스마트폰은 초당 약 1조 번의 작업을 수행할 수 있습니다.
보시다시피 45 TOPS 처리 능력은 스마트폰보다 45배, 데스크톱 컴퓨터보다 4.5배 더 높습니다. 이는 Snapdragon X Elite 플랫폼이 AI 애플리케이션을 위한 매우 강력한 플랫폼임을 보여줍니다.
우리가 듣기 시작한 이름 NPU
NPU는 인공 지능 및 기계 학습 애플리케이션을 위한 특수 프로세서인 Neural Process Unit의 약자입니다. NPU는 특히 인공 신경망(ANN)에서 사용하는 수학적 연산을 계산할 때 뛰어난 성능을 제공합니다. 이러한 수학 연산에는 행렬 곱셈, 컨볼루션 및 활성화 함수가 포함됩니다.
NPU는 정밀도가 낮은 데이터로 보다 효율적으로 작동하도록 설계되어 AI 워크로드에 이상적입니다. 또한 AI 컴퓨팅을 위한 CPU 및 GPU보다 전력 효율성이 훨씬 더 높습니다.
Qualcomm의 AI 혁신
이 주제에 대한 회사의 낙관적인 목표는 인공 지능이 다양한 플랫폼에서 효율적으로 사용되도록 보장하는 것입니다. 이 회사의 Snapdragon 8 Gen 3 휴대폰 프로세서와 Snapdragon X Elite PC 플랫폼은 생성 AI, 컴퓨터 비전, 자연어 처리 등의 영역에서 중요한 기능을 수행할 수 있습니다.
Qualcomm은 또한 Qualcomm AI Hub를 통해 개발자에게 고급 AI 기능을 제공하고 있습니다. 이 허브는 개발자에게 Snapdragon 및 기타 Qualcomm 플랫폼의 고성능에 최적화된 75개 이상의 AI 모델을 포함한 리소스를 제공합니다.
스마트폰에서 인공지능을 활용하는 것은 제한적이지만, 회사가 약속을 지키고 이러한 기술을 원하는 대로 개발한다면 우리는 컴퓨터에서 사용하는 것처럼 휴대폰에서도 인공지능을 사용할 수 있게 될 것입니다. AI는 또한 게임 경험에 완전히 새로운 차원을 제공하여 가상 게임 도우미가 새로운 게임 콘텐츠를 생성하고 플레이어의 지식이나 보다 도전적인 경험에 대한 욕구를 기반으로 게임 규칙과 게임 플레이를 동적으로 조정할 수 있도록 해줍니다.
Qualcomm의 온디바이스 AI의 확장 가능한 상용화는 AI의 민주화에 큰 기여를 합니다. 이러한 비전 있는 단계를 통해 Qualcomm은 AI 분야의 핵심 플레이어가 되었으며 회사는 대규모 AI 채택을 더욱 가속화할 수 있습니다.
인공지능의 발전은 계속된다. 이대로라면 처음으로 우리 컴퓨터에 들어온 인공지능이 우리 휴대폰에 효율적으로 도달하게 될 것이다. AI가 이해할 수 있도록 만들어진 프로세서를 통해 이 분야가 앞으로 얼마나 성장할 것인지도 보여 주는 것 같습니다. 현재 윤리와 도덕성에 대한 논의가 진행 중이지만 앞으로는 이 기술의 사용이 어떻게든 모든 사용자에 의해 받아들여질 것입니다. 퀄컴의 발전을 통해 우리는 복잡한 작업을 쉽게 수행할 수 있는 AI 기반 장치를 볼 수 있어 우리 삶을 더욱 편리하고 효율적으로 만들 수 있을 것으로 기대됩니다.
주요 이미지 출처: Qualcomm
Source: Qualcomm의 인공 지능 꿈은 비교할 수 없습니다.