AMD는 AMD Instinct ™ MI300X GPU에서 처음부터 훈련 된 30 억 파라미터를 갖춘 완전 오픈 소스 언어 모델 인 Instella를 소개했습니다. 이 모델은 기존의 완전 개방형 모델에 비해 상당한 개선을 보여주고 최첨단 오픈 웨이트 모델과 경쟁하는 것을 목표로합니다.
AMD는 Instella를 소개합니다 : 30 억 매개 변수를 가진 오픈 소스 언어 모델
Instella는 36 개의 디코더 층과 32 개의주의 헤드로 구성된 자동 회귀 변압기 모델을 기반으로합니다. 이 아키텍처는 최대 4,096 개의 토큰의 시퀀스 길이를 지원하므로 모델이 광범위한 텍스트 컨텍스트를 처리 할 수 있습니다. 어휘 크기는 약 50,000 개의 토큰이며 Olmo Tokenizer가 관리합니다.
이 교육은 AMD의 하드웨어 소프트웨어 통합을 강조하기 위해 AMD Instinct MI300X GPU를 활용했습니다. Instella는 이전 1 억 파라미터 AMD OLMO 모델의 노력을 확장하여 1.3 조 토큰을 사용하여 64 MI250 GPU에서 128 MI300X GPU 및 4.15 조 토큰으로 전환합니다.
AMD의 Instella Training Pipeline은 4 단계로 구성되어 일반 자연어 이해에서 인간 선호도에 대한 지시 및 정렬에 이르기까지 모델의 기능을 점진적으로 향상 시켰습니다. 첫 번째 단계는 DCLM-Baseline 및 Dolma 1.7을 포함한 다양한 데이터 세트에서 4.065 조 토큰에 대한 교육과 관련이 있었으며, 두 번째 단계는 Dolmino-Mix-1124 및 Smollm-Corpus와 같은 고품질 데이터 세트에서 57.575 억 토큰을 추가로 통합했습니다.
모델 버전 및 교육 세부 사항
출시 된 Instella 모델에는 다음이 포함됩니다.
- Instella-3B-단계 1: 기초 자연 언어 능력을위한 4.065 조 토큰이있는 1 단계 1 단계.
- Instella-3b: 문제 해결 기능을 향상시키기 위해 추가 57.575 억 토큰이 추가로 사전 훈련 2 단계.
- Instella-3B-Sft: 수업을 따르는 능력을 향상시키기 위해 3 개의 시대에 걸쳐 8902 억 토큰을 사용하여 SFT (Supervised Fine Tuning).
- Instella-3B- 강조: 직접 선호도 최적화 (DPO)를 가진 7 억 6 천만 개의 토큰을 사용한 사람 선호도에 대한 정렬.
훈련 방법론은 FlashAttention-2, Torch Compile 및 Bfloat16 혼합-정밀 훈련을 사용하여 효율성을위한 완전한 샤드 데이터 병렬 처리와 함께 대형 클러스터에서 리소스 활용도를 최적화했습니다.
성능 벤치 마크
Instella 모델은 비슷한 크기의 기존 완전히 열린 모델보다 훨씬 뛰어납니다. 최종 미리 훈련 된 모델 인 Instella-3B는 ARC Challenge (+8.02%), ARC EASE (+3.51%) 및 GSM8K (+48.98%)와 같은 벤치 마크가 주목할만한 개선으로 기존의 최고 성과가 완전히 개방 된 미리 훈련 된 모델을 평균 8.08%로 이끌고 있습니다.
Instella-3B 모델은 MMLU 및 BBH를 포함한 다양한 표준 벤치 마크에서 뛰어나며 LLAMA-3.2-3B 및 GEMMA-2-2B와 같은 모델에 대한 상당한 경쟁력을 보여줍니다. 명령 튜닝 측면에서 Instella-3B-비율은 다음으로 가장 잘 수행되는 완전 개방 된 명령 조정 모델에 비해 일관된 점수 리드를 14.37%로 보여줍니다.
이 모델은 Olmes, Fastchat MT-Bench 및 Alpaca의 표준 작업을 사용하여 평가되었으며, 결과는 기존 최첨단 오픈-가중 모델에 비해 강한 성능을 나타냅니다. 지시 조정 된 모델은 놀라운 점수를 얻었고, 틈을 좁히고, 언어 모델의 환경 내에서 경쟁력을 보여주었습니다.
오픈 소스 가용성
AMD는 모델 가중치, 교육 구성, 데이터 세트 및 코드를 포함하여 Instella 모델과 관련된 모든 아티팩트를 완전히 개방적으로 제공하여 AI 커뮤니티 내의 협업 및 혁신 홍보를 제공했습니다. 포옹 얼굴 모델 카드 및 Github 리포지토리를 통해 리소스를 사용할 수 있습니다.
주요 이미지 크레딧 : Timothy Dykes/Unsplash
Post AMD는 Instella : Open-Source AI 모델을 공개합니다.
