Vicuna-13B AI 챗봇은 ShareGPT에서 수집한 사용자 공유 대화와 미세 조정 LLaMA를 사용하여 훈련되는 오픈 소스 챗봇으로 소개되었습니다. 이 챗봇은 GPT-4를 벤치마크로 사용하여 예비 평가를 거쳤으며 OpenAI ChatGPT 및 Google Bard와 같은 다른 인기 있는 챗봇과 비교하여 90%* 이상의 품질을 달성하는 것으로 나타났습니다. Vicuna-13B는 또한 90%* 이상의 사례에서 LLaMA 및 Stanford Alpaca와 같은 다른 모델을 능가합니다.
Stanford Alpaca 크기의 거의 두 배임에도 불구하고 Vicuna-13B의 가격은 약 $300로 Alpaca 가격의 절반에 불과합니다. Stanford가 OpenAI API를 통해 자체 데이터를 생성한 반면 Vicuna가 훈련된 ShareGPT 데이터는 공개적으로 액세스할 수 있기 때문입니다. 따라서 Vicuna는 교육 비용만 발생합니다. Stanford 모델과 마찬가지로 Vicuna-13B는 비상업적 목적으로만 사용할 수 있습니다.
Vicuna 팀에 따르면 챗봇은 ShareGPT 데이터로 미세 조정된 후 벤치마크 질문 테스트에서 Alpaca보다 훨씬 더 체계적이고 자세한 답변을 보여주었습니다. 팀은 Vicuna-13B AI 챗봇의 답변 품질이 ChatGPT에서 제공하는 것과 비슷하다고 밝혔습니다.
GPT-4는 다양한 챗봇의 출력을 비교할 수 있지만 Vicuna-13B AI 챗봇 팀에서는 이 방법이 “비과학적”이라고 간주하고 추가 연구가 필요합니다. – 이미지: LmSys
Vicuna-13B AI 챗봇의 성능을 추가로 평가하기 위해 팀은 OpenAI의 최신 모델인 GPT-4를 사용하고 있습니다. GPT-4를 사용하면 팀이 다양한 챗봇을 세부적인 방식으로 일관되게 순위 지정하고 점수를 매길 수 있으므로 Vicuna의 기능에 대한 보다 포괄적인 평가를 제공합니다.
Vicuna-13B AI 챗봇이란?
Vicuna는 공개 API를 통해 ShareGPT.com에서 얻은 약 70,000개의 사용자 공유 대화를 사용하여 미세 조정된 오픈 소스 챗봇입니다. Vicuna-13B AI 챗봇은 성능을 최적화하기 위해 미세 조정된 LLaMA를 기반으로 합니다. 데이터 품질을 보장하기 위해 연구팀은 HTML 형식을 다시 마크다운으로 변환하고 부적절하거나 품질이 낮은 샘플을 제거했습니다. 또한 긴 대화를 모델의 최대 컨텍스트 길이에 맞는 더 작은 부분으로 분할했습니다.
연구팀은 Vicuna의 성능을 향상시키기 위해 Stanford의 Alpaca 훈련 레시피에 몇 가지 향상된 기능을 개발했습니다. 이러한 향상된 기능에는 다음이 포함됩니다.
- 메모리 최적화: 팀은 Alpaca의 최대 컨텍스트 길이를 512에서 2048로 확장하여 긴 대화를 더 잘 이해할 수 있도록 했습니다. 그러나 이로 인해 GPU 메모리 요구 사항이 크게 증가했습니다. 이를 완화하기 위해 팀은 그래디언트 체크포인팅과 플래시 어텐션을 사용하여 메모리 압력을 관리했습니다.
- 다단계 대화: 팀은 다단계 대화를 설명하기 위해 훈련 손실을 조정하고 챗봇의 출력만을 기반으로 미세 조정 손실을 계산했습니다.
- 스팟 인스턴스를 통한 비용 절감: 40배 더 큰 데이터 세트와 4배 길이의 시퀀스로 훈련하는 것은 상당한 비용 문제를 야기했습니다. 비용을 줄이기 위해 팀은 선점 및 자동 영역 전환을 위한 자동 복구 기능이 있는 저렴한 스팟 인스턴스를 활용하는 SkyPilot 관리 스팟을 사용했습니다.
Vicuna에 적용된 다양한 최적화를 통해 챗봇은 복잡한 대화를 더 잘 이해하고 응답할 수 있습니다. 또한 비용 절감 전략을 통해 Vicuna는 챗봇 시스템을 구축하는 개발자와 연구원에게 보다 저렴한 옵션이 됩니다.
Vicuna-13B AI 챗봇을 훈련시키기 위해 연구팀은 사용자가 ChatGPT 대화를 공유할 수 있는 플랫폼인 ShareGPT.com에서 약 70,000개의 대화를 수집했습니다. Alpaca에서 제공하는 교육 스크립트는 긴 시퀀스와 다단계 대화를 더 잘 처리하도록 수정되었습니다. 팀은 8개의 A100 GPU에서 PyTorch FSDP를 사용하여 단 하루 만에 Vicuna를 교육했습니다.
데모 구현에서는 분산 작업자를 사용하여 여러 모델을 제공할 수 있는 경량 분산 서빙 시스템을 사용했습니다. 이 시스템은 클라우드 기반 및 온프레미스 클러스터 모두에서 유연한 GPU 작업자 플러그인을 지원합니다. 서비스 비용을 줄이기 위해 팀은 내결함성 컨트롤러와 SkyPilot의 관리형 스팟 기능을 사용하여 여러 클라우드에서 저렴한 스팟 인스턴스를 활용했습니다.
Vicuna-13B AI 챗봇은 어떻게 사용하나요?
다음 단계에 따라 Vicuna-13B AI 챗봇을 사용해 볼 수 있습니다.
- lmsys.org로 이동
- 드롭다운 메뉴에서 “vicuna-13b”를 선택합니다.
- 아래에 “텍스트를 입력하고 ENTER를 누르십시오”라는 상자가 표시됩니다.
- 원하는 것을 물어보고 업로드를 클릭하십시오.
그게 다야! Vicuna의 현재 버전은 데모 모델이며 원래 릴리스에는 다른 기능이 있을 수 있습니다. 따라서 출시된 버전의 성능과 기능이 데모 모델과 다를 수 있음을 사용자는 염두에 두어야 합니다.
그럼에도 불구하고 데모 모델은 Vicuna-13B AI 챗봇의 잠재적 기능에 대한 귀중한 통찰력을 제공하고 오픈 소스 도구의 가능성에 대한 유망한 예입니다.
Vicuna-13B AI 챗봇은 얼마나 좋은가요?
회사는 벤치마크 질문에 대한 Alpaca와 Vicuna의 응답을 보여주었습니다. 70,000개의 사용자 공유 ChatGPT 대화로 Vicuna를 미세 조정한 후 Vicuna가 Alpaca보다 더 상세하고 더 잘 구성된 답변을 생성할 수 있음을 발견했습니다. Vicuna-13B AI 챗봇의 답변 품질은 ChatGPT에서 제공하는 것과 비슷합니다.
아래에서 문서에서 공유되는 두 모델의 예제 프롬프트 및 답변을 볼 수 있습니다.
Vicuna-13B AI 챗봇: “알로하, 동료 여행자들! 풍부한 문화와 숨이 멎을 듯한 풍경이 있는 열대 낙원을 찾고 있다면 하와이가 정답입니다. Aloha State로의 최근 여행은 흥미진진한 문화 체험과 꼭 봐야 할 명소로 가득한 잊을 수 없는 모험이었습니다.
무엇보다도 저는 하와이 사람들의 따뜻하고 환대하는 정신에 압도당했습니다. 도착한 순간부터 집처럼 편안했고 현지인들로부터 두 팔 벌려 환영을 받았습니다. 호텔 직원이든, 여행 가이드이든, 길에서 만난 친근한 낯선 사람들이든, 내가 만난 모든 사람들은 고향에 대한 사랑을 나누고 싶어했습니다.
가장 기억에 남는 문화 경험 중 하나는 전통적인 하와이안 루아우에 참석한 것입니다. 이 축제 행사에서 나는 훌라의 최면 박자를 들으면서 포이, 라우라우, 칼루아 피그 등 맛있는 향토 요리의 향연을 즐겼습니다. 아름다운 원주민 의상을 입은 무용수들은 움직임을 통해 섬과 역사에 대한 이야기를 들려주었습니다. 하와이의 풍부한 유산과 연결될 수 있었던 정말 마법 같은 저녁이었습니다.
저를 경외하게 만든 또 다른 필수 명소는 할레아칼라 국립공원의 숨이 멎을 듯한 아름다움이었습니다. 이 공원은 멋진 일출 또는 일몰 하이킹을 제공하는 섬에서 가장 큰 휴화산을 자랑합니다. 해가 지평선 너머로 떠오르자 나는 생생한 색채와 풍경의 극명한 아름다움에 놀랐습니다. 저를 진정으로 겸손하게 만들었고 결코 잊지 못할 경험이었습니다.
물론 해변에서 시간을 보내지 않고는 하와이 여행이 완료되지 않습니다. 맑고 투명한 바다, 황금빛 모래, 잔잔한 파도가 있는 와일레아 해변은 휴식을 취하고 태양을 만끽하기에 완벽한 장소였습니다. 열성적인 서퍼든, 해변을 즐기는 사람이든, 단순히 긴장을 풀고 싶은 사람이든 상관없이 하와이의 해변은 틀림없이 당신의 마음을 훔칠 것입니다.
결론적으로 하와이는 내 모든 기대를 뛰어넘는 진정한 낙원이었다. 비행기에서 내리는 순간부터 저는 풍요롭고 활기차고 생명력이 넘치는 문화에 빠져들었습니다. 꼭 봐야 할 명소와 잊을 수 없는 경험이 가득한 하와이는 약간의 모험, 문화 및 휴식을 원하는 여행자에게 완벽한 목적지입니다. 읽어주셔서 감사합니다. 곧 하와이에서 뵙기를 바랍니다!”
AI 챗봇을 살펴보고 싶다면 ChatGPT 프롬프트 비교를 확인하는 것을 잊지 마세요!
결론
Vicuna-13B AI 챗봇은 많은 경우 기존 모델 중 일부를 능가하는 잘 구조화되고 상세한 응답을 생성하는 인상적인 기능을 보여주는 매우 유망한 오픈 소스 도구입니다. 다양한 챗봇에 대해 여러 언어 모델이 훈련됨에 따라 대화형 AI의 미래는 점점 더 흥미로워 보입니다.
고객 서비스를 개선하고 개인화된 경험을 제공하며 다양한 작업을 용이하게 하는 챗봇의 잠재력은 무궁무진하며 Vicuna는 챗봇 기술의 한계를 뛰어넘는 오픈 소스 협업의 힘에 대한 증거 역할을 합니다. 이 분야의 연구가 계속 발전함에 따라 챗봇의 기능이 훨씬 더 흥미진진하게 발전할 것으로 기대할 수 있습니다.