언어 모델은 혁명을 일으켰다 Google MusicLM 사용 방법, OpenAI의 GPT 모델 등 많은 사람들에게 질문을 남겼습니다. 채팅GPT 그리고 사본, 이 혼란에 중요한 역할을 했습니다. 이러한 모델에는 주어진 프롬프트를 기반으로 텍스트와 코드를 효율적으로 생성하는 기능이 있습니다. 훈련 방대한 데이터 세트다음과 같은 수많은 자연어 처리(NLP) 작업에 적용할 수 있습니다. 감정 분석, 챗봇 시스템, 요약, 기계 번역, 그리고 문서 분류.
이러한 모델에는 한계가 있지만 다음을 제공합니다. 언어 모델의 잠재력 엿보기 언어를 이해하고 인간의 삶을 향상시킬 수 있는 응용 프로그램을 개발합니다. 대한 우려가 존재하면서 인간을 대체할 가능성 다양한 영역에서 기본 아이디어는 생산성을 높이고 언어를 전체적으로 탐색하고 이해하는 새로운 방법을 제공하는 것입니다.
주어진 인간 문명에서 언어가 수행하는 근본적인 역할, 텍스트 설명을 해독하고 텍스트, 이미지, 오디오 및 음악 생성과 같은 작업을 수행할 수 있는 언어 모델을 구축하는 것이 필수적입니다. 이 기사에서는 주로 다음 사항에 중점을 둘 것입니다. 음악 언어 모델다음과 같은 모델과 유사합니다. 채팅GPT 그리고 달이, 텍스트나 이미지를 생성하는 대신 그들은 음악을 만들도록 설계되었습니다.
음악은 복잡하고 역동적인 예술 형식입니다. 그것은 창조하기 위해 조화를 이루는 여러 악기의 오케스트레이션을 포함합니다. 상황에 맞는 경험. 개별 음표 및 코드에서 음소 및 음절과 같은 음성 요소에 이르기까지 음악은 광범위한 구성 요소를 포함합니다. 개발 중 수학적 모델 에서 정보를 추출할 수 있는 이렇게 다양한 데이터셋 만만치 않은 일이다. 그러나 일단 그러한 모델이 확립되면 인간이 생성할 수 있는 것과 유사한 사실적인 오디오를 생성할 수 있습니다.
이 모든 것을 염두에 두고 음악 언어 모델의 핵심 개념을 탐구하고 이들이 음악 생성을 가능하게 하는 방법을 살펴보겠습니다. 한편, 음악 게임의 레벨을 높이는 데 관심이 있다면 Discord Soundboard를 사용하고 새 사운드를 추가하는 방법을 확인하고 싶을 수도 있습니다.
음악 언어 모델 이해 및 Google MusicLM 사용 방법
MusicLM은 딥 러닝 및 자연어 처리와 같은 다양한 기계 학습 기술을 활용하여 데이터를 분석하고 음악 생성을 용이하게 하는 숨겨진 표현을 발견합니다. 이러한 모델은 음악별 데이터 세트를 활용하여 정보를 추출하고 패턴을 식별하며 광범위한 음악 스타일과 장르를 학습합니다.
MusicLM은 다음과 같은 다양한 작업을 자동화할 수 있는 잠재력을 가지고 있습니다. 작곡 악보 기존 음악을 분석하여 새로운 코드 진행 추천또는 심지어 새로운 소리를 생성. 궁극적으로 새로운 형태의 뮤지컬을 소개할 수 있습니다. 표현 그리고 창의성, 음악가의 기술을 향상시키고 음악 교육을 촉진하는 데 유용한 도구 역할을 합니다.
Google MusicLM 소개
Google MusicLM은 텍스트 설명을 기반으로 음악을 생성하도록 특별히 설계된 전용 언어 모델입니다. 예를 들어, “6/8박자 리프에 잔잔한 기타 선율”과 같은 프롬프트를 제공하면 해당 모델이 해당 음악을 생성할 수 있습니다.
MusicLM은 오디오LM, 다른 언어 모델 구글에서 개발. AudioLM은 생성에 중점을 둡니다. 고품질 그리고 이해할 수 있는 연설과 피아노 음악 계속. 이것을 달성한다 입력 오디오를 일련의 개별 토큰으로 변환하여 장기적인 일관성을 유지하면서 오디오 시퀀스를 생성합니다. AudioLM은 두 가지 토크나이저를 사용합니다. SoundStream 토크나이저, 어쿠스틱 토큰을 생성하고 w2v-BERT 토크나이저, 시맨틱 토큰을 생성합니다. 이러한 토크나이저는 정보 추출에서 중요한 역할을 합니다.
AudioLM은 세 가지 계층적 단계로 구성됩니다.
- 시맨틱 모델링: 이 단계는 장기적인 구조적 일관성을 포착하는 데 중점을 둡니다. 입력 신호의 상위 수준 구조를 추출합니다.
- 거친 음향 모델링: 여기서 모델은 어쿠스틱 토큰을 생성한 다음 시맨틱 토큰에 연결되거나 조건이 지정됩니다.
- 미세 음향 모델링: 거친 음향 토큰을 미세한 음향 토큰으로 처리하는 이 단계에서 최종 오디오에 깊이가 더해집니다. SoundStream 디코더는 이러한 음향 토큰을 활용하여 파형을 재생성합니다.
MusicLM은 AudioLM의 다단계 자기회귀 모델링 생성 구성 요소로 통합하면서 텍스트 컨디셔닝. 오디오 파일은 세 가지 구성 요소를 통해 전달됩니다. 사운드스트림, w2v-BERT, 그리고 뮬란. SoundStream 및 w2v-BERT는 입력 오디오 신호를 처리하고 토큰화하는 반면 MuLan은 음악 및 텍스트에 대한 공동 임베딩 모델을 나타냅니다. 뮬란은 다음으로 구성되어 있습니다. 임베딩 타워 2개각 양식에 대해 하나씩 (텍스트 및 오디오).
오디오가 세 가지 구성 요소 모두에 공급되는 동안 텍스트 설명은 MuLan에만 입력됩니다.. MuLan 임베딩은 다음을 제공하기 위해 양자화됩니다. 표준화된 표현 컨디셔닝 신호와 오디오 모두에 대한 개별 토큰을 기반으로 합니다. MuLan의 출력은 다음으로 공급됩니다. 시맨틱 모델링 단계여기서 모델은 오디오 토큰에서 시맨틱 토큰으로의 매핑을 학습합니다. 후속 프로세스는 AudioLM의 프로세스와 유사합니다.
AudioLM 및 MuLan을 기반으로 하는 MusicLM은 세 가지 주요 이점을 제공합니다.
- 음악 생성 기반 텍스트 설명.
- 입력 멜로디 통합 기능을 확장합니다. 예를 들어 허밍 멜로디를 제공하고 MusicLM에 지시하여 기타 리프로 변환하면 모델이 원하는 출력을 생성할 수 있습니다.
- 긴 시퀀스 생성 모든 악기에 대해.
데이터세트
MusicLM 훈련에 사용되는 데이터 세트는 대략적으로 구성됩니다. 5.5k 음악-텍스트 쌍. 이 데이터 세트에는 다음이 포함됩니다. 200,000시간의 음악이 동반되다 풍부한 텍스트 설명 인간 전문가가 제공합니다. Google은 MusicCaps라는 이름의 이 데이터 세트를 Kaggle에 공개했으며 현재 대중이 액세스할 수 있습니다.
MusicLM으로 음악 생성
안타깝게도, Google은 현재 MusicLM과 관련된 모델을 배포할 계획이 없습니다., 추가 작업이 필요하다고 언급했습니다. 그러나 Google에서 발표한 백서는 텍스트 설명을 사용하여 음악을 생성하는 방법을 보여주는 수많은 예를 제공합니다.
다음은 MusicLM으로 음악을 생성하는 몇 가지 접근 방식입니다.
- 풍부한 캡션: 를 제공함으로써 자세한 설명 “아케이드 게임의 메인 사운드트랙. 눈에 띄는 일렉트릭 기타 리프와 함께 빠르게 진행되고 낙관적입니다. 음악은 반복적이고 기억하기 쉽지만 심벌즈 충돌이나 드럼 롤과 같은 예상치 못한 소리가 있습니다.” MusicLM은 특정 상황과 요구 사항에 맞는 음악을 만들 수 있습니다.
- 긴 세대: 이 접근 방식에는 5분과 같이 확장된 기간 동안 지속적이고 충실도가 높은 오디오를 생성하는 작업이 포함됩니다. “Heavy metal” 또는 “Soothing reggae”와 같은 프롬프트를 사용하여 사용자는 원하는 장르와 스타일의 음악을 얻을 수 있습니다.
- 스토리 모드: MusicLM의 주목할만한 기능은 일련의 텍스트 프롬프트를 기반으로 음악 시퀀스를 생성하는 기능입니다. 예를 들어 다음을 지정하여 다른 시간 간격 “와 같은 해당 활동명상 시간 (0:00-0:15)“, “일어나는 시간 (0:15-0:30)” 등을 통해 사용자는 음악 여행을 조율할 수 있습니다.
- 텍스트 및 멜로디 조건: 이 접근 방식을 통해 사용자는 다음과 같이 제공된 멜로디에 충실한 음악을 제작할 수 있습니다. 허밍 또는 휘파람 시퀀스 주어진 텍스트 프롬프트를 존중하면서. 기본적으로 하나의 오디오 시퀀스를 원하는 출력으로 변환합니다.
- 그림 캡션 조건: MusicLM은 그림 설명을 기반으로 음악을 생성할 수 있습니다. 예를 들어 살바도르 달리의 유명한 작품에 대한 설명을 제공하여 “기억의 지속성“, 모델은 그림의 개념과 이미지에서 영감을 얻은 음악을 만들 수 있습니다.
- 장소: 특정 장소나 환경에 대한 설명은 음악 생성을 위한 프롬프트 역할을 할 수 있습니다. 예를 들어 ‘와 같은 설명을 사용하여해변에서 햇살과 평화로운 시간“, MusicLM은 해당 설정의 본질을 요약하는 음악을 생성할 수 있습니다.
추가 예로는 음악가 경험 수준, 시대, 심지어 아코디언 솔로를 고려하여 텍스트에서 10s 오디오 생성을 포함합니다. MusicLM은 다양한 도메인과 시나리오에서 음악을 생성하기 위한 다양한 기능 세트를 제공합니다.
생성에서 MusicLM의 인상적인 기능 충실도 높은 음악 AI 알고리즘에만 의존하지 않고 인간 창의성의 놀라운 잠재력을 보여줍니다. 그러나 이러한 발전은 또한 윤리적 문제 그리고 음악계의 저항에 직면할 수 있음Dalle 및 ChatGPT와 같은 이미지 생성 모델과 유사합니다.
Google 연구원이 인정 윤리적 문제 MusicLM과 같은 시스템과 관련된 교육 데이터에서 저작권이 있는 콘텐츠 통합 생성된 노래에. 실험 중에 그들은 다음을 발견했습니다. 1% 시스템에서 생성한 음악 중 훈련 데이터에서 노래를 직접 복제했습니다. 이 비율은 간주 너무 높은 MusicLM을 현재 형태로 출시합니다.
가까운 장래에 MusicLM이 공개적으로 사용할 수 있는 애플리케이션이 될 가능성은 낮지만 독립 개발자가 리버스 엔지니어링할 수 있는 오픈 소스 음악 모델의 출현을 예상할 수 있습니다. 미래는 지켜진다 흥미로운 가능성 이러한 기술의 책임감 있고 윤리적인 사용을 보장하면서 음악적 창의성과 표현을 향상시키기 위해 언어 모델을 활용하기 위한 것입니다.
Source: Google MusicLM 사용 방법: 종합 가이드
