워싱턴 대학교 연구원들이 조용한 피아노 영상을 분석하는 것만으로 사실적인 음악을 재생할 수 있는 Audeo라는 AI를 만들었습니다.
이제 인공 지능도 무성 비디오를 분석하는 것만으로 피아노의 모든 소리를 디지털 방식으로 사실적으로 재현할 수 있습니다.
워싱턴 대학(University of Washington)의 연구원 팀은 이전에 모차르트나 바흐와 같은 클래식 작곡가의 음악을 연주하는 피아니스트 Paul Barton의 172,000 프레임 비디오로 훈련된 일종의 지능형 소프트웨어를 통합하는 Audeo라는 인공 지능을 만들었습니다.
Audeo AI는 가상으로 피아노 연주가 가능합니다.
Audeo AI는 무음 비디오를 분석하기만 하면 어떤 키가 눌렸는지, 순서가 무엇인지 주의 깊게 학습할 수 있습니다. 이렇게 하면 개별 음표와 그 배열이 결정됩니다. 또한 각 키를 얼마나 세게 연주하고 얼마나 오래 누르고 있는지 감지할 수 있으므로 각 음의 강도와 이후에 연주되는 음의 사운드 아래에 얼마나 오래 남아 있는지 계산할 수 있습니다. 그것으로 충분하지 않은 것처럼 AI는 피아노의 독특한 음향 특성도 이해할 수 있습니다.
이 데이터는 디지털 신디사이저가 이해할 수 있는 형식으로 변환되며, 해당 신디사이저에서 음악 파일을 재생할 때 피아노 원음에 매우 가깝습니다.
놀라운 테스트 중 하나에서 Audeo AI는 작곡가 Barton이 독특한 음악을 연주하는 동안 무성 비디오를 통해 노래를 배울 수 있었습니다.
그런 다음 SoundHound와 같은 음악 인식 응용 프로그램은 인공 지능이 수행한 이러한 작업을 분석하여 약 86%의 정확도로 음악을 인식할 수 있었습니다. 비교를 위해 이 응용 프로그램이 원래 피아노 오디오를 분석했을 때 인식 정확도가 93%로 증가했습니다.
