AI 기술이 급속히 발전하고 한계를 뛰어넘으면서 Microsoft의 새로운 프로젝트인 VASA-1은 사진을 비디오로 바꾸고 여기에 사실적인 사운드를 추가할 수 있습니다. 네, 그 말을 들으셨군요.
이 흥미로운 기술은 인물 사진과 오디오 파일을 사용하여 사실적인 입술 동기화, 얼굴 표정, 머리 움직임이 포함된 말하는 얼굴 비디오를 만듭니다.
VASA-1의 약속된 성능은 Microsoft가 출시를 주저하게 만드는 몇 가지 우려를 불러일으킵니다. 우리가 알고 있는 것은 다음과 같습니다…
VASA-1의 능력과 영향
VASA-1의 가장 눈에 띄는 특징은 실제와 같은 얼굴 애니메이션을 생성하는 능력입니다. VASA-1은 기존 AI 모델과 달리 입 주변의 오차를 최소화해 더욱 자연스러운 모습을 선사한다. 이로 인해 더욱 사실적인 딥페이크 동영상이 온라인에서 더욱 널리 퍼질 수 있습니다.
Microsoft의 새로운 기술을 사용하면 고품질의 현실적인 결과가 가능합니다. 이 회사의 데모 비디오는 현실과 AI 생성 콘텐츠 사이의 경계를 모호하게 만드는 인상적인 사례를 제공합니다.
OpenAI의 Sora와 Microsoft의 VASA-1이 앞으로 몇 년 동안 우리를 위해 무엇을 준비할지 보는 것은 흥미로울 것입니다.
참고: 이 페이지의 모든 인물 이미지는 StyleGAN2 또는 DALL·E-3(Mona Lisa 제외)에 의해 생성된 가상의 존재하지 않는 ID입니다. 우리는 실제 인물을 모방하지 않는 가상의 대화형 캐릭터를 위한 시각적 감정 기술 생성을 탐구하고 있습니다. 이는 단지 연구 시연일 뿐이며 제품이나 API를 출시할 계획은 없습니다.
VASA-1의 사용 영역
VASA-1의 용도는 광범위하며 창의성의 한계를 뛰어넘을 수 있습니다. 예를 들어 향상된 게임 경험을 제공하는 데 사용될 수 있습니다. 동기화된 입술 움직임과 표현력 있는 표정으로 게임 내 캐릭터를 더욱 현실감 있게 만들면 게임 세계를 변화시킬 수 있습니다. 지금도 게임 속 캐릭터는 놀라울 정도로 최적화되어 있습니다. 하지만 이 기술을 사용하면 훨씬 더 개선될 가능성이 높습니다.
반면에 개인화된 가상 아바타를 만들 수도 있습니다. 사용자는 자신의 외모를 반영하는 사실적인 아바타를 만들어 소셜 미디어에서 변화를 만들 수 있습니다. 영화계에서도 놀라운 변화가 나타날 수 있다. VASA-1은 사실적인 클로즈업, 얼굴 표정, 자연스러운 대화 시퀀스를 생성하여 영화 제작의 경계를 넓힐 수 있습니다.
기술이 작동하는 방식과 미래
Microsoft는 VASA-1이 사실적인 말하는 얼굴을 만들고 가상 캐릭터에 애니메이션을 적용하기 위한 새로운 프레임워크를 제공한다고 밝혔습니다. 이 기술은 인물 사진과 오디오 파일만을 사용하여 인상적인 결과를 얻는 것을 목표로 합니다. 그러나 이 기술의 광범위한 사용은 몇 가지 우려를 불러일으킵니다. 특히, 딥페이크와 같은 기술을 오용할 가능성이 있으므로 Microsoft는 주의를 기울여야 합니다.
Microsoft가 직면한 과제 중 하나는 혁신과 책임의 균형을 맞추는 것입니다. 회사는 기술이 가져오는 잠재적인 이점을 인식하고 책임 있는 개발 접근 방식을 취하고 사용자에게 잠재적인 위험을 알리려고 노력합니다. 이를 통해 VASA-1과 같은 강력한 기술의 확산을 억제하여 사회 전반의 안전을 보장하는 것을 목표로 합니다.
주요 이미지 출처: Microsoft
Source: 사진에 생기를 불어넣는 Microsoft의 VASA-1: 당신이 알아야 할 모든 것