애니메이션 캐릭터나 비디오에 사실적인 대화를 추가하고 싶었지만 수동으로 립싱크하는 과정이 지루했던 적이 있습니까? 피카 립싱크는 모든 것을 바꿀 수 있습니다. 이 혁신적인 AI 기반 기능을 사용하면 비디오의 동기화된 입술 움직임을 쉽게 생성하여 더욱 매력적이고 믿을 수 있게 만들 수 있습니다.
OpenAI의 획기적인 Sora AI 비디오 생성기는 현재 대중에게 공개되지 않았지만 경쟁사들은 자체적으로 혁신적인 기능을 선보이고 있습니다. Pika는 유료 가입자를 위한 새로운 Lip Sync 기능을 출시하면서 큰 진전을 이루었습니다.
이 흥미진진한 발전은 전통적인 영화 제작 방식을 재편할 수 있는 잠재력을 갖고 있으며 피카X의 영상, 피카 립싱크 기능이 포인트!
최근 AI가 생성한 비디오에 관해 많은 이야기가 있었던 것으로 알고 있습니다. 자, 지금 누가 말하는지 보세요!
이제 Pro 사용자는 https://t.co/nqzjGy82Lx에서 Lip Sync에 대한 조기 액세스를 이용할 수 있습니다. pic.twitter.com/vCJ88pUWLL
— 피카(@pika_labs) 2024년 2월 27일
피카 립싱크란?
ElevenLabs의 최첨단 생성 오디오 기술로 구동되는 Pika Lip Sync를 통해 사용자는 AI 생성 비디오에 사실적인 음성 대화를 추가할 수 있습니다. 애니메이션 입술 움직임과 대화를 완벽하게 일치시켜 캐릭터의 입이 오디오와 완벽하게 동기화되도록 합니다.
Pika 립싱크는 텍스트-오디오 및 업로드된 오디오 트랙을 모두 지원합니다. 스크립트를 입력하든 사전 녹음된 음성 해설을 업로드하든 관계없이 캐릭터와 프로젝트 스타일에 맞게 음성을 맞춤 설정할 수 있습니다. 현재 액세스는 Pika Pro 사용자와 Pika의 “Super Collaborators” 프로그램 회원으로 제한됩니다.
피카 립싱크는 어떻게 작동하나요?
Pika 립싱크는 복잡한 기계 학습 모델을 활용하여 오디오 파일을 분해하고 음성의 기본 소리 단위인 음소를 인식합니다. 그런 다음 이러한 음소를 해당 입 모양 및 움직임(비짐)에 매핑하여 오디오 트랙과 일치하는 원활한 애니메이션을 만듭니다.
피카 립싱크 사용법
Pika Lip Sync를 시작하는 방법에 대한 단계별 가이드는 다음과 같습니다.
- 캐릭터 생성 또는 업로드: 피카의 AI 아트툴로 캐릭터를 생성하거나 기존 이미지를 업로드하는 것부터 시작해보세요.
- 오디오 업로드 또는 녹음: 미리 녹음된 오디오 파일(예: 음성 해설 또는 노래)을 업로드하거나 Pika 인터페이스 내에서 직접 오디오를 녹음하세요.
- 피카 립싱크 적용: 피카 립싱크 기능을 찾아 선택하세요. 업로드된 오디오를 기반으로 캐릭터의 입술이 자동으로 애니메이션화됩니다.
필요한 경우 설정을 미세 조정한 다음 새로 애니메이션된 비디오를 내보냅니다.
AI에서 헐리우드까지
Pika의 AI 생성 비디오는 Sora나 Runway에 비해 절대적인 사실적 측면에서 여전히 갈 길이 멀지만 Lip Sync를 추가하면 파괴적인 우위를 확보할 수 있습니다. Pika는 우리가 곧 할리우드에서 보게 될 더 길고 서사적인 AI 영화를 만드는 데 있어 주요 장애물을 해결합니다.
이전에는 음성 대화와 사실적인 입술 움직임을 추가하려면 포스트 프로덕션에서 번거로운 타사 도구가 필요한 경우가 많았습니다. Pika 립싱크는 이 프로세스를 간소화하여 장편 AI 기반 영화의 잠재력을 변화시킵니다.
그러나 Pika만이 혁신을 이루는 것은 아닙니다. 이번 주 Runway는 멀티 모션 브러시 기능을 업데이트하여 사용자가 비디오 내의 개체에 독립적인 모션 방향을 적용하고 더 쉬운 모션 선택을 위해 자동 영역 감지를 추가할 수 있도록 했습니다. 이는 모든 AI 비디오 생성 도구의 급속한 발전을 강조합니다.
딥페이크의 위험성을 잊지 마세요
Pika Lip Sync와 같은 도구를 사용하여 사실적인 비디오를 쉽게 만들 수 있다는 점은 딥페이크에 대한 심각한 윤리적 우려를 불러일으킵니다. 딥페이크는 사람의 모습을 조작하여 원래 하지 않았던 말이나 행동을 하는 합성 미디어(종종 비디오)입니다. 이 기술은 창의적이고 재미있는 용도로 사용될 수 있지만 어두운 면도 있습니다.
최근 바비 아토프(Bobbi Athoff) 유출 사건은 동의 없이 딥페이크를 사용할 경우 발생할 수 있는 잠재적 위험성을 극명하게 상기시켜 줍니다. 이러한 조작된 동영상은 심각한 고통을 야기했으며 대상의 평판과 정서적 안녕 모두에 해로운 영향을 미친다는 점을 강조했습니다. 딥페이크는 복수나 괴롭힘을 목적으로 잘못된 정보를 퍼뜨리거나 심지어 합의되지 않은 착취적인 콘텐츠를 만드는 데 사용될 수 있습니다.
사용자가 비디오 조작에 AI를 사용하는 데 따르는 윤리적 책임과 잠재적인 피해를 인식하는 것이 중요합니다. 이 기술의 힘은 투명성과 책임감을 갖고 활용되어야 합니다. 제작자와 플랫폼 모두 오용을 사전에 방지하기 위한 지침과 보호 장치를 고려해야 합니다. 여기에는 딥페이크의 위험에 대해 사용자를 교육하고 조작된 콘텐츠를 탐지하고 표시하는 도구를 개발하는 것이 포함됩니다.
주요 이미지 크레딧: 프리픽.
Source: 피카 립싱크: AI를 할리우드에 적용하는 데 있어 큰 진전
