지난 12월 Google 포토는 멋진 새 기능인 Cinematic Photos를 추가했습니다. 최근 하이라이트 섹션을 클릭하여 애플리케이션에서 자동으로 생성할 수 있습니다.
시네마틱 포토는 Google 포토에서 어떻게 작동합니까?
Google 블로그에서 그들은 어떻게 사진에 움직임을 주어 눈길을 끄는 3D 효과를 낼 수 있는지 설명하고 싶었습니다. 항상 그렇듯이 그들은 신경망과 계산 전문 지식을 사용합니다.
Google에 따르면 영화 사진은 카메라의 움직임과 3D 시차를 모두 시뮬레이션하여 사용자가 “사진을 찍은 순간의 몰입감”을 재현하도록 하려고 합니다. 2D 이미지를 3D 이미지로 어떻게 바꾸나요?
Google은 Pixel 4로 촬영한 사진으로 훈련된 신경망을 사용하여 단일 RGB 이미지로 피사계 심도를 추정합니다.
Google은 인물 모드나 증강 현실과 마찬가지로 영화 사진에도 3D 구조에 대한 정보를 제공하기 위해 깊이 지도가 필요하다고 설명합니다. 듀얼 카메라가 없는 휴대폰에서 이 효과를 얻기 위해 그들은 단일 RGB 이미지에서 깊이 맵을 예측하도록 합성곱 신경망을 훈련했습니다.
하나의 시점(사진의 평면)만으로 물체의 상대적 크기, 사진의 원근감, 흐림 등과 같은 단안 큐로 사진의 깊이를 추정할 수 있습니다. 이 정보를 더 완벽하게 만들기 위해 Pixel 4의 카메라로 수집한 데이터를 사용하여 Google 팀이 전문 카메라로 찍은 다른 사진과 결합합니다.
이 기술은 픽셀 세로 모드와 유사합니다. 이미지가 분석되고 분할되며 배경이 성공적으로 분리되면 배경을 이동하여 움직임이 시뮬레이션됩니다. 이것은 약간의 잘못 해석된 픽셀이 최종 결과를 망칠 수 있기 때문에 사진에 대한 여러 수정 및 분석이 필요하기 때문에 훨씬 더 복잡합니다.