Apple 연구원 팀은 LGTM(Less Gaussians, Texture More)으로 알려진 고해상도 3D 장면 렌더링을 위한 새로운 프레임워크를 개발했습니다. 이 프레임워크는 고해상도에서 어려움을 겪는 기존 피드포워드 3D 가우스 스플래팅 방법의 비효율성을 해결합니다.
해상도가 증가함에 따라 기존의 피드포워드 방법은 비용이 많이 들고 고해상도 3D 장면 생성의 타당성을 방해합니다. LGTM은 렌더링 해상도에서 기하학적 복잡성을 분리하여 기존 시스템의 기능을 향상시키는 것을 목표로 하며, 자세한 텍스처를 추가하는 동시에 더 간단한 기하학적 구조를 허용합니다.
LGTM 프레임워크는 기하학적 구조 위에 텍스처 예측을 계층화하여 이전에 확립된 피드포워드 방법을 기반으로 구축되었습니다. 연구원들은 생성된 형상이 정확하게 유지되도록 보장하기 위해 고해상도 지상 실제와 비교하여 검증된 저해상도 이미지를 사용하여 모델을 훈련했습니다. 또한 고해상도 이미지의 상세한 텍스처에 초점을 맞춘 두 번째 네트워크를 통해 시스템은 시각적으로 풍부한 결과를 생성할 수 있습니다.
이러한 혁신은 총 약 2,300만 픽셀의 디스플레이를 갖춘 Apple Vision Pro 헤드셋에 큰 영향을 미칠 수 있습니다. 현재의 피드포워드 방법은 고해상도에서 한계에 직면해 장면을 빠르고 정확하게 생성할 때 계산 병목 현상이 발생합니다. LGTM은 고해상도 장면 렌더링이 필요한 애플리케이션에서 더 부드러운 성능과 더 선명한 시각적 효과를 제공할 수 있습니다.
Apple은 LGTM을 배포함으로써 사용자에게 처리 요구 사항을 줄이면서 더욱 몰입도 높은 환경과 향상된 패스스루 경험을 제공할 수 있습니다. LGTM 프로젝트 페이지에서는 NoPoSplat, DepthSplat, Flash3D와 같은 시연 방법을 제공하여 이전 기술에 비해 향상된 결과를 보여줍니다.
프로젝트의 샘플 비디오와 이미지는 보다 풍부한 세부 정보와 고해상도 실측 정보에 가까운 결과를 제공하는 LGTM의 역량을 보여주며 실제 응용 분야에서 LGTM의 잠재적 이점을 보여줍니다.
<시간 />
