텍스트, 오디오, 시각적 데이터, 온도 판독값, 움직임 판독값과 같은 많은 데이터 스트림을 함께 연결하는 새로운 오픈 소스 Meta ImageBind AI 모델이 Meta에 의해 공개되었습니다.
이 모델은 현재 즉각적인 소비자 또는 실제 적용이 없는 연구 노력일 뿐이지만 생성의 미래를 제안합니다. AI 시스템 몰입형 다감각적 경험을 제공할 수 있습니다. 또한 얼마나 공개적인지 보여줍니다. 메타 같은 경쟁업체와 달리 여전히 AI 연구를 공유하고 있습니다. OpenAI 그리고 Google둘 다 더 은밀하게 성장했습니다.
연구의 핵심 아이디어는 여러 종류의 데이터를 하나의 다차원 인덱스(또는 “임베딩공간,” 사용 AI 전문 용어). 이 시점에서 약간 추상적으로 들릴 수 있지만 최근 생성 AI의 부상 뒤에 있는 근본적인 개념은 동일합니다.
메타 ImageBind AI란?
예를 들어 훈련 단계에서 다음을 포함한 여러 AI 이미지 생성기가 달–이자형, 안정적인확산그리고 중도, 이러한 시스템에 의존합니다. 해당 데이터를 사진 설명과 연결하면서 시각적 데이터에서 패턴을 검색합니다. 따라서 이러한 시스템은 사용자의 텍스트 입력에 해당하는 이미지를 생성할 수 있습니다. 수많은 AI 기술도 비슷한 방식으로 비디오나 오디오를 생성합니다.
Meta ImageBind AI에 따르면 통합하는 첫 번째 모델입니다. 여섯 가지양식 데이터를 단일 임베딩 공간으로 시각(사진 및 비디오 형식), 열(적외선 이미지), 텍스트, 오디오, 깊이 정보 및 가장 흥미롭게도 관성 측정 장치(IMU)에서 생성된 이동 측정은 통합되는 6가지 데이터 범주입니다. 모델에서.
IMU는 전화를 가로 모드에서 세로 모드로 전환하고 다양한 형태의 식별을 포함하여 다양한 기능을 위해 전화 및 스마트 워치에 사용됩니다. 물리적활동.
개념은 현재 AI 시스템이 텍스트 입력을 사용하는 것처럼 미래의 AI 시스템이 이 데이터를 상호 참조할 수 있다는 것입니다. 예를 들어 오디오 및 시각적 입력뿐만 아니라 환경 그리고 움직임 진짜 무대에서.
장기 항해 시뮬레이션을 요청하면 멀리서 들리는 파도 소리와 함께 발 밑의 갑판이 흔들리고 바닷바람이 불어오는 차가운 바람을 느끼며 배에 탈 수 있습니다.
Meta ImageBind AI는 어떻게 작동합니까?
블로그 게시물에서 Meta ImageBind AI 언급 미래 모델에는 “촉각, 언어, 냄새 및 뇌 fMRI 신호”가 포함될 수 있습니다. 성명서에 따르면 이 발견은 “다양한 형태의 정보에서 동시에, 전체적으로, 직접적으로 학습할 수 있는 인간의 능력에 기계를 한 걸음 더 가까이 다가가게 합니다.” 괜찮습니다. 무엇이든. 이 단계가 얼마나 분인지가 결정됩니다.)
당연히 이 모든 것은 매우 가설적이며 이러한 유형의 연구의 즉각적인 사용은 훨씬 더 제한적일 가능성이 높습니다. 예를 들어, 메타 보여 주었다 작년에 텍스트 설명에서 짧고 흐릿한 영화를 만드는 AI 모델을 출시했습니다. 예를 들어 ImageBind와 같은 작업에서 입증된 것처럼 시스템의 향후 반복은 추가 데이터 스트림을 결합하여 비디오 출력을 보완하는 오디오를 생성할 수 있습니다.
그러나 업계를 추종하는 사람들에게는 Meta ImageBind AI가 AI 분야에서 면밀히 주시하고 있는 추세인 기본 모델을 오픈소싱하고 있기 때문에 연구가 특히 흥미로울 것입니다.
Meta ImageBind AI 오픈 소스 접근 방식: 작동하는 이유는 무엇입니까?
등 오픈소스에 반대하는 사람들 OpenAI경쟁자가 자신의 작업을 복제할 수 있기 때문에 이러한 접근 방식은 창작자에게 좋지 않으며 악의적인 행위자가 최첨단 AI 모델을 악용할 수 있으므로 위험할 수도 있다고 주장합니다.
이에 대해 지지자들은 오픈 소싱을 통해 제3자가 시스템의 결함을 검사하고 일부 단점을 수정할 수 있다고 주장합니다. 그들은 기업이 업무를 향상시키기 위해 무급 직원으로 외부 코더를 효과적으로 고용할 수 있기 때문에 재정적 이점이 있을 수도 있다고 지적합니다.
도전 과제가 있었지만 Meta ImageBind AI는 지금까지 오픈 소스 진영에 확고하게 남아 있습니다. (예를 들어 가장 최근의 언어 모델, 야마올해 초 온라인에 출시되었습니다.) 여러 측면에서 회사의 상업적 AI 성공 부족(경쟁할 챗봇이 없음) 빙, 음유 시인또는 채팅GPT)이 전략을 가능하게 했습니다. 이 전술은 그동안 ImageBind와 함께 계속 사용되고 있습니다.
아래 기사를 확인하여 최신 기술 발전, 특히 AI와 관련된 최신 정보를 확인하세요.
- ChatGPT를 아는 것이 취업의 열쇠: 예, 일본 스타트업이 말합니다.
- Visual ChatGPT는 텍스트-이미지 생성기를 발전시키기 위해 여기에 있습니다.
- Midjourney V5가 여러분의 눈을 즐겁게 해줄 것입니다!
