- OpenAI와 Microsoft는 OpenAI Superalignment 프로젝트를 위해 힘을 합칩니다. OpenAI는 초지능 AI 시스템과 관련된 위험이 인간의 능력을 능가하는 것을 방지하기 위한 4년 프로젝트인 초정렬 프로그램을 시작했습니다.
- 이 프로그램은 AI 시스템이 인간의 가치와 목적에 부합하도록 보장하여 AI 대재앙의 잠재적 위험을 완화하는 것을 목표로 합니다.
- OpenAI는 AI 규제를 적극적으로 옹호하고 업계 리더들과 협력하여 초지능으로 인한 전례 없는 위험을 선제적으로 관리하고 있습니다.
지난해 세상을 바꾸는 최첨단 제너레이티브 AI 기술을 선보인 오픈에이아이(OpenAI)는 미래의 발전으로 인류가 멸종할 수 있는 가능성을 막기 위해 많은 노력을 기울였다.
이 비즈니스는 감각적으로 들리는 ChatGPT 챗봇과 GPT-4와 같은 정교한 기계 언어 모델 뒤에 있습니다. Microsoft와 협력하여 AI를 후자의 제품에 통합했습니다.
경영진은 AI의 추가적인 발전이 인공 일반 지능(AGI) 이상의 기술을 설명하는 데 사용되는 문구인 “슈퍼 인텔리전스” 또는 인간이 할 수 있는 모든 지적 작업을 수행하는 방법을 학습하는 AI의 능력으로 이어질 수 있다고 예측합니다.
OpenAI Superalignment 프로그램은 악의적인 초지능을 방지하는 것을 목표로 합니다.
OpenAI는 새로운 OpenAI 초정렬 프로그램을 공개했습니다. 이 4년 프로젝트는 인간보다 훨씬 더 똑똑한 AI 시스템이 인간의 목적에 복종하도록 보장하기 위해 새로운 팀을 구성하여 여러 영화와 책에서 묘사된 AI 종말 시나리오를 방지할 것입니다.
기존의 모든 AI 정렬 방법은 AI를 감독할 수 있는 인간에 의존하기 때문에 전문가들은 감독자보다 훨씬 더 똑똑한 AI 시스템을 다룰 때 안정적으로 수행할 수 없다고 생각합니다. 슈퍼 인텔리전트 AI가 도적질하는 것을 방지합니다.
주요 푸시 발표는 사람들이 악성 기술을 통제하는 데 도움이 되는 비즈니스의 정렬 연구를 설명하는 2022년 게시물 이후에 나옵니다. 그 게시물의 주제인 AGI는 이제 초지능으로 대체되었습니다.
Open AI 초정렬 추진은 거의 인간 수준의 능력을 갖춘 자동 정렬 연구원을 만드는 것을 목표로 하며, 그 후에 회사는 후속 노력을 확장하고 대량의 계산을 사용하여 초지능을 반복적으로 정렬할 수 있습니다.
회사는 “첫 번째 자동 정렬 연구원을 정렬하려면 1) 확장 가능한 교육 방법을 개발하고, 2) 결과 모델을 검증하고, 3) 전체 정렬 파이프라인에 대한 스트레스 테스트를 수행해야 합니다.”라고 말하면서 이러한 우려를 다음과 같이 설명했습니다.
- AI 시스템을 사용하여 다른 AI 시스템의 감독을 지원하여 인간이 판단하기 어려운 활동에 대한 훈련 신호를 제공할 수 있습니다. 또한 우리는 모델이 우리가 모니터링할 수 없는 작업에 대한 감독을 확장하는 방법을 이해하고 어느 정도 영향을 미치기를 원합니다.
- 문제가 있는 행동(견고함) 및 문제가 있는 내부 요소(자동 해석 가능성) 검색을 자동화하여 시스템이 일치하는지 확인합니다.
- 마지막으로, 우리는 잘못 정렬된 모델을 의도적으로 훈련하고 우리의 방법이 가능한 최악의 정렬 오류를 정확하게 식별하는지 확인함으로써 전체 파이프라인을 테스트할 수 있습니다.
향후 4년 동안 컴퓨팅 리소스의 20%를 할당하는 것 외에도 이 회사는 초지능 정렬 문제를 해결하기 위해 엘리트 기계 학습 연구원 및 엔지니어 팀을 구성하고 있다고 말했습니다. 또한 관리자, 과학자 및 연구 엔지니어를 포함하여 추가 인력을 고용하고 있습니다.
OpenAI, 업계 리더와 함께 AI 규제 옹호
회사는 오늘 그것이 매우 야심찬 목표이고 성공을 보장할 수 없다는 사실에도 불구하고 문제가 해결될 수 있기를 희망한다고 밝혔습니다. “문제가 해결되었다고 주장하려면 기계 학습 및 안전 커뮤니티를 데이터와 추론으로 설득해야 합니다.
우리의 답변에 대한 믿음이 크지 않다면, 우리의 결과가 우리와 그에 따른 커뮤니티 계획에 도움이 되기를 바랍니다. 우리는 초기 시험에서 가능성을 입증한 광범위한 이론을 보유하고 있으며 현재의 모델을 활용하여 이러한 많은 문제를 경험적으로 조사할 수 있습니다.
거대한 압박이 현재 논의되고 있는 Hacker News와 같은 사이트에서 가장 인기 있는 발언은 다음과 같습니다. 복사. 위험을 더욱 크게 보이게 하고 개발 중인 기술이 정말 최첨단이라는 것을 암시하기 위해 일부러 과장된 언어를 사용하는 데 무리가 있는 것 같습니다.” 
OpenAI Superalignment 이니셔티브: (이미지 출처) 의외로 최근 AI에 관한 실존적 위협 경고의 급증에 주로 책임이 있는 회사인 OpenAI는 대중에게 이러한 위험을 경고하고 다른 여러 저명한 업계 리더 및 그룹과 함께 AI 규제를 옹호하는 목소리를 높였습니다. .
올해 초 이것을 선언한 OpenAI 임원 Sam Altman, Greg Brockman 및 Ilya Sutskever에 따르면 초지능은 인류가 과거에 직면했던 이전 기술보다 더 강력할 것이라고 합니다. “우리는 훨씬 더 부유한 미래를 가질 수 있지만 거기에 도달하기 위해서는 위험을 관리해야 합니다. 실존적 위험이 발생할 가능성이 있을 때 단순히 대응할 수는 없습니다.
이러한 특성을 지닌 기술의 역사적인 예는 핵 에너지인 반면 합성 생물학은 또 다른 것입니다. 우리는 또한 현재 AI 기술이 제기하는 위협을 줄여야 하지만 초지능은 특별한 고려와 협력이 필요할 것입니다.
떠나기 전에 Humata AI에 대한 기사를 읽을 수 있습니다.
추천 이미지 크레딧: openai
Source: OpenAI Superalignment 이니셔티브: 안전하고 정렬된 AI 개발 보장