OpenAI o1 API는 AI 모델이 복잡한 작업을 처리하는 방식을 바꿉니다. o1 시리즈 모델은 심층적 사고를 장려하여 과학적 및 논리적 추론에 뛰어납니다. 이러한 모델은 현재 베타 버전으로 제공되며 경쟁 프로그래밍에서 높은 순위를 차지하고 다양한 과학 분야에서 인간 전문가를 능가하는 등 인상적인 벤치마크를 설정했습니다.
OpenAI o1 API 이전의 모델 이해
OpenAI o1 API에는 이제 추론 토큰이 있습니다. o1 모델은 이전 모델과 달리 응답하기 전에 추론 토큰을 사용하여 문제를 생각해냅니다. 이 모델은 특히 코딩, 수학, 과학과 같은 분야에서 이러한 내부 추론 프로세스 덕분에 더 복잡한 작업을 처리할 수 있습니다.
OpenAI o1 API에는 o1-preview와 o1-mini의 두 가지 버전이 있습니다. o1-preview 모델은 많은 지식이 필요한 어려운 문제를 해결하기 위한 것입니다. 이 초기 미리보기 모델은 전체 o1 시리즈가 무엇을 할 수 있는지 보여줍니다. o1-mini는 더 빠르고 저렴합니다. 코딩 및 과학과 같이 많은 일반 지식이 필요하지 않지만 정확한 추론이 필요한 작업에 적합합니다.
OpenAI o1 API가 돋보이는 이유는 무엇인가요?
OpenAI o1 API는 추론 작업에서 매우 뛰어난 성능을 보입니다. o1 모델은 과학적 추론에서 탁월하여 경쟁 프로그래밍 문제에서 89번째 백분위에 올랐고 미국 수학 올림피아드 예선에서 높은 점수를 받았습니다. 이 모델은 인간보다 물리, 생물학, 화학 문제를 푸는 데 더 정확합니다. 이는 이를 과학에서 유용한 도구로 만듭니다.
OpenAI o1 API는 현재 베타 상태이므로 개발자가 알아야 할 몇 가지 제한 사항이 있습니다. 베타 버전은 텍스트 전용 입력을 지원하고 일부 채팅 완료 API 매개변수는 아직 사용할 수 없습니다. 예를 들어, 이미지 입력, 시스템 메시지 및 스트리밍은 지원되지 않습니다. 또한 함수 호출 및 응답 형식 매개변수와 같은 도구를 사용할 수 없으며 temperature 및 presence_penalty와 같은 특정 설정이 고정되어 있습니다.
이러한 제한에도 불구하고 OpenAI o1 API는 최대 1000개의 컨텍스트 창을 제공합니다. 128,000 토큰특정 모델은 다양한 최대 출력 토큰 제한을 허용합니다. o1-preview 모델은 최대 32,768 토큰o1-mini 모델은 최대 다음을 생성할 수 있습니다. 65,536개의 토큰. 이 확장된 컨텍스트 창은 상당한 추론이 필요한 복잡한 작업을 처리하는 데 특히 유용합니다.
비용 및 토큰 한도 관리
OpenAI o1 API를 사용하는 과제 중 하나는 추론 프로세스에 필요한 광범위한 토큰 사용과 관련된 비용을 관리하는 것입니다. o1 모델은 추론 토큰(사용자에게 보이지 않음)과 완료 토큰(보이는 출력)을 모두 생성합니다. 개발자가 이러한 비용을 관리할 수 있도록 OpenAI는 다음을 도입했습니다. max_completion_tokens 사용자가 생성되는 토큰의 총 수를 제어할 수 있는 매개변수입니다.
이 매개변수는 추론 토큰의 수가 때때로 가시적 완료 토큰의 수를 초과할 수 있기 때문에 매우 중요합니다. 이는 해당 가시적 출력 없이 더 높은 비용을 초래합니다. max_completion_tokens 매개변수를 통해 개발자는 강력한 추론 기능의 이점을 누리면서도 예산 내에 머무를 수 있습니다. OpenAI o1 API.
o1 모델 프롬프트를 위한 모범 사례
OpenAI o1 API로 작업할 때는 프롬프트를 간단하고 직접적으로 유지하는 것이 필수적입니다. 이 모델은 간단한 지침으로 탁월하게 설계되었으며, 생각의 사슬 프롬프트와 같은 복잡한 프롬프트 전략은 필요하지 않을 수 있습니다. 또한 구분 기호를 사용하여 입력의 고유한 부분을 표시하면 모델이 정보를 더 정확하게 해석하는 데 도움이 될 수 있습니다.
OpenAI o1 API가 계속 진화함에 따라 멀티모달리티 및 도구 사용과 같은 추가 기능이 향후 업데이트에 추가될 것으로 예상됩니다. 현재 개발자는 다음과 같은 고유한 기능을 탐색할 수 있습니다. o1 모델 그리고 고급 추론 기능을 실험하여 혁신적인 애플리케이션을 만듭니다.
OpenAI o1 API에 접근하는 방법
API에 대한 액세스는 현재 베타 상태이기 때문에 제한되어 있습니다. o1 모델을 사용하고자 하는 개발자라면 다음 단계에 따라 액세스하세요.
- 사용 계층을 확인하세요. 에 대한 액세스 o1 모델 5단계 개발자에게만 제한됩니다. OpenAI 플랫폼에서 사용 단계를 확인할 수 있습니다.
- 접근 요청: 자격이 있는 경우 OpenAI 개발자 포털을 통해 액세스를 요청하세요. 의도한 사용 사례에 대한 세부 정보를 제공해야 할 수도 있습니다.
- 요금 제한을 이해하세요: 베타 단계에서는 API가 분당 20개의 요청(RPM)이라는 낮은 속도 제한을 갖습니다. 이에 따라 사용량을 계획하세요.
액세스 권한이 생기면 채팅 완료 엔드포인트를 통해 o1-preview 및 o1-mini 모델을 실험해 볼 수 있습니다. API가 베타에서 벗어나면 추가 기능과 더 광범위한 액세스가 제공될 수 있음을 명심하세요.
이미지 출처: OpenAI
Source: OpenAI o1 API를 통한 복잡한 추론의 새로운 단계
