OpenAI는 고급 AI 시스템에서 생성된 출력을 평가하는 중요한 단계인 새로운 GPT-4 기반 모델인 CriticGPT를 개발했습니다. 이 모델은 ChatGPT 코드의 오류를 감지하도록 설계되었습니다.
연구에 따르면 사람들이 CriticGPT의 도움을 받아 ChatGPT 코드를 검토하면 도움을 받지 않은 사람보다 60% 더 나은 성과를 낸다고 합니다. OpenAI는 유사한 모델을 “인간 피드백을 통한 강화 학습”(RLHF) 라벨링 프로세스에 통합하여 트레이너에게 인공 지능 지원을 제공하는 것을 목표로 합니다. 그렇다면 이 CriticGPT는 무엇일까요? 자세히 살펴보겠습니다.
CriticGPT는 무엇이며 어떤 역할을 합니까?
CriticGPT는 RLHF 프로세스에서 중요한 역할을 합니다. ChatGPT의 추론 및 행동 능력이 향상됨에 따라 AI 트레이너가 오류를 발견하기가 더 미묘해지고 어려워지고, ChatGPT 응답의 부정확성을 강조하는 비평을 작성하도록 훈련된 모델인 CriticGPT는 트레이너가 도움 없이 모델 작성 응답에서 문제를 발견하는 데 도움이 됩니다. AI의. 사람들이 CriticGPT를 사용하게 하면 AI가 기술을 강화하여 환각 오류가 적은 더욱 철저한 비평과 모델을 만들 수 있습니다. 자세한 내용은 이 링크를 방문하세요.
우리의 관심을 끌었던 CriticGPT의 일부 기능을 표로 정리했습니다.:
특징 | 설명 |
오류 식별 | 미묘한 실수를 포함하여 ChatGPT의 코드 출력에서 발생한 오류를 식별합니다. |
비판 생성 | ChatGPT 답변의 부정확성을 강조하는 비평을 생성합니다. |
인간 증강 | 인간 트레이너의 기술을 증강시켜 인간만 사용하는 것보다 더욱 포괄적인 비판이 가능해졌습니다. |
환각 감소 | ChatGPT보다 환각(거짓 양성)과 잔소리(도움이 되지 않는 비판)가 적습니다. |
향상된 RLHF 라벨링 | 명시적 AI 지원을 제공하여 RLHF 라벨링의 효율성과 정확성을 향상시킵니다. |
테스트 시간 검색 | 추가적인 테스트 시간 검색을 사용하여 더 길고 포괄적인 비판을 생성합니다. |
정밀-재현율 절충 구성 | 환각 비율과 감지된 버그 수 사이의 균형을 구성할 수 있습니다. |
CriticGPT의 훈련은 RLHF 방법을 사용하여 수행됩니다. 그러나 ChatGPT와 달리 CriticGPT는 오류가 포함된 입력을 많이 확인하여 비판해야 합니다. AI 트레이너는 ChatGPT가 작성한 코드에 수동으로 버그를 추가한 후, 추가한 버그를 잡은 것처럼 샘플 피드백을 작성합니다. 수정된 코드에 대한 여러 비평을 비교함으로써 동일한 사람이 비평에서 자신이 추가한 버그를 발견한 시기를 쉽게 인식할 수 있습니다. 실험에서는 CriticGPT가 삽입된 버그와 이전 트레이너가 발견한 “자연적으로 발생하는” ChatGPT 버그를 포착하는지 여부를 조사합니다. 강사는 자연적으로 발생하는 오류에 대해 63%의 경우 ChatGPT 비평보다 CriticGPT 비평을 선호합니다.
![OpenAI, ChatGPT 2에서 생성된 코드를 디버깅하기 위해 CriticGPT를 소개합니다. OpenAI, ChatGPT에서 생성된 코드를 디버깅하기 위해 CriticGPT를 소개합니다.](https://techbriefly.com/wp-content/uploads/2024/06/OpenAI-introduces-CriticGPT-to-debug-code-generated-by-ChatGPT_02.jpg)
CriticGPT에도 몇 가지 한계가 있습니다. 이 모델은 짧은 ChatGPT 응답에 대해 학습되었습니다. 앞으로 더 길고 복잡한 작업을 감독하려면 트레이너가 이러한 작업을 이해하는 데 도움이 되는 방법을 개발해야 합니다. 또한 모델은 여전히 환각을 보고, 때때로 트레이너는 이러한 환각을 본 후 레이블 오류를 범합니다. 어떤 경우에는 실제 오류가 답변의 여러 부분에 분산될 수 있습니다. OpenAI는 점점 더 복잡해지는 AI 시스템을 정렬하기 위한 더 나은 도구의 필요성을 강조합니다. CriticGPT에 대한 연구는 사람들이 GPT-4에 대한 더 나은 RLHF 데이터를 생성하는 데 도움이 되도록 RLHF를 GPT-4에 적용할 수 있는 잠재력을 보여줍니다. OpenAI는 이 작업을 더욱 확장하여 실제로 적용할 계획입니다.
주요 이미지 출처: OpenAI
Source: OpenAI는 ChatGPT에서 생성된 코드를 디버깅하기 위해 CriticGPT를 도입했습니다.