호주 정부가 실시한 한 실험에서 인공지능(AI)은 복잡한 문서를 요약하는 데 있어 인간 지능과 비교되었으며, 인간이 모든 측면에서 더 효과적인 것으로 나타났습니다.
호주 기업 규제 기관인 증권투자위원회(ASIC)가 수행한 이 연구는 보통 꼼꼼한 분석과 집중을 요구하는 업무에서 인공지능의 효율성을 평가하고자 했습니다. 결과에 따르면 AI는 업무를 줄이는 대신 더 많은 업무를 발생시키고 있을 수 있습니다.
AI는 인간 검토자보다 못하다
올해 초 Amazon은 다양한 제조업체의 다양한 AI 모델을 테스트하여 호주 정부의 실험을 지원했습니다. 궁극적으로 이 작업을 위해 Meta의 Llama2-70B를 선택했습니다. AI는 ASIC 언급, 권장 사항, 규정 참조 및 기타 주요 세부 사항에 초점을 맞춰 의회 조사에서 제출된 5개의 제출물을 요약하는 작업을 맡았습니다. 동시에, 다양한 선임 직급의 10명의 인간(ASIC 직원)이 동일한 작업을 맡았습니다. AI의 참여를 알지 못하는 이 검토자 그룹은 요약의 일관성, 길이, 관련성 및 규정 참조의 정확성을 평가했습니다.
인간 참가자는 AI보다 훨씬 더 뛰어난 성과를 거두었으며 인상적인 점수를 받았습니다. 81% 평가 기준에 비해 47% AI를 위해. 인간은 ASIC 문서에 대한 인용문을 식별하는 데 능숙했으며, 이는 AI에 도전하는 것으로 알려져 있습니다. 게다가 인간 요약은 강조, 뉘앙스, 맥락을 유지한다는 점에서 칭찬을 받았지만, AI는 이러한 중요한 요소를 자주 놓쳤습니다. 또한 검토자들은 AI 요약에 때때로 관련 없는 정보가 포함되거나 중요한 세부 사항을 놓치기 때문에 신뢰성이 떨어진다고 지적했습니다.
요약에 있어서 AI의 성과가 갖는 의미
실험 결과는 현재의 AI 기술이 일반적으로 생각하는 것만큼 시간 절약 측면에서 효율적이지 않을 수 있음을 보여줍니다. 반면에 AI가 핵심 세부 사항을 간과하고 실수를 하는 습관은 인간이 AI가 만든 자료를 검증하고 편집해야 하는 추가 작업을 초래할 수 있습니다. 검토자들은 요약을 위해 AI에 의존하는 것이 유익하지 않을 수 있다고 우려했습니다. AI가 종종 인간 검토자만큼 문서의 주요 요점을 전달하지 못하기 때문입니다.
보고서는 오래된 AI 모델과 같은 특정 제약을 인정했지만 궁극적으로 정보를 해석하고 평가하는 인간의 기술은 여전히 AI보다 우수하다는 결론을 내렸습니다. 이 시험은 AI를 맥락과 미묘함을 철저히 파악해야 하는 작업에서 인간 노동을 대체하는 것이 아니라 돕는 도구로 보는 것의 중요성을 강조했습니다.
정부 투명성과 AI
보고서의 결과는 보고서가 출판되게 된 조사를 주도한 그린당 상원의원 데이비드 슈브리지에게는 놀라운 일이 아니었습니다. 그는 AI가 제출물 평가를 도울 수는 있지만 항상 인간이 감독해야 한다고 언급했습니다. 이 실험은 현재 AI가 인간의 능력을 대체하기보다는 도울 때 가장 유익하다는 생각을 강조합니다.
이 재판은 또한 정부 절차에서 AI가 사용될 때 얼마나 투명한지에 대한 보다 일반적인 우려를 제기합니다. 슈브리지 상원의원은 상원 위원회 청문회에서 정보가 공개될 때까지 기다리는 대신 정부 부서가 주도적으로 AI 사용을 공개하는 것이 중요하다고 강조했습니다.
추천 이미지 크레딧: Furkan Demirkaya / Midjourney
Source: 정부 시험에서 인간의 접촉이 AI보다 뛰어나다
