AI가 생성한 텍스트를 감지하는 것은 오랫동안 연구자와 개발자에게 어려운 문제였습니다. Google의 Gemini Advanced와 OpenAI의 GPT-4o와 같은 대규모 언어 모델(LLM)이 빠르게 발전함에 따라 인간과 유사한 텍스트를 생성하는 능력이 점점 더 정교해졌습니다.
하지만 튀빙겐 대학과 노스웨스턴 대학의 연구자들이 실시한 새로운 연구는 AI가 제작한 콘텐츠를 식별하는 데 획기적인 방법을 제시합니다.
그들은 과학적 글쓰기에서 특정 어휘의 갑작스러운 급증에 초점을 맞추어 LLM 사용을 놀라울 정도로 정확하게 감지하는 방법을 개발했습니다. 과도한 사망자를 측정한 팬데믹 연구에서 영감을 받은 이 기술은 단어 사용의 변화가 AI가 생성한 텍스트의 존재를 어떻게 나타낼 수 있는지 보여줍니다.
AI 콘텐츠를 알려주는 단어는 무엇일까?
이러한 변화를 측정하기 위해 팀은 매년 각 단어의 빈도를 면밀히 조사했습니다. 2023년 이전 추세에 기반한 예상 단어 빈도를 2023년과 2024년의 실제 사용과 비교하여 특정 용어의 극적인 증가를 확인했습니다. 예를 들어, “delves”라는 단어는 예상보다 2024년 초록에서 25배 더 자주 등장했습니다. 마찬가지로 “showcasing”과 “underscores”는 사용이 9배 증가했습니다.
AI가 생성한 텍스트에서 가장 많이 사용된 단어와 그에 따른 사용 증가율은 다음과 같습니다.
- 델브스 – 25배 증가
- 쇼케이싱 – 9배 증가
- 밑줄 – 9배 증가
- 잠재적인 – 4.1%포인트 증가
- 결과 – 2.7%포인트 증가
- 중대한 – 2.6%포인트 증가
- 가로질러 – 상당한 증가 (정확한 비율은 지정되지 않음)
- 추가적으로 – 상당한 증가 (정확한 비율은 지정되지 않음)
- 포괄적인 – 상당한 증가 (정확한 비율은 지정되지 않음)
- 강화하다 – 상당한 증가 (정확한 비율은 지정되지 않음)
- 전시됨 – 상당한 증가 (정확한 비율은 지정되지 않음)
- 통찰력 – 상당한 증가 (정확한 비율은 지정되지 않음)
- 특히 – 상당한 증가 (정확한 비율은 지정되지 않음)
- 특히 – 상당한 증가 (정확한 비율은 지정되지 않음)
- 이내에 – 상당한 증가 (정확한 비율은 지정되지 않음)
이러한 단어들은 AI가 개입했다는 징후가 되었고 예상보다 훨씬 더 자주 나타났습니다. 언어는 자연스럽게 진화하지만, 이러한 갑작스러운 변화는 드물며 종종 주요 글로벌 이벤트와 관련이 있습니다.
이 경우, LLM의 광범위한 사용으로 인해 과학 문헌의 어휘에 눈에 띄는 변화가 나타났습니다.
팬데믹 분석에서 얻은 영감
연구자들의 접근 방식은 COVID-19 팬데믹 동안 사용된 기술에서 크게 영감을 받았습니다. 관찰된 사망자 수를 과거 데이터와 비교하여 초과 사망자 수를 계산한 것처럼, 이 연구에서는 현재 단어 사용을 과거 추세와 비교하여 이상치를 식별합니다. 그들은 2010년부터 2024년까지 PubMed에 게재된 1,400만 건 이상의 과학적 초록을 분석하여 2022년 후반부터 특정 단어가 상당히 증가한 것을 확인했으며, 이는 LLM의 광범위한 채택과 일치합니다.
연구자들은 “마커 단어”라고 불리는 특정 단어의 증가가 LLM 사용의 명확한 지표라고 언급했습니다. 이 현상은 명사 중심 언어의 증가를 보인 COVID-19 팬데믹과 같은 사건과 관련된 과거의 어휘 변화와는 다릅니다.
대조적으로, LLM 이후 기간에는 동사, 형용사, 부사가 급증했습니다. 이러한 변화는 AI가 생성한 텍스트가 글쓰기의 질감과 스타일을 미묘하게 변화시키는 방식을 강조합니다.
연구자들은 이러한 마커 단어를 식별함으로써 다음과 같이 추정합니다. 2024년 과학적 초록의 최소 10%는 LLM에 의해 생성되었거나 상당한 도움을 받았습니다.. 이 추정치는 모든 AI 지원 텍스트에 이러한 특정 마커가 포함되지는 않으므로 보수적일 가능성이 높습니다. 그럼에도 불구하고 이러한 단어의 존재는 학술적 글쓰기에서 AI의 영향을 감지하는 데 신뢰할 수 있는 척도를 제공합니다.
LLM 사용의 지리적 추세
이 연구는 또한 LLM 채택의 지리적 차이를 발견했습니다. 중국, 한국, 대만과 같은 국가는 과학 논문에서 마커 단어의 빈도가 더 높았는데, 이는 LLM이 영어가 모국어가 아닌 사람에게 특히 가치가 있음을 나타냅니다. 이러한 도구는 글쓰기를 다듬고 향상시켜 더욱 세련되고 출판에 적합하게 만듭니다.
반대로, 영어 원어민은 이러한 마커를 인식하고 제거하는 데 더 능숙하여 AI 사용을 숨길 수 있습니다. 이 차이는 LLM이 전 세계적으로 널리 사용되지만 그 영향은 영어가 주요 언어가 아닌 지역에서 더 두드러진다는 것을 시사합니다.
추천 이미지 크레딧: 프리픽
