Исследователи разработали новый метод выявления текстов, созданных ИИ

Исследователи разработали новый способ определения текстов, созданных с помощью языковых моделей (LLM). Этот метод основывается на частоте использования определенных слов. Исследователи обнаружили, что в 2024 году как минимум 10% научных аннотаций были написаны с помощью LLM.

Группа исследователей из Университета Тюбингена и Северо-Западного университета обнаружила, что в период с 2023 по 2024 год значительно увеличилось использование определенных слов в научных текстах. Анализируя 14 млн аннотаций статей, опубликованных на PubMed с 2010 по 2024 год, ученые выявили слова, которые стали встречаться значительно чаще после появления LLM.

К таким словам относятся, например, delves (углубляется), которое появлялось в 25 раз чаще, чем ожидалось по предыдущим трендам. Другие слова, такие как showcasing (демонстрируя) и underscores (подчеркивает), увеличили частоту использования в 9 раз. Исследователи отметили, что резкие изменения словоупотребления ранее наблюдались только во время крупных мировых событий, таких как пандемия COVID-19.

Эксперты отмечают, что обнаружение использования LLM важно, поскольку эти модели могут генерировать неточные данные и ложные утверждения. Однако с распространением знаний о «маркерных словах» редакторы могут научиться удалять эти слова из текстов, созданных ИИ, до их публикации. Исследователи также предсказывают, что будущие LLM смогут сами проводить анализ частоты использования слов, чтобы маскировать свои тексты под человеческие.