После распространения текста, сгенерированного LLM, люди всё чаще ищут способы отличить его от человеческого. Исследователи отмечают, что явные признаки вроде длинного тире и слова «delve» уже почти исчезли, но у моделей остаются другие характерные приёмы.
Маркетинговая компания Graphite изучила стиль ведущих моделей и собрала их любимые слова и обороты. По данным исследования, они по-прежнему часто используют контрастные конструкции, а каждая версия модели показывает свои особенности. Graphite нашла 13 000 фраз, которые в ИИ-текстах встречались как минимум вдвое чаще, чем в человеческих. Именно это компания называет «признаком».
«Оказывается, модели Claude со временем действительно приближаются к человеческому распределению слов», — сказал TechCrunch директор по ИИ Graphite Грег Друк. «А у моделей GPT, наоборот, расстояние увеличивается».
Для анализа Graphite использовала корпус из 10 000 статей, опубликованных до выхода ChatGPT, и взяла их как контрольную выборку, созданную людьми. Затем исследователи дали разные ИИ-модели переписать эти тексты по кратким пересказам, чтобы снизить влияние исходного материала. После этого они сравнивали, как часто отдельные слова и фразы встречаются в текстах ИИ, а также анализировали общую структуру предложений.
По данным Graphite, главным маркером Claude Opus 5.5 стало слово dependable, которое встречается в 23 раза чаще, чем в человеческих текстах. При этом модель уже избегает конструкции «это не X, а Y», но всё ещё часто пишет в духе «это больше, чем X, это Y».
Чаще всего Opus 5.5 также объясняет, почему что-то важно. Фраза «this matters» встречается у него в 116 раз чаще, чем у людей, а «why X matters» — в 92 раза чаще.
У OpenAI Astra набор признаков другой. Эта модель часто использует выражение «another dimension», а также смягчает утверждения оборотами «may provide» и «can provide». Самый заметный маркер Graphite называет «corrective framing»: тема описывается как «not simply X» или предлагается как альтернатива «rather than relying on X». По данным исследования, такие конструкции встречались в тексте Astra более чем в 100 раз чаще, чем у людей.
При этом все ведущие лаборатории, похоже, отреагировали на критику по поводу злоупотребления длинным тире. В выборке Graphite Opus 5.5 использовал этот знак на 99% реже, чем Opus 5. Astra — на 88% реже, чем человеческие тексты, а Gemini 3.1 Pro почти полностью убрал его из своих ответов.
Но, по словам Graphite, общее число признаков почти не меняется. «Не похоже, что этих признаков становится меньше», — сказал Друк TechCrunch. «Они убирают самые известные, но на их месте появляются другие. И у каждой новой версии модели они свои».
Это выглядит неожиданно, учитывая, как активно лаборатории продвигают более «человечный» стиль письма. В релизе Opus 5.5 Anthropic заявляла, что модель «общается естественнее, чем предыдущие версии», а первые пользователи отметили, что ее тексты стали яснее и проще для восприятия.
OpenAI делала похожие заявления при запуске версий GPT-6 Sol и Luna. Компания говорила, что пользователи «могут ожидать больше ясности, меньше жаргона и меньше странных оборотов».
При этом Друк сомневается, что лаборатории смогут полностью убрать характерные конструкции и фразы. «У меня есть общее предположение: лаборатории хуже контролируют некоторые такие вещи, чем можно было бы ожидать», — сказал он. «Это огромные модели с миллиардами параметров. Они могут провести лишь ограниченное число тестов, и часть вещей всё равно проскакивает».
Источник: TechCrunch, исследование Graphite.