Cloudflare установила для ИИ-компаний новый срок, к которому им нужно разделить веб-краулеры для обычного поиска и для обучения моделей и ИИ-агентов. С 15 сентября 2026 года настройки Cloudflare по умолчанию будут блокировать «смешанные» краулеры на страницах с рекламой.
Речь идет о ботах, которые совмещают поиск, работу агентских сервисов и обучение моделей. Такие краулеры будут по умолчанию закрыты для обхода сайтов, если владелец ресурса сам не изменит настройки.
По данным компании, новые параметры затронут новых клиентов Cloudflare, новые сайты действующих клиентов и всех существующих пользователей бесплатного тарифа.
Это решение может повлиять на то, как поставщики ИИ-моделей получают доступ к веб-контенту для обучения и для работы сервисов с агентскими функциями.
Cloudflare отмечает, что владельцы сайтов обычно хотят оставаться видимыми в поиске и часто готовы к показу контента в ИИ-сервисах, но при этом им нужны механизмы защиты интеллектуальной собственности от бесплатного использования.
Компания отдельно упомянула «крупнейшую поисковую систему в мире», явно имея в виду Google. По оценке Cloudflare, у нее есть доступ примерно к вдвое большему объему информации, чем у других ИИ-компаний, поскольку клиентам трудно сохранить видимость в поиске без использования их данных для ИИ.
Google ранее возражала против такой трактовки. Компания указывала, что предлагает бота Google Extended, через которого владельцы сайтов могут запретить использование контента для обучения и ИИ-продуктов, включая Gemini Apps и Vertex API, без влияния на присутствие в Google Search.
При этом основной краулер Googlebot используется для поиска, включая ИИ-функции вроде AI Overviews и AI Mode.
«Теперь, когда большая часть интернет-трафика приходится не на людей, мы должны действовать дальше и быстрее, чтобы могла появиться устойчивая экосистема», — заявил сооснователь и гендиректор Cloudflare Мэттью Принс. Он сослался на недавний рубеж, когда трафик от ботов впервые превысил человеческий, хотя ожидалось, что это произойдет только в следующем году.
«Новые инструменты и партнерства Cloudflare дают владельцам сайтов больше прозрачности и коммерческих возможностей, а также помогают ИИ-компаниям, чьи боты ясно и открыто сообщают о своих целях. Мы надеемся, что предлагаемые изменения настроек по умолчанию подтолкнут операторов смешанных краулеров разделить поиск, агентские функции и обучение», — добавил Принс.
Cloudflare выпускает продукты для запуска собственных ИИ-систем, а также развивает инструменты, которые дают издателям больше контроля над контентом. В последние годы компания представила решения против ИИ-ботов, включая площадку Pay Per Crawl, где сайты могут взимать плату с ИИ-ботов за скрапинг.
Теперь этот механизм развивается в формат Pay Per Use. По словам компании, он позволит издателям брать плату с ИИ-компаний в тех случаях, когда их контент создает ценность, а не только когда бот просто запрашивает страницу.
Изменение также может снизить расход пропускной способности и вычислительных ресурсов у издателей. Данные Cloudflare показывают, что более 50% трафика от ИИ-краулеров уходит на повторную загрузку страниц, которые не изменились.
На первом этапе Cloudflare работает с двумя партнерами — Ceramic.ai и You.com. Если издатель подключает эту схему, он получает оплату, когда его контент появляется в результатах ИИ-поиска Ceramic или когда You.com обращается к его премиальному контенту.
По словам Cloudflare, другие ИИ-компании также смогут настроить эту модель под свой формат работы.
Источник: заявление Cloudflare.