Настройки по умолчанию AI Crawler от Cloudflare от 15 сентября: что изменилось для агентов и команд по работе с данными

15 сентября 2026 года компания Cloudflare изменила определение термина «заблокирован» в отношении трафика искусственного интеллекта. Для новых доменов, получающих доход от рекламы, теперь с самого начала запрещен доступ для роботов-сканеров AI Training, а на страницах с рекламой блокируются AI Agents, при этом доступ к поисковым системам остается открытым. По данным Cloudflare, более 20 % веб-ресурсов находится в пределах её сети (Блог Cloudflare, 2026 г.), поэтому установка значения по умолчанию в данном случае фактически действует как политика, затрагивающая пятую часть всего Интернета. Спустя две недели мы расскажем, что именно изменилось, кого это касается и какие меры следует принять командам, использующим ИИ-агенты или конвейеры обработки данных.

Основные выводы

• С 15 сентября 2026 года Cloudflare разделяет трафик ИИ на три категории («Поиск», «Обучение», «Агент»), при этом на новых доменах, приносящих доход за счёт рекламы, трафик категории «Обучение ИИ» изначально запрещён, а трафик категории «Агент» блокируется на страницах с рекламой (Блог Cloudflare, 2026 г.).
• В июне 2026 года 52 % запросов от веб-краулеров, зарегистрированных Cloudflare, были связаны с обучением ИИ, что представляет собой рост по сравнению с 22 % весной 2025 года (Блог Cloudflare, 2026 г.).
• Если ваш агент загружает страницы от имени пользователя, вы теперь находитесь в сегменте «Агент». Разрабатывайте правила с учётом разброса показателей по отдельным страницам, а не по сайтам.

Что именно изменилось 15 сентября?

15 сентября 2026 года компания Cloudflare изменила подход своих систем защиты от ботов к обработке трафика, генерируемого искусственным интеллектом (Блог Cloudflare, «Получите всё и сразу», 2026 г.). Настройки «Блокировать» и «Блокировать на страницах с рекламой» теперь также применяются к сканерам смешанного назначения — ботам, которые собирают страницы как для поиска, так и для искусственного интеллекта. Единый переключатель «Блокировать ИИ-ботов» выводится из использования, а новый параметр «Запретить обучение ИИ» позволяет сайту оставаться в результатах поиска, одновременно отказывая в доступе для обучения. Управляемый файл robots.txt также преобразуется в «Синхронизацию настроек для ботов». Практическим изменением является это разделение. Ранее Cloudflare рассматривала «ботов ИИ» как единую категорию. Теперь трафик ИИ разделяется на три группы: «Поиск», «Обучение» и «Агент», и для каждой из них предусмотрен отдельный переключатель. Новым доменам предлагается один из двух наборов настроек в зависимости от того, получает ли сайт доход от рекламы:

Пресеты, перечисленные в публикации Cloudflare от 15 сентября 2026 года, Получить и то, и другое.

Таким образом, переход в сети не произошёл в одночасье. По данным Cloudflare, настройки существующих клиентов переносятся автоматически, а новые предустановки применяются только при подключении клиентом нового домена. Изменилась исходная точка для каждого нового сайта, начиная с этого момента, а в сети такого масштаба количество таких исходных точек быстро растёт.

Почему Cloudflare разделяет сканеры на «Поиск», «Обучение» и «Агент»?

Компания Cloudflare разделила свои механизмы контроля над ИИ, поскольку объем трафика, связанного с обучением, превысил объем поискового трафика. По состоянию на июнь 2026 года 52 % запросов от веб-краулеров, зафиксированных Cloudflare, были связаны с обучением ИИ, что представляет собой рост по сравнению с 22 % весной 2025 года, а на долю краулеров смешанного назначения приходилось более 36 % всей активности (Cloudflare, «День независимости контента: год спустя», 2026 г.). На долю чистого поискового сканирования в настоящее время приходится небольшая и сокращающаяся доля. Для владельца сайта это означает, что большинство ИИ-ботов, посещающих его страницы, собирают контент для обучения моделей, а не направляют читателей обратно через результаты поиска, и с помощью одного переключателя «ИИ-боты» невозможно было различить эти два случая.

Издатели считают, что это несбалансированная сделка. Компания TollBit, которая помогает издателям предоставлять лицензии на контент компаниям, занимающимся искусственным интеллектом, отслеживает эту ситуацию в своём Отчет «Состояние ботов». В отчёте за 1-й и 2-й кварталы 2026 года, охватывающем ИИ-ботов от 40 поставщиков, работающих с 3 906 издателями, было отмечено, что соотношение «скрейпинг к рефералам» выросло со 150:1 в 1-м квартале до 227:1 во 2-м квартале (TollBit, 2026 г., по данным Digiday в августе 2026 года). Это сотни посещений ботами на каждого человека, перешедшего по ссылке.

Так почему бы просто не заблокировать всё? Потому что, согласно тому же сентябрьскому сообщению, менее 1 % сайтов, использующих Cloudflare, блокируют поисковых ботов, в то время как 17 % включают те или иные средства блокировки обучения (Блог Cloudflare, 2026 г.). Сайты заинтересованы в трафике от Google. Просто они не хотят предоставлять обучающие данные бесплатно. Разделение на три категории позволяет им согласиться на одно и отказаться от другого.

Для всех, кто разрабатывает продукты искусственного интеллекта, осуществляющие поиск от имени пользователя, важным является категория «Агент». Очевидно, что на обучающие роботы-пауки пришлось сократить внимание. Агенты — более новое направление, и теперь для них предусмотрен отдельный переключатель и собственное значение по умолчанию, вместо того чтобы делить один переключатель «ИИ-боты» с обучающими роботами-пауками.

Что такое «управляемый» гусеничный транспорт многоцелевого назначения?

Cloudflare определяет ответственный многофункциональный веб-краулер как такой, оператор которого предоставляет владельцам сайтов возможность отказаться от участия в обучении ИИ (посредством файла robots.txt или аналогичного стандарта), средства управления отказом от генерации резюме с помощью ИИ, прозрачность использования данных для обучения на уровне URL, а также гарантию того, что отказ от участия не повлияет на позиции в поисковой выдаче (Блог Cloudflare, 2026 г.). Cloudflare относит Applebot, Bingbot и Googlebot к категории «ответственных многоцелевых роботов-пауков». Компания указывает Amazon, Anthropic, Meta и OpenAI в качестве операторов с «разделенным режимом ответственности», поскольку они используют отдельные роботы-пауки для поиска и для обучения. Поисковые роботы смешанного назначения, подлежащие ответственности, по-прежнему допускаются для поиска на сайтах, которые выбрали настройку «Запретить обучение ИИ». Все остальные роботы для обучения блокируются на этих сайтах.

Это создаёт чёткий стимул. Если вы используете сканер, единственный способ сохранить доверие — это разделить свои задачи или предоставить сайтам реальные возможности управления каждой из них. Один бот, выполняющий все задачи, теперь — самый простой объект для блокировки.

Модель «оплата за сканирование» заменяется на модель «оплата за использование»

В рамках «Pay Per Crawl» — более ранней модели Cloudflare — сайты могли взимать с ИИ-сканеров плату за каждый запрос на страницу. В июле 2026 года Cloudflare заявила, что будет выплачивать вознаграждение издателям не только при загрузке страницы, но и в тех случаях, когда их контент лежит в основе ответа ИИ. В числе первых партнёров были названы компании, занимающиеся поиском на основе искусственного интеллекта, — Ceramic.ai и You.com (The Next Web, 2026 г.). Это настоящий сдвиг в том, что именно становится предметом ценообразования. Сканирование представляет собой отдельный запрос, тогда как «использование» — это момент, когда контент попадает в ответ, который кто-то читает. Для издателей это более тесно увязывает оплату с реальной ценностью. Для компаний, занимающихся искусственным интеллектом, это означает, что стоимость контента может начать зависеть от объема использования, а не от объема данных, что изменит расчёты относительно целесообразности загрузки той или иной страницы.

Мы уже рассказывали о более ранней версии этой модели, а также о том, почему открытый Интернет начал закрываться для ботов, в «Закрывающаяся сеть»: блокировка ИИ-краулеров, оплата за сканирование и что это означает для агентов.

Что следует делать сейчас командам, использующим ИИ-агентов?

Для начала следует принять тот факт, что доступ в настоящее время зависит от конкретной страницы. В рамках новой настройки с монетизацией за счёт рекламы агент может получить доступ к странице с ценами на сайте, а затем столкнуться с блокировкой при попытке просмотра расположенной рядом статьи, содержащей рекламу.

Практический контрольный список:

1. Определите, к какой категории вы относитесь. Загрузка страницы в ответ на запрос пользователя относится к трафику агента. Сбор страниц для тонкой настройки модели относится к обучению. Пожалуйста, обозначайте их отдельно в своих журналах, поскольку в настоящее время веб-сервисы рассматривают их по-разному.
2. Ожидайте ответов по каждой странице. Фраза «Блокировать страницы с рекламой» означает, что один и тот же домен может давать как положительный, так и отрицательный ответ. Настраивайте повторные попытки и альтернативные варианты для каждого URL-адреса, а не для всего домена.
3. Рассматривайте блоки как сигналы. Блокировка в рамках данных настроек отражает заявленное предпочтение издателя. Зафиксируйте это и обойдите ограничение, используя лицензионный или структурированный источник, если таковой имеется.
4. Смотрите «Оплата по факту использования». Если источник, от которого вы зависите, присоединится к платной программе, оплата может оказаться выгоднее, чем разработка обходного решения.
5. Разделите ваши рабочие нагрузки и определите их. Если вы используете как обучающий трафик, так и трафик агентов, рекомендуется использовать для них разные идентификаторы, чтобы один из них не привёл к блокировке другого. Кроме того, Cloudflare реализует программу «подписанных агентов»: агенты, управляемые конечным пользователем, могут подписывать свои HTTP-запросы с помощью Web Bot Auth — криптографического стандарта подписи сообщений, что позволяет Cloudflare проверять их подлинность (Документация Cloudflare, подписанные агенты). Если вы управляете агентством любого масштаба, вам стоит ознакомиться с этой статьей.

Стоит обратить внимание на одну ловушку. В случае конвейеров агентов наиболее серьезные сбои чаще всего связаны не с «жесткими» блокировками, которые легко заметить. Простым примером служат собственные страницы Challenge Pages компании Cloudflare: каждая из них содержит cf-mitigated: challenge заголовок, а его тип содержимого всегда равен text/html, какой бы ресурс вы ни запросили (Документация Cloudflare: определение ответа страницы проверки). Проверьте наличие этого заголовка, прежде чем приступать к разбору данных. Более сложным случаем является «незаметная» частичная загрузка страницы: запрос возвращает статус 200, однако тело запроса представляет собой страницу-заполнитель (интерстициал), оболочку JavaScript или урезанную версию статьи. Проверяйте, что именно было возвращено, а не только код статуса. Наличие минимальной длины содержимого или проверка наличия элемента DOM, который должен присутствовать на реальной странице, позволяют выявить большинство таких случаев.

Как Massive соответствует новым настройкам по умолчанию Cloudflare

Massive предоставляет сеть доступа к устройствам и стек рендеринга, которые обеспечивают вывод чистого HTML или Markdown с общедоступных страниц в любой из более чем 195 стран. Клиенты организуют свою собственную работу на базе этих решений. Предпочтения издателей, определяемые с помощью искусственного интеллекта, являются общедоступными сигналами, и команды, с которыми мы сотрудничаем, рассматривают их как исходные данные для формирования собственной политики, а не как препятствия, которые необходимо обходить.

Данный Web Render API возвращает отображенные страницы в формате Markdown для конвейеров LLM и позволяет клиентам осуществлять географическую таргетировку запросов по стране, региону или городу. В случае с прокси-серверами для частного использования каждая учетная запись также имеет собственный список заблокированных доменов, благодаря чему команда может блокировать запросы к любому сайту, доступ к которому было решено запретить. Список может содержать до 1 000 доменов, и запрос к заблокированному домену отклоняется с ошибкой 452 (Disallowed Content) ещё до того, как он достигнет сайта. Если ваш стек агентов достигает новых значений по умолчанию, ознакомьтесь с Почему ИИ-агенты блокируются по IP-адресам центров обработки данных и как это исправить, либо вернитесь к полному руководству по Как предоставить ИИ-агентам доступ к веб-ресурсам в режиме реального времени. Что касается правовых аспектов данных для обучения, ознакомьтесь со статьёй Судебные иски, связанные с данными для обучения ИИ, о которых должна знать каждая команда, занимающаяся веб-данными.

Итог

• Теперь Cloudflare рассматривает трафик «Поиска», «Обучения» и «Агента» как три отдельных настройки, каждая из которых имеет собственный переключатель и собственное значение по умолчанию для новых доменов.
• Для новых доменов, на которых разрешена монетизация рекламой, изначально установлены настройки «Обучение запрещено» и «Агенты заблокированы» на страницах с рекламой.
• В рамках модели «оплата за использование» издателям выплачивается вознаграждение за ответы, а не за количество запросов.
• Разработчики агентов должны предусмотреть доступ на уровне отдельных страниц и проверять каждый ответ на наличие cf-mitigated: challenge заголовок и регистрировать каждый блок в качестве заявленного предпочтения издателя.
• Что стоит следить дальше: какие компании, занимающиеся искусственным интеллектом, присоединятся к программе «Pay Per Use» и сколько агентов зарегистрируются в качестве уполномоченные агенты.

Хотите увидеть, как на практике выглядят рендерированные запросы с географической привязкой? Начните с Web Render API обзор.

Источники

• Cloudflare, «Получите и то, и другое: оставайтесь видимыми в поисковой выдаче и одновременно запретите использование ваших данных для обучения ИИ», просмотрено 25 сентября 2026 г.
• Cloudflare, «День независимости контента: год спустя», просмотрено 25 сентября 2026 г.
• The Next Web, «Cloudflare установила для ИИ-сканеров крайний срок — сентябрь», просмотрено 25 сентября 2026 г.
• Документация Cloudflare, Агенты, с которыми заключены договоры
• Документация Cloudflare, «Обнаружить ответ со страницы запроса», просмотрено 28 сентября 2026 г.
• TollBit, Обзор состояния ботов (1-й и 2-й кварталы 2026 года)
• Digiday, «Согласно отчету, европейские издатели все сильнее страдают от сбора информации с помощью ИИ-ботов» (Данные TollBit «State of the Bots»)