Состояние отрасли веб-данных: 3-й квартал 2026 года

В 2025 году объем автоматизированного трафика превысил объем трафика, генерируемого людьми, в открытом Интернете, и с тех пор эта тенденция только усиливается. В настоящее время на долю ботов приходится более 53 % всего веб-трафика, в то время как доля активности людей сократилась до 47 % и продолжает снижаться (Imperva/Thales, Отчет о вредоносных ботах за 2026 год). В то же время издатели впервые создают реальную инфраструктуру для взимания платы за этот трафик, а не просто пытаются его блокировать. Таково состояние отрасли веб-данных в преддверии IV квартала 2026 года: она стала масштабнее, более автоматизированной, в большей степени опирающейся на искусственный интеллект и более конкурентной, чем год назад.

Основные выводы

• В 2025 году доля автоматизированного трафика превысила 53 % от общего объема веб-трафика, причем доля вредоносных ботов составила 40 %, что выше показателя предыдущего года (37 %) (Отчет Imperva/Thales о вредоносных ботах за 2026 год).
• В настоящее время искусственный интеллект является основным новым источником спроса на скрапинг. Передовые исследовательские лаборатории больше не раскрывают состав обучающих данных (Стэнфордский институт HAI, отчет «Индекс ИИ» за 2026 год), однако, по оценкам отраслевых экспертов, данные, извлеченные из Интернета, являются основным источником информации для большинства генеративных моделей, а специалисты предприятий всё чаще отмечают, что для обеспечения актуальности систем искусственного интеллекта им требуются конвейеры обработки данных в режиме реального времени, а не пакетная обработка данных.
• Издатели переходят от блокировки к введению платы за доступ. Политика Cloudflare, вступающая в силу 15 сентября 2026 года, предусматривает блокировку «смешанных» ИИ-краулеров на страницах, содержащих рекламу, а также преобразование платформы Pay-Per-Crawl в модель «Pay Per Use», при которой издатели получают вознаграждение, когда их контент фактически появляется в ответе ИИ (Блог Cloudflare, июль 2026 года; TechCrunch, 1 июля 2026 года).
• На рынке прокси-серверов прокси-адреса из жилых сетей продолжают отвоевывать долю у IP-адресов из центров обработки данных. Оценки поставщиков относительно точного соотношения значительно различаются, однако все они сходятся в одном: доля прокси-адресов из жилых сетей растёт, поскольку они гораздо чаще обходят современные системы защиты от ботов.

В 2025 году Интернет переступил черту: ботов стало больше, чем людей

На протяжении большей части истории Интернета в основе подходов к созданию, монетизации и защите веб-сайтов лежало предположение о том, что типичный посетитель — это человек. Это предположение больше не соответствует действительности. Согласно отчёту Imperva «Bad Bot Report 2026», в 2025 году доля автоматизированного трафика составила более 53 % всего веб-трафика, увеличившись по сравнению с 51 % годом ранее, в то время как доля трафика, генерируемого людьми, сократилась до 47 % и продолжает снижаться (Imperva/Thales, 2026 год).

Из этой доли автоматизированного трафика на долю «полезных» ботов (поисковые роботы, инструменты мониторинга, законный сбор данных) приходилось около 13 %. Вредные боты, автоматизированный трафик, имитирующий работу реального браузера или осуществляющий скрапинг без разрешения, составил 40 % всего трафика, что превышает показатель 2024 года (37 %).

Компания Imperva явно определяет это как структурный сдвиг, а не как краткосрочный всплеск, связанный с одной атакующей кампанией или одним вирусом. Это имеет значение для всех, кто в 2026 году будет разрабатывать решения в открытом Интернете. Состав трафика, на который рассчитаны ваша инфраструктура, ваша система защиты от ботов и ваша стратегия сбора данных, больше не соответствует тому составу трафика, который наблюдается в реальности.

Искусственный интеллект стал главным новым фактором, стимулирующим спрос на скрапинг

Потребность генеративного ИИ в веб-данных является главным фактором, определяющим изменение структуры этого трафика. В отчете Стэнфордского университета «AI Index Report 2026» отмечается, что состав обучающих данных больше не раскрывается для ряда наиболее ресурсоемких передовых систем, включая модели компаний OpenAI, Anthropic и Google (Стэнфордский институт HAI, отчет «Индекс ИИ» за 2026 год). Эта непрозрачность сама по себе красноречива. Лаборатории, которые раньше могли сослаться на опубликованный набор данных, теперь отказываются раскрывать состав смеси.

В отсутствие таких данных отраслевые исследователи восполнили этот пробел с помощью оценок. Согласно отчету компании Actowiz Solutions о состоянии отрасли веб-скрейпинга за 2026 год, примерно 70 % генеративных моделей обучаются преимущественно на данных, полученных путем веб-скрейпинга (Actowiz Solutions, Отчет об отрасли веб-парсинга за 2026 год). Рассматривайте эту конкретную цифру как предварительную оценку поставщика, а не как проверенный показатель.

Это направление по-прежнему соответствует тому, с чем уже сталкивается каждый покупатель инфраструктуры искусственного интеллекта. Каждый дополнительный агент ИИ, каждая система RAG и каждый конвейер обучения способствуют росту одного и того же базового спроса: на чистый, актуальный и доступный для поиска веб-контент, объем и свежесть которого невозможно обеспечить с помощью периодического ручного сбора данных.

Оценки объёма рынка свидетельствуют о том же, хотя прогнозы варьируются в зависимости от исследовательской компании и используемой методологии. Согласно ряду отчётов на 2026 год, годовой объём сегмента веб-скрейпинга на базе ИИ оценивается в диапазоне от низких до средних однозначных миллиардов, при этом на протяжении всего десятилетия прогнозируется двузначный рост. Ни одну из цифр не следует рассматривать в данном контексте как окончательную. Однако направление, в котором сходятся все оценки, не вызывает сомнений: этот сегмент быстро растёт, и причиной этого является ИИ.

Собственный прогноз компании Gartner относительно внедрения ИИ в корпоративном секторе подтверждает эту же тенденцию с другой точки зрения: ожидается, что к концу 2026 года ИИ-агенты, предназначенные для выполнения конкретных задач, будут интегрированы в 40 % корпоративных приложений, тогда как в 2025 году этот показатель составлял менее 5 % (Gartner, «Gartner прогнозирует, что к 2026 году 40 % корпоративных приложений будут оснащены ИИ-агентами, предназначенными для выполнения конкретных задач», пресс-релиз, 26 августа 2025 г.). Каждый из этих агентов представляет собой новый, постоянно действующий потребитель оперативных веб-данных, а не разовый цикл обучения.

Экосистема открытого исходного кода служит наглядным показателем того, насколько быстро растёт этот спрос. Crawl4AI — краулер, специально разработанный для преобразования веб-страниц в формат Markdown, готовый для использования в моделях большого языка (LLM), — набрал более 83 000 звёзд на GitHub. Это свидетельствует о том, что «чистые веб-данные для конвейера искусственного интеллекта» стали основной потребностью разработчиков, а не нишевой.

Издатели перестали просто пытаться это блокировать. Теперь они взимают за это плату

Еще одно знаковое событие третьего квартала 2026 года: крупнейшие поставщики инфраструктуры в открытом Интернете перестали рассматривать трафик ИИ-краулеров исключительно как вредоносный. Вместо этого они приступили к созданию механизмов для взимания платы за него. Изменение политики Cloudflare, вступающее в силу 15 сентября 2026 года, устанавливает новый стандарт по умолчанию (Блог Cloudflare, «Ваш сайт — ваши правила», июль 2026 года).

«Многофункциональные» ИИ-сканеры — боты, сочетающие традиционную индексацию поисковых результатов со сбором данных для обучения ИИ или разработки агентов, — по умолчанию блокируются на любой странице, содержащей рекламу. Чистое сканирование с целью поиска по-прежнему разрешено по умолчанию. Данная настройка по умолчанию применяется к новым клиентам Cloudflare, недавно добавленным сайтам в существующих учетных записях, а также ко всем существующим пользователям бесплатного тарифа.

Наряду с функцией блокировки по умолчанию компания Cloudflare развивает свою существующую платформу Pay-Per-Crawl, преобразуя её в модель, которую она называет «Pay Per Use». Издатели получают вознаграждение не просто за то, что сканер загружает страницу, а именно тогда, когда их контент действительно отображается в ответе ИИ. В качестве партнёров по запуску этой модели названы Ceramic.ai и You.com (TechCrunch, 1 июля 2026 года).

Этот механизм существенно отличается от бинарного подхода «заблокировать или разрешить», который определял политику в отношении ИИ-краулеров на протяжении последних двух лет. Он сигнализирует о чем-то более масштабном: крупнейший инфраструктурный уровень в сети теперь предполагает, что доступ ИИ будет представлять собой контролируемое и монетизируемое взаимодействие, а не «свободный доступ для всех» или полную блокировку.

Для всех, кто занимается разработкой агентов, конвейеров RAG или продуктов для мониторинга искусственного интеллекта, эта тенденция станет наиболее значимой в преддверии IV квартала. Правила, определяющие, как пользователь попадает на страницу, меняются.

Раньше вопрос звучал так: «Сможет ли мой робот пройти проверку на ботов?». Теперь же он звучит так: «Относится ли мой трафик к той категории, которую целевой сайт согласился разрешить или за которую он взимает плату?». Компания Massive внимательно отслеживает эту тенденцию; см. «Закрывающаяся сеть»: блокировка ИИ-краулеров, оплата за сканирование и что это означает для агентов для получения более подробного технического разъяснения того, какие именно изменения коснутся разработчиков агентов.

Внутри самого рынка прокси-серверов: сегмент частных пользователей продолжает завоевывать долю в отрасли веб-данных

Хотя в центре внимания находятся противостояние ботов и людей, а также издателей и поисковых роботов, на уровне инфраструктуры, обслуживающей весь этот трафик, происходит второе, менее заметное изменение. Прокси-серверы из частных сетей, а также сети устройств реальных пользователей, такие как сеть компании Massive, продолжают отвоевывать долю рынка у IP-адресов центров обработки данных в рамках самого рынка прокси-серверов. См. Прокси-серверы из частных сетей и прокси-серверы из центров обработки данных для ИИ-агентов для ознакомления с полным техническим сравнением.

Точный объем этого сегмента рынка остаётся неопределённым. Компании, занимающиеся исследованием рынка, публикуют крайне разнящиеся общие показатели по данному сегменту — от менее чем 150 миллионов долларов до нескольких миллиардов долларов в зависимости от объёма исследования и используемой методологии. Ни одну из этих цифр не следует рассматривать как аудированные данные. Согласно одной широко цитируемой оценке поставщика, доля резидентных прокси-серверов в общей выручке рынка прокси-серверов в 2026 году составит примерно 42 %, по сравнению с примерно 35 % в 2023 году (обзор результатов исследований рынка, 2026 год). Рассматривайте указанную долю как ориентировочную, а не точную.

Более подробно рассмотрен механизм, лежащий в основе этого сдвига:

Системы защиты от ботов уже не используют в качестве основного метода добавление известных диапазонов IP-адресов центров обработки данных в черные списки. Вместо этого они анализируют особенности поведения запросов, сигналы устройств и модели трафика, которые естественным образом генерирует реальное потребительское устройство, а сервер в центре обработки данных, как правило, — нет.

По мере обострения описанной выше «гонки вооружений» разрыв в производительности, отраженный в данной таблице, скорее всего, будет увеличиваться, а не сокращаться. Даже увеличение количества IP-адресов само по себе не решит эту проблему; именно от качества устройств зависит, будет ли запрос действительно обработан.

Что это означает для отрасли веб-данных в преддверии IV квартала 2026 года

Одновременно действуют три фактора. Трафик от ботов в настоящее время составляет большую часть всего веб-трафика. Искусственный интеллект является самым быстрорастущим источником спроса на этот трафик. А крупнейшие поставщики инфраструктуры активно пересматривают правила, определяющие, кому и на каких условиях предоставляется доступ.

Любая команда, продукт которой зависит от надежного доступа к Интернету, работает в условиях, существенно отличающихся от тех, что были даже год назад. Это верно независимо от того, является ли продукт ИИ-агентом, конвейером данных, средством сбора конкурентной разведки или инструментом мониторинга AEO.

Если рассматривать каждую из этих трёх тенденций в отдельности, то каждая из них представляет собой отдельную историю: отчёт по безопасности, заявление о политике, сноска в исследовании рынка. Однако в совокупности они свидетельствуют об одном фундаментальном сдвиге.

Открытый Интернет больше не является бесплатным ресурсом, который инфраструктура незаметно потребляет в фоновом режиме. Он постепенно превращается в платный ресурс. Условием доступа является подтверждение легитимности вашего трафика — либо перед системой защиты от ботов, либо, что становится всё более распространённым, в соответствии с условиями биллинга издателя.

Два года назад ситуация была однозначной: вас либо заблокировали, либо нет. Сегодня она скорее делится на три уровня.

То, в какой уровень попадает запрос, зависит от факторов, которые в большей степени контролируются поставщиками инфраструктуры, чем операторами сканеров: источник устройства, географическое положение и заявленное намерение.

Надежный путь к решению этой задачи неизменно сводится к одним и тем же основополагающим принципам: проверке реального происхождения устройства вместо IP-адресов центров обработки данных, а также обеспечению географической точности запросов. Это также означает создание инфраструктуры, способной адаптироваться к постоянным изменениям политики издателей, а не инфраструктуры, рассчитанной на более упрощенную модель «блокировать или разрешать», характерную для 2024 года.

Примечание об источниках и методологии

В настоящем отчете обобщены данные отраслевых исследований сторонних организаций, актуальные по состоянию на сентябрь 2026 года: Отчет «Индекс искусственного интеллекта» на 2026 год, подготовленный Стэнфордским институтом HAI, Отчет Imperva/Thales «Bad Bot Report» за 2026 год, Официальное заявление компании Cloudflare о политике, Репортаж TechCrunch об этом объявлении, Прогноз компании Gartner относительно внедрения корпоративных ИИ-агентов на август 2025 года, Отчет компании «Actowiz Solutions» об отрасли веб-парсинга за 2026 год, а также обобщенные данные исследования рынка за 2026 год, посвященного веб-парсингу на основе искусственного интеллекта и сегменты прокси-серверов для частных пользователей.

В тех случаях, когда оценки объёма рынка существенно различались между исследовательскими компаниями — в случае рынка прокси-серверов разница превышала один порядок величины — эти расхождения отмечаются в тексте, а не сводятся к единому достоверному показателю. Анализ, связывающий эти данные — переход от модели «блокировать или разрешать» к модели с ограничением трафика — представляет собой собственное толкование этой тенденции компанией Massive, а не утверждение, сделанное каким-либо одним из цитируемых источников.

Данный материал представляет собой обобщение результатов внешних исследований, а не собственное исследование сети Massive. В одной из будущих статей этой серии будут использованы собственные данные Massive об объеме запросов и коэффициенте успешности, а также внутренний отчет «Signal», который уже включен в план работ; при публикации данная статья будет четко обозначена как собственное исследование.

Об авторе

Франклин Уче освещает в блоге Massive темы, связанные с инфраструктурой веб-данных, прокси-сетями и доступом ИИ-агентов, отслеживая, как из квартала в квартал меняются системы защиты от ботов, политика издателей и нормативные требования в отношении веб-парсинга. С вопросами по данному отчёту или сети Massive можно обращаться через Страница «О компании» Massive.