Отказ от браузера: как преобразование HTML в Markdown сокращает расходы на токены агентов на 80 %

Для большинства задач агентов, работающих в режиме «только для чтения», полнофункциональный браузер вообще не требуется. Загрузите страницу, преобразуйте её в чистый Markdown и передайте результат модели. Удаление разметки, скриптов и стилей до того, как модель начнёт считывать данные, позволяет избавиться от лишней информации, которая модели и так не нужна. В результате это сокращает количество токенов, зачастую более чем наполовину.

Ошибка заключается в том, что каждую веб-задачу рассматривают как проблему автоматизации браузера. Чтение страницы документации, извлечение статьи или получение технических характеристик продукта — это задача типа «извлечение и преобразование». К браузеру прибегают только в тех случаях, когда страница сопротивляется.

Основные выводы

• Для операций, не требующих изменения данных, загружайте контент и преобразуйте его в формат Markdown вместо запуска браузера.
• Необработанный HTML-код тратит ресурсы на разметку, встроенные скрипты, стили и шаблонный код, которые модель игнорирует.
• Специалисты отмечают, что в результате этого обмена показатели снизились примерно на 80 %; прежде чем доверять каким-либо цифрам, проверьте свои собственные страницы.
• Используйте справочный сервер MCP Fetch или API рендеринга, который возвращает код Markdown напрямую.
• Используйте настоящий браузер для входа в систему, просмотра контента, доступного только через JavaScript, и работы с интерактивными интерфейсами.

Эта статья является частью более обширного руководства о том, как предоставить ИИ-агентам доступ к веб-ресурсам в режиме реального времени. Здесь мы сосредоточимся на наиболее экономичном варианте: по возможности обходитесь без браузера.

Почему необработанный HTML-код занимает столько ресурсов?

Необработанный HTML-код содержит большой объем данных, которые модели не нужны. Преобразование HTML в Markdown — это этап, на котором удаляются теги, встроенные скрипты, блоки стилей, пиксели отслеживания, элементы навигации и шаблонные элементы нижнего колонтитула, при этом сохраняется только читаемый контент. Модель рассчитывает стоимость каждого из этих удаленных токенов на входе. Более того, эта стоимость повторяется на каждой странице, при каждом запуске и для каждого агента в вашем парке.

Представьте себе типичную страницу статьи. Объем нужного вам текста может составлять несколько тысяч слов. Однако HTML-код, окружающий его, содержит <div> вложенные конструкции, «суп» классов, фрагменты аналитики и каркас рекламных технологий, которые зачастую перевешивают саму суть текста. Если ввести это напрямую в окно контекста, вы потратите бюджет на структуру, которую модель в любом случае отбросит.

Markdown, напротив, сохраняет суть и отсеивает лишнее. Заголовки остаются заголовками, ссылки — ссылками, а списки — списками. Все остальное — скрипты, стили, элементы верстки — отпадает. Вы получаете смысл, а не техническую оболочку.

Масштаб имеет значение, поскольку агенты скоро будут повсюду. По прогнозам компании Gartner, в 2025 году Gartner, По прогнозам Gartner, к 2026 году 40 % корпоративных приложений будут оснащены специализированными ИИ-агентами К концу 2026 года 40 % корпоративных приложений будут оснащены специализированными ИИ-агентами, тогда как в 2025 году их доля составляла менее 5 %. В результате, когда столько агентов сканируют веб-страницы, потери токенов на каждой странице складываются в значительную сумму.

Насколько эффективно преобразование HTML в Markdown позволяет сэкономить время?

Экономия значительна, но зависит от конкретной страницы, поэтому рассматривайте любые цифры в заголовках как отправную точку, а не как обещание. По данным dev.to, специалисты отмечают сокращение объёма данных примерно на 80 % благодаря преобразованию HTML в Markdown перед обработкой моделью, Инструменты браузера для ИИ-агентов. Часть 4: Отказ от использования браузера (2026). Эта цифра основана на данных, предоставленных самими специалистами и поставщиками, и не прошла независимую проверку, поэтому её следует отнести к разряду гипотез, а не включать в бюджет. Например, страница с большим объёмом контента, оформленная с помощью лёгкой разметки, даст меньшую экономию, чем перегруженная скриптами оболочка приложения, скрывающая всего один абзац реального текста. Обе версии уменьшаются в размере, но соотношение сильно колеблется в зависимости от страницы. Поэтому измеряйте свои собственные целевые показатели. Мы подсчитали количество токенов на типичных страницах следующим образом: взяли десять страниц, подсчитали токены для исходной HTML-версии и версии с разметкой Markdown, а затем проанализировали разброс результатов. В ходе наших тестов вы обычно увидите сокращение, значительно превышающее половину, а иногда и гораздо больше. Однако единственное число, которое имеет значение для вашего бюджета, — это то, которое вы измерили на своих собственных страницах. Ориентируйте свою модель затрат на этом, а не на заголовке.

Эта привычка окупается вдвойне. С одной стороны, вы сокращаете объем входных данных уже сегодня. С другой — вы формируете базовый показатель, который позволит выявить ухудшение показателей, если в следующем квартале целевой сайт изменит свой макет. Как показывает наш опыт работы с различными рабочими нагрузками агентов, именно этот базовый показатель является тем фактором, который позволяет обнаружить скачок затрат на панели мониторинга, а не в счете-фактуре.

Как преобразовать HTML в Markdown в конвейере агента?

Большинство случаев можно охватить двумя подходами: либо с помощью инструмента для извлечения и преобразования данных, интегрированного в ваш агент, либо с помощью API рендеринга, который возвращает код в формате Markdown напрямую. Оба подхода позволяют устранить одни и те же проблемы. Разница заключается в том, кто выполняет извлечение данных и насколько эффективно он справляется с сайтами, которые сопротивляются автоматизированному доступу.

Вариант 1: сервер справочной информации MCP Fetch

Самой простой точкой входа является сервер MCP Fetch, который загружает URL-адрес и преобразует HTML в формат Markdown за один шаг. Он входит в состав официального Репозиторий серверов Model Context Protocol, поэтому любой агент, совместимый с MCP, может использовать его в качестве инструмента. Для внутренней документации, публичных статей и сайтов, не блокирующих ботов, этого зачастую бывает вполне достаточно.

Проблема заключается в доступе. Обычный запрос отправляется с IP-адреса вашего сервера, а все большее число веб-ресурсов в настоящее время рассматривает незнакомый автоматизированный трафик как угрозу. В 2025 году, Imperva, Отчет о вредоносных ботах за 2025 год Исследование показало, что в 2024 году доля автоматизированных ботов составила 51 % всего веб-трафика — это первый случай за последнее десятилетие, когда боты превзошли по количеству людей, причем на долю вредоносных ботов пришлось 37 %. В результате системы защиты, настроенные с учетом такого объема трафика, зачастую блокируют простой запрос на получение данных ещё до того, как вы получите HTML-код для конвертации.

Вариант 2: API рендеринга, возвращающий код в формате Markdown

Если целевой ресурс не поддерживает обычный запрос, перенаправьте запрос на инфраструктуру, предназначенную для обхода ограничений, и попросите её вернуть код в формате Markdown напрямую. Web Render API от Massive предоставляет конечную точку Browsing с формат=markdown, благодаря чему страница возвращается в готовом к отображению виде за один вызов. Никаких отдельных этапов загрузки, никаких конвертеров на стороне клиента, которые нужно поддерживать, никакого HTML, промежуточно хранящегося в памяти.

Два фактора делают это решением, пригодным для масштабного использования. Во-первых, Markdown является полноценным форматом вывода на конечной точке, а не просто дополнением, поэтому преобразование происходит непосредственно при рендеринге страницы. Во-вторых, запрос отправляется из реальной сети потребительских устройств, охватывающей более 195 стран и насчитывающей около 1,3 млн активных устройств в день, поэтому запрос достигает сайтов, которые отклоняют трафик из центров обработки данных. Прокси-серверы для частного использования — это соединения, которые проходят через реальные потребительские устройства, а не через диапазоны IP-адресов центров обработки данных, поэтому они воспринимаются как обычные посетители. Мы измерили этот разрыв в ходе собственного сравнительного анализа поставщиков: показатели успешности доступа с IP-адресов частных пользователей на защищенных сайтах значительно превышают показатели IP-адресов центров обработки данных (примерно в диапазоне от 85 до 99 % против 20–40 %). Обратите внимание, что это следует рассматривать как сравнительный анализ поставщиков, а не как независимое исследование.

Этот доступ с каждым месяцем становится всё важнее. В 2025 году, Cloudflare, Cloudflare только что изменила подход к сканированию Интернета с помощью ИИ-ботов С 1 июля 2025 года примерно на 20 % веб-сайтов по умолчанию начали блокировать роботов-пауков искусственного интеллекта. В результате, если ваш запрос не может получить доступ к странице, самый недорогой в мире конвейер обработки Markdown не возвращает никаких результатов.

Вы также можете настроить вызов. Конечная точка Browsing предлагает различные уровни скорости и параметр сложности, работает в синхронном или асинхронном режиме, а также поддерживает «липкие» сессии продолжительностью до 12 минут на одном и том же выходе, когда многоэтапное чтение требует непрерывности. В случае однократного чтения, напротив, достаточно просто отменить запрос и перейти к следующему.

В каких случаях по-прежнему требуется полноценный браузер?

Браузер по-прежнему необходим в тех случаях, когда контент не существует до тех пор, пока что-либо не запустится в браузере. Вход в систему, многоэтапные формы, бесконечная прокрутка и контент, доступ к которому ограничен JavaScript, — все это требует контекста реального рендеринга и реального взаимодействия. При использовании подхода «загрузить и преобразовать» на таких страницах отображается пустая оболочка, поскольку разметка поступает раньше, чем данные.

Мы руководствуемся следующим простым правилом: для операций только чтения обходитесь без браузера, а для операций чтения-записи или интерактивных действий — используйте его. Если ваша задача состоит в том, чтобы «прочитать эту страницу и подготовить краткое изложение», преобразуйте текст в формат Markdown. Если же задача заключается в том, чтобы «войти в систему, пройти три экрана и отправить форму», вам понадобится автоматизация, которая сможет управлять реальной сессией. Автоматизация работы браузера — это метод программного управления реальным движком рендеринга с целью выполнения щелчков, ввода текста и ожидания, что именно и не под силу методу fetch-and-convert.

Когда вы пересекаете эту черту, важное значение приобретают как архитектура, так и инфраструктура. Например, выбор уровня автоматизации — это отдельное решение, которое рассматривается в фреймворки браузерных агентов. Аналогичным образом, вскоре возникает вопрос о том, лучше ли управлять этим флотом самостоятельно или приобрести его, что и является предметом инфраструктура управляемых браузеров. В начальной части схема принятия решений проста: сначала попробуйте использовать Markdown, переходите к браузеру только в том случае, если страница этого требует.

Еще одна причина, по которой стоит по умолчанию использовать Markdown: это именно тот формат, который и так требуется вашему базовому уровню. Заземление — это метод подачи модели актуального контекста, полученного в режиме реального времени, благодаря чему её ответы основываются на реальных источниках, а не на устаревших обучающих данных. Чистый Markdown напрямую используется при поиске и формировании контекста, поэтому он вновь фигурирует в обучение больших языковых моделей на основе актуальных веб-данных. Другими словами, отказ от использования браузера не только обходится дешевле, но и позволяет получить именно тот результат, которого ожидает остальная часть вашего конвейера.

Источники

• Gartner. По прогнозам Gartner, к 2026 году 40 % корпоративных приложений будут оснащены специализированными ИИ-агентами. 2025 г. https://www.gartner.com/en/newsroom/press-releases/26.08.2025 — Gartner прогнозирует, что к 2026 году 40 % корпоративных приложений будут оснащены ИИ-агентами для выполнения конкретных задач, тогда как в 2025 году их доля составит менее 5 %.
• Imperva. Отчет о вредоносных ботах за 2025 год. 2025 г. https://www.imperva.com/resources/resource-library/reports/2025-bad-bot-report/
• Cloudflare. Cloudflare только что изменила подход к сбору данных в Интернете с помощью ИИ-ботов. 2025 г. https://www.cloudflare.com/press/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/
• dev.to. Инструменты браузера для ИИ-агентов. Часть 4: Отказ от использования браузера. 2026 г. https://dev.to/stevengonsalvez/browser-tools-for-ai-agents-part-4-skip-the-browser-save-80-on-tokens-304c
• Протокол контекста модели. Сервер справочной информации MCP Fetch (репозиторий серверов). 2026 г. https://github.com/modelcontextprotocol/servers