Отказ от использования браузера: как преобразование HTML в Markdown сокращает расходы на токены агента на 80 %

Для большинства задач агента, работающего только в режиме чтения, полнофункциональный браузер вообще не требуется. Загрузите страницу, преобразуйте её в чистый Markdown и передайте результат модели. Удаление разметки, скриптов и стилей до того, как модель начнёт считывать данные, позволяет избавиться от лишней информации, которая модели и так не нужна. В результате это позволяет сократить количество токенов, зачастую более чем наполовину.

Ошибка заключается в том, что каждую веб-задачу рассматривают как проблему автоматизации работы браузера. Чтение страницы документации, извлечение статьи или получение технических характеристик продукта — это задача типа «извлечение и преобразование». К браузеру прибегают только в тех случаях, когда страница создаёт проблемы.

Основные выводы

• Для операций, не требующих изменения данных, рекомендуется загружать контент и преобразовывать его в формат Markdown вместо запуска браузера.
• Необработанный HTML-код тратит токены на разметку, встроенные скрипты, стили и шаблонный код, которые модель игнорирует.
• Специалисты отмечают, что в результате этого обмена показатели снизились примерно на 80 %; прежде чем доверять каким-либо цифрам, проверьте показатели своих собственных страниц.
• Используйте справочный сервер MCP Fetch или API рендеринга, который возвращает код в формате Markdown напрямую.
• Используйте полноценный браузер для входа в систему, доступа к контенту, требующему поддержки JavaScript, и интерактивных сценариев.

Эта публикация является частью более обширного руководства о том, как предоставить ИИ-агентам доступ к веб-ресурсам в режиме реального времени. Здесь мы остановимся на самом экономичном способе: по возможности обходитесь без браузера.

Почему необработанный HTML-код занимает столько токенов?

Необработанный HTML-код содержит большой объем данных, которые модели не требуются. Преобразование HTML в Markdown — это этап, на котором удаляются теги, встроенные скрипты, блоки стилей, пиксели отслеживания, элементы навигации и шаблонные элементы нижнего колонтитула, при этом сохраняется только читаемый контент. Модель оплачивает каждый из этих удаленных токенов на входе. Более того, эти затраты повторяются на каждой странице, при каждом запуске и для каждого агента в вашем парке.

Представьте себе типичную страницу статьи. Объем нужного вам текста может составлять несколько тысяч слов. Однако HTML-код, окружающий этот текст, содержит <div> вложенные конструкции, «суп» классов, фрагменты аналитического кода и каркас рекламных технологий, который зачастую перевешивает собственно текст. Если ввести это напрямую в контекстное окно, вы потратите бюджет на структуру, которую модель всё равно отбросит.

Markdown, напротив, сохраняет суть контента и отсеивает лишнее. Заголовки остаются заголовками, ссылки — ссылками, а списки — списками. Все остальное — скрипты, стили, элементы верстки — устраняется. Вы получаете смысл, а не технические детали.

Масштаб имеет значение, поскольку агенты в скором времени будут повсеместно. По прогнозам компании Gartner, в 2025 году Gartner, По прогнозам Gartner, к 2026 году 40 % корпоративных приложений будут оснащены ИИ-агентами, предназначенными для выполнения конкретных задач К концу 2026 года 40 % корпоративных приложений будут оснащены ИИ-агентами, предназначенными для выполнения конкретных задач, тогда как в 2025 году этот показатель составлял менее 5 %. В результате, когда столько агентов сканируют веб-страницы, потери токенов на каждой странице в совокупности превращаются в значительную статью расходов.

Насколько эффективно преобразование HTML в Markdown позволяет сэкономить время?

Экономия значительна, но зависит от конкретной страницы, поэтому рассматривайте любую указанную цифру как отправную точку, а не как гарантию. Как сообщает dev.to, специалисты отмечают сокращение объёма данных примерно на 80 % за счёт преобразования HTML в Markdown перед тем, как модель проанализирует текст, Инструменты браузера для ИИ-агентов. Часть 4: Как обойтись без браузера (2026). Данная цифра основана на самоотчётах специалистов и поставщиков и не прошла независимую проверку, поэтому её следует отнести к разряду гипотез, а не включать в бюджет. Например, страница с большим объёмом контента, оформленная с использованием лёгкой разметки, позволит сэкономить меньше, чем перегруженная скриптами оболочка приложения, скрывающая всего один абзац реального текста. Обе версии уменьшают размер, но соотношение сильно колеблется в зависимости от конкретной страницы. Поэтому измеряйте свои собственные показатели. Мы подсчитали количество токенов на типичных страницах следующим образом: взяли десять страниц, подсчитали количество токенов в исходной HTML-версии и в версии с разметкой Markdown, а затем проанализировали разброс результатов. В ходе наших тестов вы, как правило, увидите сокращение, значительно превышающее половину, а иногда и гораздо больше. Однако единственное число, которое имеет значение для вашего бюджета, — это то, которое вы измерили на своих собственных страницах. Ориентируйте свою модель затрат именно на этом, а не на заголовках.

Эта привычка окупается вдвойне. С одной стороны, вы сокращаете количество входных токенов уже сегодня. С другой стороны, вы формируете базовые показатели, которые позволяют выявлять ухудшения показателей, когда целевой сайт изменит свой макет в следующем квартале. Как показывает наш опыт работы с различными рабочими нагрузками агентов, именно эти базовые показатели позволяют вовремя заметить скачок затрат на информационной панели, а не обнаружить его только в счете-фактуре.

Как преобразовать HTML в Markdown в конвейере агента?

Большинство случаев охватывают два подхода: инструмент для извлечения и преобразования данных, интегрированный в ваш агент, либо API рендеринга, который возвращает код в формате Markdown напрямую. Оба подхода устраняют одни и те же помехи. Разница заключается в том, кто выполняет извлечение данных и насколько эффективно он справляется с сайтами, которые сопротивляются автоматизированному доступу.

Вариант 1: справочный сервер MCP Fetch

Самой простой точкой входа является справочный сервер MCP Fetch, который загружает URL-адрес и за один шаг преобразует HTML-код в формат Markdown. Он входит в состав официального Репозиторий серверов протокола Model Context Protocol, поэтому любой агент, совместимый с MCP, может использовать его в качестве инструмента. Для внутренней документации, общедоступных статей и сайтов, не блокирующих ботов, этого зачастую бывает вполне достаточно.

Проблема заключается в доступе. Обычный запрос отправляется с IP-адреса вашего сервера, а всё большая часть Интернета в настоящее время рассматривает незнакомый автоматизированный трафик как угрозу. В 2025 году, Imperva, Отчет о вредоносных ботах за 2025 год Согласно данным исследования, в 2024 году доля автоматизированных ботов составила 51 % всего веб-трафика — это первый случай за последнее десятилетие, когда боты превзошли по количеству людей, причем доля вредоносных ботов составила 37 %. В результате системы защиты, настроенные с учетом такого объема трафика, зачастую блокируют простой запрос на получение данных ещё до того, как вы успеете получить HTML-код для конвертации.

Вариант 2: API рендеринга, возвращающий код в формате Markdown

Если целевой ресурс не поддерживает обычный запрос, перенаправьте запрос на инфраструктуру, предназначенную для обхода ограничений, и попросите её вернуть данные в формате Markdown напрямую. Сервис Web Render API от Massive предоставляет конечную точку «Browsing» с format=markdown, благодаря чему страница загружается в готовом к вводу виде за один вызов. Никаких отдельных этапов извлечения данных, никаких конвертеров на стороне клиента, которые необходимо поддерживать, никакого HTML, промежуточно хранящегося в памяти.

Два фактора обеспечивают практическую реализуемость данного подхода в масштабе. Во-первых, Markdown является полноценным форматом вывода на конечной точке, а не просто дополнительным модулем, поэтому преобразование происходит непосредственно в процессе рендеринга страницы. Во-вторых, запрос отправляется из реальной сети потребительских устройств, охватывающей более 195 стран и насчитывающей около 1,3 млн активных устройств в день, благодаря чему запрос доходит до сайтов, которые блокируют трафик из центров обработки данных. Прокси-серверы для частного использования — это подключения, маршрутизация которых осуществляется через реальные потребительские устройства, а не через диапазоны IP-адресов центров обработки данных, в связи с чем они распознаются как обычные посетители. Мы зафиксировали этот разрыв в ходе собственного сравнительного анализа поставщиков: показатели успешности доступа с бытовых IP-адресов на защищенные сайты значительно превышают аналогичные показатели для IP-адресов центров обработки данных (примерно в диапазоне от 85 до 99 % против 20–40 %). Обратите внимание: рассматривайте эти данные как результаты сравнительного анализа поставщиков, а не как результаты независимого исследования.

С каждым месяцем этот доступ становится всё более важным. В 2025 году, Cloudflare, Cloudflare только что изменила подход к сбору данных из Интернета с помощью ИИ-ботов С 1 июля 2025 года примерно на 20 % веб-ресурсов по умолчанию начали блокироваться роботы-сканеры на базе искусственного интеллекта. В результате, если ваш запрос не может получить доступ к странице, самый недорогой в мире конвейер обработки Markdown не возвращает никаких результатов.

Вы также можете настроить вызов. Конечная точка «Browsing» предлагает различные уровни скорости и параметр сложности, работает в синхронном или асинхронном режиме, а также поддерживает «липкие» сессии продолжительностью до 12 минут на одном и том же выходе, когда многоэтапное чтение требует непрерывности. В случае однократного чтения, напротив, достаточно просто уменьшить количество запросов и перейти к следующему.

В каких случаях вам всё же понадобится полноценный браузер?

Браузер по-прежнему необходим в тех случаях, когда контент не существует до тех пор, пока что-либо не запустится в браузере. Вход в систему, многоэтапные формы, бесконечная прокрутка и контент, доступ к которому ограничен JavaScript, — все это требует контекста реального рендеринга и реального взаимодействия. При использовании подхода «загрузить и преобразовать» на таких страницах возвращается пустая оболочка, поскольку разметка поступает раньше, чем данные.

Мы руководствуемся следующим простым правилом: для операций только чтения обходитесь без браузера, а для операций чтения-записи или интерактивных действий — используйте его. Если ваша задача заключается в том, чтобы «прочитать эту страницу и подготовить её краткое изложение», преобразуйте текст в формат Markdown. Если же задача состоит в том, чтобы «войти в систему, перейти по трём экранам и отправить форму», вам потребуется автоматизация, которая будет управлять реальной сессией. Автоматизация работы браузера — это метод программного управления реальным движком рендеринга с целью выполнения щелчков, ввода текста и ожидания, что именно и не может обеспечить метод «fetch-and-convert».

Когда вы действительно пересекаете эту грань, важное значение приобретают как фреймворк, так и инфраструктура. Например, выбор уровня автоматизации — это отдельное решение, которое рассматривается в фреймворки браузеров-агентов. Аналогичным образом, вскоре возникает вопрос о том, лучше ли управлять этим флотом самостоятельно или приобрести его, и именно этому посвящена статья инфраструктура управляемых браузеров. В начальной части дерево решений построено просто: сначала попробуйте использовать Markdown, а к браузеру прибегайте только в том случае, если страница этого требует.

Ещё одна причина, по которой стоит по умолчанию использовать Markdown: это именно тот формат, который и так требуется вашему базовому уровню. Заземление — это метод предоставления модели актуального контекста, полученного в режиме реального времени, с тем чтобы её ответы соответствовали реальным источникам, а не устаревшим обучающим данным. Чистый Markdown напрямую используется в процессах поиска и формирования контекста, поэтому он вновь фигурирует в обучение больших языковых моделей (LLM) с использованием актуальных веб-данных. Другими словами, отказ от использования браузера не только обходится дешевле, но и позволяет получить именно тот результат, который уже ожидается остальными звеньями вашего конвейера.

Источники

• Gartner. По прогнозам Gartner, к 2026 году 40 % корпоративных приложений будут оснащены ИИ-агентами, предназначенными для выполнения конкретных задач. 2025 г. https://www.gartner.com/en/newsroom/press-releases/26.08.2025 — По прогнозам Gartner, к 2026 году 40 % корпоративных приложений будут оснащены ИИ-агентами для выполнения конкретных задач, тогда как в 2025 году их доля составляла менее 5 %
• Imperva. Отчет о вредоносных ботах за 2025 год. 2025 г. https://www.imperva.com/resources/resource-library/reports/2025-bad-bot-report/
• Cloudflare. Cloudflare только что изменила подход к тому, как ИИ-краулеры сканируют Интернет в целом. 2025 г. https://www.cloudflare.com/press/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/
• dev.to. Инструменты браузера для ИИ-агентов. Часть 4: Как обойтись без браузера. 2026 г. https://dev.to/stevengonsalvez/browser-tools-for-ai-agents-part-4-skip-the-browser-save-80-on-tokens-304c
• Протокол контекста модели. Справочный сервер MCP Fetch (репозиторий серверов). 2026 г. https://github.com/modelcontextprotocol/servers