什么是“代理式网络”？WebMCP、MCP Fetch 和原生代理访问
所有文章

什么是“代理式网络”？WebMCP、MCP Fetch 和原生代理访问

Ryan Turner
Ryan Turner · Head of Growth

能动性网络 这种转变体现在将人工智能代理视为“第一类”网络客户端。不再需要代理从原始 HTML 中推测该如何行动，而是由网站提供结构化的工具，供代理直接调用。网站会明确告知代理如何进行交互，而不是让代理去反向工程 DOM，并祈祷布局没有在一夜之间发生变化。

这就是这一理念的全部精髓，仅用一句话便概括了。你我所浏览的网络是为人类的眼睛和鼠标点击而构建的。而“代理式网络”则增添了第二个接口，它专为能够代表你进行阅读、决策和行动的机器而设计。目前，有两项标准构成了该接口的基础：WebMCP 以及包含 Fetch 参考服务器的模型上下文协议（Model Context Protocol）。

要点总结
  • 代理网络将代理视为原生客户端，由网站提供可调用的工具，而非由代理刮取DOM。
  • WebMCP 于 2026 年的 Google I/O 大会上提出，它允许网站将 JavaScript 函数和 HTML 表单作为工具发布，供代理调用。
  • MCP Fetch 是一个标准服务器，它会抓取 URL 并将 HTML 转换为 Markdown，从而大幅降低代理令牌的成本。
  • 采用进程尚处于初期阶段，且进展不均衡。大多数网站短期内不会推出基于代理的原生工具。
  • 在此之前，代理程序仍然需要浏览器、渲染和搜索 API，以及一个用于覆盖长尾需求的真实设备网络。

“代理原生访问”到底是什么意思？

代理原生访问 这是一种网站向代理展示自身功能的模式，因此代理会调用一个指定函数，而非解析页面。这重新定义了网页访问的方式。 旧模式是“检测与规避”：代理加载页面时，网站试图识别机器人，而代理则试图掩饰其机器人身份。相比之下，“代理原生访问”将这一过程转化为地址与协议问题，其运作方式更接近调用 API，而非抓取屏幕内容。

这一区别之所以重要，是因为机器人流量已不再是边缘现象。据数据显示，2024年，自动化机器人占所有网络流量的51%，这是十年来机器流量首次超过人类流量，Imperva，《2025年恶意机器人报告》. 当你的访客大多是软件时，为软件构建界面就不再是可有可无的事情，而是成为了一项设计工作。

此外还有一种更隐晦的动机。当网站能为爬虫提供一条清晰且经过授权的路径时，它就能控制爬虫所看到和所做的事情。因此，对于网站所有者而言，这比让成千上万的爬虫在原本并非为它们设计的页面布局上随意行动要更可预测。 网站制定规则，爬虫遵循规则，双方都能减少意外情况。

这还会改变故障模式。当类名发生变化或按钮位置移动时，DOM 抓取会悄无声息地失败；而基于代理的原生工具要么存在，要么不存在，且版本化契约可以明确地指示这一点。 根据我们在代理工作负载中的观察，负责访问层的工程师往往更倾向于第二种故障模式，因为这种故障表现明显且可测试，而非隐蔽且间歇性。关于此问题在整个技术栈中为何重要的背景信息，请参阅为人工智能代理提供实时网络访问权限.

WebMCP 是如何工作的？

WebMCP 这是一项在 2026 年 Google I/O 大会上提出的标准提案，它允许网站将其自身的 JavaScript 函数和 HTML 表单作为工具提供，供基于浏览器的代理调用。根据Chrome，Chrome 在 I/O 2026 大会上，该网站声明了代理可以执行哪些操作，代理读取这些声明，并像调用API一样调用它们。简而言之，该页面描述了自身的操作，而不是强迫代理去推断这些操作。

试想一下结账流程。如果没有 WebMCP，客服人员必须通过读取像素和 DOM 节点（这些在不同版本之间可能会发生位移）来定位正确的输入字段、填写内容、找到提交按钮并确认结果。相比之下，使用 WebMCP 时，网站会发布一个submitOrder 带有类型化参数的工具。代理会调用它。无需猜测选择器，也不必因元素渲染延迟而陷入脆弱的等待状态。

有两个特点使得这种方法非常有用。首先，契约是明确的：网站会声明其使用的工具，因此代理无需对意图进行逆向工程。 其次，代理程序运行在用户自身的浏览器会话中，这意味着它以用户已有的权限和身份进行操作。这规避了一类访问问题，不过仅限于支持 WebMCP 的网站，而目前这类网站数量尚少。

什么是 MCP Fetch，它为何重要？

MCP 数据读取 它是 Model Context Protocol 生态系统中的参考 Fetch 服务器。它专注于做好一件事：接收一个 URL，检索页面，并将 HTML 转换为代理可读的 Markdown 格式。根据模型上下文协议服务器存储库，这是一个标准且可重用的工具，任何与 MCP 兼容的代理都可以将其集成进来，以实现基本的页面检索。

关键在于 Markdown 转换。原始 HTML 充斥着导航、脚本、样式和追踪标记等内容，这些对代理而言既无用，又会消耗代币。将页面精简为纯净的 Markdown 格式可大幅减少代币消耗——通常能减少一半以上，从而降低成本，并为模型留出更多上下文窗口空间用于实际推理。 例如，一个以原始 HTML 形式加载产品页面的智能体，可能在到达所需的那个段落之前，就已经将大部分预算消耗在菜单和脚本标签上了。实践者的技术报告见dev.to,面向人工智能代理的浏览器工具（第4部分） 详细阐述了这一权衡。

MCP Fetch 和 WebMCP 分别处理不同的层级。Fetch 负责读取：拉取页面，返回干净的文本。相比之下，WebMCP 负责操作：调用网站声明的函数来执行某些操作。 大多数实际的智能代理工作流都需要这两者，我们看到开发团队通常会在这些基础组件之上构建自己的检索层，而不是将其中任何一项标准视为整个处理流程。

请明确Fetch的功能边界。它负责获取和转换数据，但不会渲染JavaScript、解决验证页面，也不会当网站阻挡请求时切换出站路径。在静态文章上，它运行良好。 然而，在单页应用或受保护的目标页面上，它会返回一个空壳或阻塞页面，这就是为什么开发团队会将其与更复杂的渲染机制结合使用，以应对任何会“反击”的情况。如果你正在自己构建这样的处理流程，构建一个用于Web数据提取的MCP Server 从头到尾覆盖了整个图案。

这让当今的经纪人处于什么境地？

如今的代理程序仍然需要浏览器、渲染和搜索 API 以及真实设备网络，因为代理原生标准尚处于早期阶段，且采用情况参差不齐。 WebMCP 是一项提案。与此同时，MCP Fetch 仅处理简单且可抓取的页面。绝大多数网页并未提供代理原生工具，且其中很大一部分会主动阻止自动化访问。在此领域，标准是补充性的，而非替代性的。

这种封锁现象确实存在，且呈日益加剧之势。据报道，2025年7月1日起，Cloudflare开始在约20%的网络范围内默认封锁AI爬虫，Cloudflare，Cloudflare 刚刚改变了 AI 爬虫抓取整个互联网的方式. 新闻出版商采取了更进一步的措施：据报道，到2025年，约79%的主要新闻网站屏蔽了AI训练机器人，《新闻公报》，目前，全球十大新闻网站中有八成已屏蔽用于AI训练的机器人. 因此，一个“干净”的 WebMCP 工具对于那些永远不会部署该工具的数百万个网站来说，毫无用处。

因此，这两个世界并存。当一个网站采用 WebMCP 或通过 MCP Fetch 提供“干净”的请求时，访问过程会变得更简单，这种寻址模型也更胜一筹。相比之下，对于长尾场景，代理需要真正的渲染以及真实用户设备的来源，才能像普通访客一样访问内容。 在受保护的目标站点上，出站请求的重要性远超人们的预期。 在我们的供应商基准测试中，住宅IP对受保护网站的请求成功率通常远高于数据中心IP，通常在85%至99%之间，而数据中心IP的成功率仅为20%至40%左右，这就是为什么团队会将难以处理的案例通过真实设备源进行路由。 这正是 Massive 的设备访问网络和 Web Render API 所覆盖的层级：从任何公共来源（无论位于何处）获取干净的 HTML 或 Markdown 内容，包括那些永远不会公开相关工具的网站。标准让简单的情况更轻松，但并不能消除复杂的情况。关于该流程中推理环节的考量，利用实时网络数据对大型语言模型进行训练 将检索与模型输出关联起来。

来源

常见问题解答

“代理网络”是真正的标准，还是仅仅是一场炒作？+

这是一个由具体提案支撑的发展方向。WebMCP 已在 2026 年的 Google I/O 大会上推出，而 MCP Fetch 已包含在 Model Context Protocol Server 代码库中。相关组件已经就位。但目前尚未得到广泛采用，因此应将其视为一种新兴基础设施，而非可在整个开放网络中依赖的成熟平台。

WebMCP 是否取代了网页抓取？+

不，短期内还不行。WebMCP 仅对已实现该功能的网站有效，而目前支持该功能的网站数量还很少。对于其他情况，代理仍需解析页面、渲染 JavaScript，并通过真实设备网络进行路由以获取内容。在生产环境中，应同时规划这两种路径，而不是指望代理能普遍原生支持 WebMCP。

WebMCP 和 MCP Fetch 之间有什么区别？+

MCP Fetch 负责“读取”：它获取一个 URL，并将 HTML 转换为 Markdown 格式，供代理程序处理。WebMCP 负责“执行”：它允许网站暴露可调用的函数和表单，以便代理程序执行任务。“读取”与“执行”。大多数工作流都会将两者结合使用。

为什么要把 HTML 转换为 Markdown 格式供客服人员使用？+

原始 HTML 包含导航、脚本和样式，这些内容不仅会浪费令牌，还会占用上下文窗口的空间。Markdown 会将其简化为可读内容，从而大幅减少令牌数量，通常能减少一半以上。这样不仅成本更低、输入更简洁，还能为模型留出更多空间，使其能够专注于真正重要的内容。