黄昏时分,在一处昏暗的铁路调车场里,一根沉重的工业铁路道岔操纵杆在唯一一盏橙色信号灯的照耀下,象征着列车被引导至受阻目的地以外的路线。
所有文章

透明度报告:Massive 网络中域名屏蔽的运作原理

Franklin Uche
Franklin Uche · Community Lead
打开 Markdown

Massive 允许每个账户在 Massive 控制台中将其代理流量中的最多 1,000 个域名加入屏蔽列表。屏蔽操作立即生效,支持通配符模式,并返回一个452 (Disallowed Content) 当请求触发其中一项时会引发错误。这些规则位于 Massive 已实施的网络层封锁规则之上。本报告详细说明了该封锁列表的工作原理、其局限性,以及如何在您的代码中处理 452 状态码。所有产品详情均来自 Massive 的公开文档.

本版记录了监管情况,但未报告执法数据。

要点总结
  • 在 Massive 控制台中,每个账户最多可屏蔽 1,000 个域名,该设置将立即应用于代理连接(Massive Docs).
  • 返回被阻塞的请求452 (Disallowed Content). 将其视为最终结果,不要再尝试了。
  • *.example.com 仅涵盖子域名,因此请屏蔽example.com 也是。
  • 经销商可通过经销商 API 为每个子账户设置屏蔽列表,该 API 支持最多 100 个域名的列表。

为什么要公布域名屏蔽的工作原理?

与一年前相比,买家现在有更充分的理由去询问代理控制相关的问题。2026年1月,谷歌威胁情报小组描述了其对IPIDEA的破坏行动——这是一个住宅代理网络,该小组发现,仅在七天内,就有超过550个威胁组织使用了该网络的出口节点(Google Cloud 博客(2026年)。谷歌向代理服务提供商提出的指导意见是:“任何关于‘合乎道德的来源’的声明,都必须有透明且可审计的用户同意证明作为依据。”

“同意”涉及设备如何接入网络,我们已在Massive的侧面解释了这一点Massive 的主动加入式网络是如何运作的. 控制措施规定了流量进入网络后被允许执行的操作。安全审查人员需要将这两方面内容记录在某处以便查阅。本报告涵盖了这些控制措施。

域名黑名单是如何工作的?

黑名单位于 Massive 控制面板中。根据文档说明,屏蔽措施会“立即应用于您的代理连接”,并作为 Massive 现有的网络层屏蔽措施的补充。

被阻塞的请求停留在何处。
Feature How it works
Limit Up to 1,000 blocked domains per account
Adding one domain Enter it in the "Enter domain" field and click Add
Adding many Upload a CSV with one domain per line
Removing Delete individual entries, or clear the list in one step
What gets blocked Domains only; paths such as example.com/path are not blocked
Response when blocked Error code 452 (Disallowed Content)
Who manages it Per the docs, "each user can only manage their own blocklist," and "admins may apply global blocklists that override personal settings" (see limits below)

来源:Massive Docs, Domain blocking.

Massive 支持的通配符模式

一个通配符 (*) 每个条目可让一条规则覆盖多个主机。文档中给出了以下模式:

Pattern What it matches
*.example.com Subdomains of example.com only
example.* example under any top-level domain
ads.*.example.com Any middle label between ads and example.com
*example* example in any position

包含多个通配符的条目,例如ads.*.test.*.example.com,被拒绝。因为*.example.com 仅匹配子域名,要屏蔽整个网站需要两个条目:example.com 和*.example.com. 这是在复习时很容易被忽略的一个漏洞。

每个条目可使用一个通配符。使用两个条目即可屏蔽整个网站。

452 错误是什么意思?应该重试吗?

452 表示目标被封锁,因此任何重试都不会成功。 正是状态码使得该阻断机制在代码中得以有效实现。通过独特的状态码,工程团队能够将策略阻断与超时、目标站点阻断或网络错误区分开来。如果没有状态码,被阻断的请求看起来就像是间歇性故障,而重试循环会不断尝试访问你刻意排除的目标。

一个使用requests 会以以下两种方式之一将该数值视为 452。对于一个http:// 目标,代理会返回 452 作为响应状态码。对于一个https:// 目标,客户端首先通过代理建立一条隧道,使用一个CONNECT 请求,而被拒绝的隧道则表现为一个ProxyError 其消息中包含状态码。这个最简模式可同时处理这两种情况:

python
import logging
import time
import requests
def fetch(url, proxies, max_retries=3):
for attempt in range(max_retries):
try:
response = requests.get(url, proxies=proxies, timeout=60)
except requests.exceptions.ProxyError as err:
if "Tunnel connection failed: 452" in str(err):
# HTTPS target: the CONNECT tunnel was refused by policy.
logging.warning("Blocked domain, not retrying: %s", url)
return None
time.sleep(2 ** attempt)
continue
except requests.exceptions.RequestException:
# Timeouts and connection errors: worth retrying.
time.sleep(2 ** attempt)
continue
if response.status_code == 452:
# HTTP target: Disallowed Content. Log it and stop.
logging.warning("Blocked domain, not retrying: %s", url)
return None
if response.status_code >= 500:
time.sleep(2 ** attempt)
continue
# Other statuses (including target-site 403 or 429) go back to the caller.
return response
return None

规则很简单:记录 452 错误,不要重试,当它出现在你意料之外的地方时发出警报。如果你在自己从未屏蔽过的域名上看到 452 错误,请联系 Massive 支持团队,以查明是哪项屏蔽规则触发了该错误。

对于希望将某个竞争对手的网站和某个广告网络排除在任务之外的团队而言,初始 CSV 文件应如下所示:每行一个域名,并将每个顶级域名及其通配符作为单独的条目:

text
example-competitor.com
*.example-competitor.com
doubleclick.net
*.doubleclick.net

域名屏蔽有什么作用?

  • 成本控制。 网页通常会加载一些您并不需要的广告、分析工具和媒体托管服务。在代理服务器上屏蔽它们,可以为您想要访问的内容节省带宽。两个条目:doubleclick.net 和*.doubleclick.net, 涵盖一个广告网络的顶级域名及其下的所有主机。
  • 策略执行。 请确保任何团队的自动化任务都不会涉及贵公司法律或合规团队已排除的域名。
  • 代理人的安全。 一个沿链接浏览的人工智能代理可以漫游到任何地方。对于通过 Massive 路由的流量,无论模型做出何种决定,黑名单都会对其请求的目标位置设置严格的限制。我们关于为人工智能代理提供实时网络访问权限 介绍了该设置的其余部分。

经销商如何为客户屏蔽域名?

转售 Massive Access 的合作伙伴需通过转售商 API(而非控制面板)按子账户管理黑名单。该更新域名黑名单 端点 (PUT /accounts/{id}/blocklist) 在文档中被描述为一种“配置此账户代理访问时应屏蔽哪些域名”的方式。它支持最多 100 个域名的列表,每个域名长度不超过 253 个字符。 对于已同步的子账户,“黑名单会与父账户的黑名单合并”,因此合作伙伴在顶层设置的规则将适用于其下所有已同步的客户。

Massive 的域名黑名单有什么做不到的?

  • 它屏蔽的是域名,而不是路径。 你无法只屏蔽网站的一部分,而允许访问其余部分。
  • 它被封顶了。 仪表盘每个账户允许创建 1,000 条记录。虽然通配符能大幅扩展这一数量,但并非无限。
  • 未明确说明覆盖范围。 文档中提到“管理员可以应用全局屏蔽列表,这些列表会覆盖个人设置”,但并未说明是哪些管理员,以及这些屏蔽列表的适用范围有多广。如果这对您的配置有影响,请在依赖此功能之前咨询 Massive 客服。
  • 它增加了限制,而不是取消了限制。 该黑名单是对 Massive 网络层封锁措施的补充。文档中并未列出这些网络层封锁措施的具体范围。关于安全审查的问题,请参阅Massive信任中心 这是起点,或者直接联系 Massive。

本文在Massive“透明度”系列中的定位

本报告是我们“周四透明度系列”的一部分。关于反机器人系统如何判断代理流量,以及来源为何重要,请参阅我们的关于轮换代理池的辟谣帖. 住宅网络的产品详情请见“住宅代理”页面.

域名屏蔽:核心要点

  • 两个都加example.com 和*.example.com 当你指的是整个网站时,将每个 452 状态码都视为最终结果。
  • 本报告中的每项产品细节均可在 Massive 的公开文档中找到,因此您可以自行查阅,不必仅凭我们的说法。

来源

常见问题解答

在 Massive 上我可以屏蔽多少个域名?+

每个账户在 Massive 控制台中最多可屏蔽 1,000 个域名。您可以逐个添加域名,或上传 CSV 文件(每行一个域名)。经销商可通过经销商 API 设置子账户的屏蔽列表,该 API 支持最多 100 个域名的列表。

在 Massive 上,错误代码 452 是什么意思?+

错误452 (Disallowed Content) 表示该请求发送到了被屏蔽的域名。请不要重试。如果您并非自行屏蔽了该域名,请联系 Massive 客服。

Massive 的域名屏蔽功能支持通配符吗?+

是的,每个条目允许使用一个通配符。例如以下模式:*.example.com,example.*,ads.*.example.com,以及*example* 受支持。包含多个通配符的条目将被拒绝。

我可以屏蔽特定的URL路径吗?+

不。黑名单是在域名级别起作用的。诸如example.com/path 未被屏蔽。