破除迷思：数据抓取与黑客行为并非一回事

“这基本上就是黑客行为吧？”这是任何从事大规模网页抓取的人最常被问到的问题之一。老实说，答案是否定的。黑客行为是指侵入未经授权的系统。 而抓取一个公开的网页，则是指读取该网站已经向所有浏览器用户展示的内容。在过去的五年里，美国最高法院和第九巡回上诉法院已在实际案件中划清了这条界限。但“不属于黑客行为”并不意味着“没有规则”，而这些案例也恰恰指明了真正的界限所在。

要点总结

• 2021年，美国最高法院将联邦反黑客法（CFAA）解读为一个“门开还是关”的问题：你是否被允许进入系统的这一部分（范布伦诉美国案（2021年）。
• 2022年，第九巡回上诉法院裁定，向公众开放的网页“未设置任何门槛”，因此阅读这些网页很可能不属于“未经授权”的访问（hiQ 诉 LinkedIn（2022年）。
• 合同、虚假账户、版权和隐私法仍然适用。这些正是网络数据案件胜负的关键所在。

本文面向普通读者，对公开的法院判决进行解读。本文不构成法律建议，且各国法律存在差异。

为什么人们认为数据抓取就是黑客行为？

这种混淆主要源于术语。两者都涉及自动化脚本，都以大规模形式发生，且都出现在关于“机器人”的头条新闻中。 1986年通过的《美国计算机欺诈与滥用法案》（CFAA）规定，“未经授权”访问计算机或“超出授权范围”访问计算机均构成犯罪。多年来，各网站一直主张，违反其服务条款即属于“超出授权范围”的行为。

如果这种解释成立的话，许多日常行为都将构成联邦犯罪。例如，使用工作电脑查看体育比赛比分；违反网站规定注册第二个账号；向网站明确禁止自动化操作的页面发送自动化请求。多年来，各法院对该法规的适用范围一直存在分歧。

因此，这个传闻并非毫无根据。它源于一场真实的法律纠纷，尽管仍有部分问题悬而未决，且关键的上诉裁决仅对第九巡回上诉法院具有约束力，但自2021年以来，该纠纷的范围已大幅缩小。

最高法院在“范布伦案”中作出了什么裁决？

2021年6月，在范布伦诉美国案，最高法院以6比3的投票结果裁定，“超出授权访问范围”是指进入计算机系统中你无权访问的部分，而非滥用你原本已被允许查看的信息（最高法院意见书（2021年）。法院将此描述为一项“闸门开启还是关闭”的审查。

关键在于如何界定。问题不在于“你是否违反了该网站制定的规则？”，而在于“那扇门对你来说是否敞开着？”登录页面就是一扇门，密码也是一扇门，而任何人都能在浏览器中加载的页面则不是。

请注意这在实际中意味着什么。由于范布伦，法院一直将身份验证（如登录或密码）视为“封闭之门”的最典型例证。最高法院确实在脚注中留有余地，未明确说明仅凭合同条款或政策是否足以构成“封闭之门”。 尽管如此，“在我与这些数据之间是否存在登录环节？”这个问题，大多数工程团队实际上都能给出答案，而这一点是大多数服务条款所无法做到的。

hiQ 诉 LinkedIn：公开页面无需登录

hiQ Labs 收集了 LinkedIn 上的公开个人资料以进行劳动力分析，随后 LinkedIn 向其发送了停止侵权通知书。此后范布伦，最高法院将此案发回重审。2022年4月，第九巡回上诉法院裁定，当一个网站将数据公开时，“该计算机从一开始就未设置任何可升降的门槛”（第九巡回上诉法院的裁决意见（2022年）。

通俗地说，浏览公开页面——即使使用自动化工具，甚至在被要求停止后仍继续浏览——也不太可能构成《计算机欺诈与滥用法案》（CFAA）的违规行为。这就是人们通常引用的裁决。

这也是故事通常戛然而止的地方。

为什么 hiQ 仍向 LinkedIn 付款：合同与行为

因为hiQ的败诉并非源于黑客攻击，而是源于合同违约和不当行为。2022年11月，地区法院认定hiQ违反了领英（LinkedIn）的《用户协议》，部分原因在于为hiQ工作的承包商创建了虚假的领英个人资料。 2022年12月，双方提交了一份拟议的和解判决书，其中包括对hiQ处以50万美元的判决，并要求其删除所持有的LinkedIn数据（地区法院案件登记簿, 2022;《国家法律评论》, 2022;摩根路易斯（2022年）。

这里有一个大多数总结都忽略的关键点。问题在于这些虚假账户，以及hiQ本身曾同意遵守领英（LinkedIn）的《用户协议》。一旦拥有账户，就意味着你已接受相关条款。若以虚假身份注册账户，就相当于拿着一把自己编造的钥匙穿过了大门。

是否已登录有关系吗？

是的，2024年的一起案件进一步印证了这一点。2024年1月，在Meta 诉 Bright Data，加利福尼亚州北区法院的爱德华·陈法官裁定Bright Data胜诉。他认定，Facebook和Instagram的服务条款并未禁止在未登录状态下收集公开数据（法院命令, 2024;奎因·伊曼纽尔客户通告（2024年）。

法院认为，未登录的访客并不属于受这些条款约束的“用户”。法院还驳回了Meta对条款的解释，即该条款禁止永久收集公开数据，即使在账户关闭后也是如此。

将这三起案例并列比较，就会发现一个简单的规律：

那么，获取公共数据的真正规则到底是什么？

将“黑客”视为法律问题，这种视角大多是错误的。 实际上，真正塑造网络数据运作规则的是合同（你是否同意了条款？）、版权（你对内容做了什么？）以及欧盟《通用数据保护条例》（GDPR）等隐私法律（数据是否能识别特定个人？）。即使访问行为本身完全合法，从公共页面收集个人数据仍可能触发隐私义务。

一份适用于团队的实用检查清单：

1. 保持未登录状态 除非您明确有权将该账户用于此目的。
2. 切勿创建虚假账户 以获取数据。该行为是导致 hiQ 蒙受损失的关键因素。
3. 不要绕过技术障碍。 登录页面或密码就像一道紧闭的大门。
4. 检查一下你正在收集的东西。 个人数据伴随着隐私义务。
5. 检查一下你是怎么处理它的。 转载受版权保护的内容所涉及的问题，与阅读这些内容所涉及的问题不同。
6. 读取 robots.txt 文件，并保持请求量在合理范围内。 robots.txt 并非《计算机欺诈与滥用法案》（CFAA）的门槛，但网站所有者会将无视该文件或对网站进行恶意抓取视为恶意行为。请勿破坏您正在浏览的网站。

那些能避免陷入麻烦的团队，往往会在开始开发之前就将规则明确写下来：他们将收集哪些数据、为何收集，以及为了获取这些数据绝不会采取哪些手段。 更优秀的团队会更进一步，将这些规则置于脚本无法忽略的位置。例如，位于代理层中的“绝不触碰”列表会直接阻止请求，而不是指望每位工程师都能记住维基页面上的内容。

关于这些问题在人工智能培训纠纷中具体如何体现，请参见每个网络数据团队都应了解的AI训练数据相关诉讼. 关于本系列探讨的另一个迷思，请阅读为什么IP地址越多并不意味着代理网络就越好.

您使用的网络也是合规性的一部分

您访问公共页面的方式也是合规性考量的一部分。由被劫持设备构建的家庭网络会带来一个您并未造成的问题。 Massive 的网络由真实的消费级设备组成，这些设备的所有者已通过 Massive SDK 主动加入；Massive 已完成 SOC 2 I 类审计，II 类审计正在进行中，这两项均列于Massive信任中心. 关于向任何供应商提出的问题，请参阅SOC 2 与 GDPR：向住宅代理服务商应询问哪些问题.

访问仍存在限制。Massive会在网络层对所有账户屏蔽某些类别的内容，每个住宅账户最多可向其账户添加 1,000 个域名域名黑名单. 被拦截的请求返回如下：452 Disallowed Content 而不是直接通过。关于“主动选择加入”机制的详细信息，请参见Massive 的主动加入式网络是如何运作的.

归根结底

• “黑客行为”是指突破一道紧闭的大门。而抓取公共网页则不属于黑客行为。
• 范布伦 (2021) 确立了“门槛测试”，第九巡回上诉法院将其适用于hiQ (2022)。
• hiQ仍以假账户和合同条款为由败诉。
• Meta 诉 Bright Data （2024）的研究表明，未登录状态下的内容浏览与登录状态下的使用存在差异。
• 真正的规则是合同、版权和隐私。请针对这些方面做好规划。

来源

• 美国最高法院，范布伦诉美国案, 第19-783号（2021年）
• 美国第九巡回上诉法院，hiQ Labs, Inc. 诉 LinkedIn Corp., 第17-16783号（2022年4月18日）
• 《国家法律评论》，“hiQ与领英就具有里程碑意义的数据抓取案达成拟议和解” (2022)
• 摩根路易斯，“LinkedIn 诉 hiQ：具有里程碑意义的数据抓取诉讼提供了指导” (2022)
• 美国加利福尼亚州北区联邦地区法院，hiQ Labs, Inc. 诉 LinkedIn Corp., 第3:17-cv-03301-EMC号案件，关于双方就简易判决提出的交叉动议的裁定（2022年11月4日）
• 美国加利福尼亚州北区联邦地区法院，Meta Platforms, Inc. 诉 Bright Data Ltd., 第3:23-cv-00077-EMC号案件，准予Bright Data关于简易判决动议的裁定（2024年1月23日）
• 奎因·伊曼纽尔，“Meta 诉 Bright Data：对网络爬虫行业具有重大意义的裁决” (2024)