# Развенчание мифов: веб-парсинг и хакинг — это не одно и то же

«Разве это, по сути, не хакинг?» — это один из самых распространённых вопросов, который задают всем, кто занимается веб-парсингом в больших объёмах. Честный ответ — нет. Хакинг подразумевает проникновение в систему, доступ к которой вам запрещён. Извлечение информации с общедоступной веб-страницы означает чтение того, что сайт и так показывает любому пользователю с браузером. За последние пять лет Верховный суд США и Апелляционный суд девятого округа провели эту грань в реальных судебных делах. Однако «не хакинг» не означает «отсутствие правил», и те же дела показывают, где пролегают реальные границы.

> **Основные выводы**
>
> - В 2021 году Верховный суд США истолковал федеральный закон о борьбе с хакерством (CFAA) как вопрос типа «ворота открыты или закрыты»: разрешен ли вам доступ к этой части системы или нет ([Van Buren v. United States](https://www.supremecourt.gov/opinions/20pdf/19-783_k53l.pdf), 2021).
> - В 2022 году Девятый окружной апелляционный суд постановил, что страницы, открытые для общего доступа, «не устанавливают никаких барьеров», поэтому их просмотр, вероятно, не является доступом «без разрешения» ([hiQ v. LinkedIn](https://cdn.ca9.uscourts.gov/datastore/opinions/2022/04/18/17-16783.pdf), 2022).
> - Действие по-прежнему сохраняют договоры, положения о фальшивых аккаунтах, авторское право и законодательство о конфиденциальности. Именно на этих основаниях фактически выигрываются или проигрываются дела, связанные с веб-данными.

*Данная публикация содержит объяснение общедоступных судебных решений для широкой аудитории. Она не является юридической консультацией, а законодательство различается в зависимости от страны.*

## Почему люди считают, что скрапинг — это хакинг?

Путаница в основном связана с терминологией. И то, и другое предполагает использование автоматизированных скриптов, и то, и другое происходит в больших масштабах, и то, и другое фигурирует в заголовках новостей о «ботах». Закон США о компьютерном мошенничестве и злоупотреблении (CFAA), принятый в 1986 году, квалифицировал как преступление доступ к компьютеру «без разрешения» или «превышение разрешённого доступа». На протяжении многих лет веб-сайты утверждали, что нарушение их условий предоставления услуг считается превышением разрешённого доступа.

Если бы такая интерпретация сохранилась, многие обычные действия стали бы федеральным преступлением. Использование рабочего компьютера для проверки спортивных результатов. Создание второго аккаунта в нарушение правил сайта. Отправка автоматического запроса на страницу, в отношении которой сайт запрещает автоматизацию. На протяжении многих лет суды расходились во мнениях относительно сферы действия данного закона.

Таким образом, этот миф не является абсурдным. Он возник в результате реальной юридической борьбы, сфера применения которой значительно сузилась с 2021 года, хотя некоторые вопросы по-прежнему остаются открытыми, а ключевое решение по апелляции имеет обязательную силу только для Девятого окружного апелляционного суда.

## Какое решение вынес Верховный суд по делу «Ван Бюрен»?

В июне 2021 года в деле *Ван Бюрен против Соединённых Штатов* Верховный суд соотношением голосов 6 к 3 постановил, что понятие «превышение разрешённого доступа» охватывает вход в те части компьютерной системы, доступ к которым вам запрещён, а не неправомерное использование информации, которую вам уже было разрешено просматривать ([Решение Верховного суда](https://www.supremecourt.gov/opinions/20pdf/19-783_k53l.pdf), 2021). Суд охарактеризовал это как проверку по принципу «открыты ли ворота или закрыты».

Сама формулировка вопроса играет ключевую роль. Вопрос заключается не в том, «нарушили ли вы правило, установленное сайтом?», а в том, «были ли ворота открыты для вас?». Страница входа в систему — это ворота. Пароль — это ворота. Страница, которую любой может загрузить в браузере, таковыми не является.

<!-- [УНИКАЛЬНОЕ МНЕНИЕ] -->
Обратите внимание, что это означает на практике. Начиная с дела *Van Buren*, суды рассматривают аутентификацию — вход в систему или пароль — как наиболее яркий пример закрытых ворот. В сноске Верховный суд оставил открытым вопрос о том, могут ли одни лишь условия договора или политики закрыть такие ворота. Тем не менее на вопрос «Существует ли между мной и этими данными вход в систему?» большинство инженерных команд действительно могут ответить, чего не скажешь о большинстве условий предоставления услуг.

## Дело «hiQ против LinkedIn»: публичные страницы не имеют «ворот»

Компания hiQ Labs собирала публичные профили в LinkedIn для проведения аналитики трудовых ресурсов, в ответ на что LinkedIn направила письмо с требованием прекратить такие действия. После дела *Van Buren* Верховный суд вернул дело на повторное рассмотрение. В апреле 2022 года Девятый окружной апелляционный суд постановил, что когда сайт делает данные общедоступными, «этот компьютер изначально не установил никаких барьеров, которые можно было бы поднимать или опускать» ([Решение Девятого окружного апелляционного суда](https://cdn.ca9.uscourts.gov/datastore/opinions/2022/04/18/17-16783.pdf), 2022).

Говоря проще, чтение общедоступных страниц — даже с помощью автоматизированных инструментов и даже после получения требования прекратить такую деятельность — вряд ли могло считаться нарушением Закона о компьютерном мошенничестве и злоупотреблении (CFAA). Именно это постановление обычно приводят в качестве аргумента.

И именно на этом этапе история, как правило, обрывается.

## Почему компания hiQ всё же выплатила компенсацию LinkedIn: договор и поведение

Дело в том, что компания hiQ проиграла не из-за взлома. Она проиграла из-за нарушения договорных обязательств и неправомерного поведения. В ноябре 2022 года окружной суд установил, что компания hiQ нарушила Пользовательское соглашение LinkedIn, в том числе потому, что подрядчики, работавшие на hiQ, создавали фальшивые профили в LinkedIn. В декабре 2022 года стороны подали проект согласованного судебного решения, который предусматривал взыскание с hiQ 500 000 долларов и обязывал компанию удалить хранящиеся у неё данные LinkedIn ([реестр дел окружного суда](https://www.courtlistener.com/docket/6071320/hiq-labs-inc-v-linkedin-corporation/), 2022; [National Law Review](https://natlawreview.com/article/hiq-and-linkedin-reach-proposed-settlement-landmark-scraping-case), 2022 г.; [Morgan Lewis](https://www.morganlewis.com/blogs/sourcingatmorganlewis/2022/12/linkedin-v-hiq-landmark-data-scraping-suit-provides-guidance-to-data-scrapers-and-web-operators), 2022 г.).

Вот урок, который упускают из виду в большинстве кратких обзоров. Проблемой стали фальшивые учетные записи, а также тот факт, что компания hiQ сама согласилась с Пользовательским соглашением LinkedIn. Как только вы создаете учетную запись, вы принимаете условия. Создайте ее под вымышленной личностью — и вы как будто прошли через ворота с ключом, который сами придумали.

## Имеет ли значение, авторизованы ли вы в системе?

Да, и дело 2024 года наглядно это продемонстрировало. В январе 2024 года в деле *Meta против Bright Data* судья Эдвард Чен из Северного округа Калифорнии вынес решение в пользу Bright Data в порядке упрощённого судебного разбирательства. Он установил, что условия использования Facebook и Instagram не запрещают сбор общедоступных данных в режиме выхода из системы ([постановление суда](https://www.courthousenews.com/wp-content/uploads/2024/01/meta-platforms-v-bright-data-ruling-motion-for-summary-judgment.pdf), 2024 г.; [уведомление для клиентов Quinn Emanuel](https://www.quinnemanuel.com/the-firm/news-events/client-alert-meta-v-bright-data-significant-decision-for-web-scraping-industry/), 2024 г.).

Суд обосновал своё решение тем, что посетитель, вышедший из системы, не действует в качестве «пользователя», на которого распространяются данные условия. Кроме того, суд отклонил толкование Meta, согласно которому условия компании навсегда запрещают сбор общедоступных данных, даже после закрытия учётной записи.

Если сравнить эти три дела, вырисовывается чёткая закономерность:

| Ситуация | Риск «взлома» по закону CFAA | Контрактный риск |
|-----------|--------------------|---------------|
| Просмотр общедоступных страниц без входа в систему | Низкий после дел *Van Buren* и *hiQ* | Ниже: один суд постановил, что условия Meta не распространяются на эту ситуацию |
| Просмотр страниц после входа в систему | Зависит от того, что разрешено вашей учётной записью | Выше: вы согласились с условиями |
| Использование поддельных учетных записей для доступа за пределы личного кабинета | Более высокий | Высокий, как показало дело hiQ |
| Обход пароля или технического барьера | Высокий: это закрытые ворота | Высокий |

## Итак, каковы же реальные правила извлечения общедоступных данных?

Законодательство о хакерстве — в основном не тот подход. Правила, которые на самом деле определяют работу с веб-данными, — это договоры (согласились ли вы с условиями?), авторское право (что вы делаете с контентом?) и законодательство о конфиденциальности, такое как GDPR ЕС (позволяют ли данные идентифицировать людей?). Сбор персональных данных с общедоступной страницы по-прежнему может повлечь за собой обязательства по обеспечению конфиденциальности, даже если сам доступ не был незаконным.

Практический контрольный список для команд:

1. **Оставайтесь выходом из системы**, если у вас нет четкого права использовать учетную запись для этой цели.
2. **Никогда не создавайте фальшивые учетные записи** для доступа к данным. Именно это поведение стало основной причиной убытков компании hiQ.
3. **Не обходите технические барьеры.** Страница входа в систему или пароль — это закрытые ворота.
4. **Проверяйте, что именно вы собираете.** Персональные данные влекут за собой обязательства по обеспечению конфиденциальности.
5. **Проверяйте, как вы используете эти данные.** Перепубликация контента, защищённого авторским правом, поднимает вопросы, отличные от тех, которые возникают при его прочтении.
6. **Ознакомьтесь с файлом robots.txt и поддерживайте разумный объём запросов.** Файл robots.txt не является барьером в соответствии с CFAA, однако владельцы сайтов рассматривают его игнорирование или перегрузку сайта как признак недобросовестности. Не наносите ущерб сайту, с которого вы извлекаете информацию.

<!-- [УНИКАЛЬНЫЙ ВЗГЛЯД] -->
Команды, которые избегают проблем, как правило, фиксируют свои правила в письменной форме ещё до начала разработки: какие данные они собирают, зачем и чего они никогда не будут делать для их получения. Лучшие из них идут ещё дальше и размещают эти правила там, где скрипт не сможет их игнорировать. Например, список «ни в коем случае не трогать», хранящийся на уровне прокси-сервера, сразу же блокирует запрос, вместо того чтобы полагаться на то, что каждый инженер запомнит страницу вики.

О том, как именно эти вопросы проявляются в спорах, связанных с обучением ИИ, см. [судебные иски по поводу данных для обучения ИИ, о которых должна знать каждая команда, работающая с веб-данными](https://www.joinmassive.com/blog/ai-training-data-lawsuits-web-scrapers). Чтобы ознакомиться с ещё одним мифом, рассмотренным в этой серии, прочтите статью [почему большее количество IP-адресов не делает прокси-сеть лучше](https://www.joinmassive.com/blog/myth-more-ips-better-proxy-network).

## Сеть, которую вы используете, также является частью обеспечения соответствия нормативным требованиям

То, как вы получаете доступ к общедоступным страницам, также является частью вашей политики обеспечения соответствия нормативным требованиям. Сеть, построенная на основе угнанных устройств, создаёт проблему, которую вы не создавали. Сеть Massive состоит из реальных потребительских устройств, владельцы которых дали согласие на участие через SDK Massive, а компания Massive прошла аудит SOC 2 Типа I; аудит Типа II находится в процессе проведения — информация об обоих аудитах представлена в [Центре доверия Massive](https://trust.joinmassive.com). Список вопросов, которые следует задать любому поставщику, см. в статье [SOC 2 и GDPR: что спросить у поставщика прокси-сервисов для частных пользователей](https://www.joinmassive.com/blog/proxy-vendor-compliance-soc2-gdpr).

Доступ по-прежнему имеет ограничения. Massive блокирует определённые категории контента на сетевом уровне для всех учётных записей, и каждая учётная запись Residential может добавить до 1 000 доменов в свой собственный [список заблокированных доменов](https://docs.joinmassive.com/residential/domain-blocking). Заблокированный запрос возвращается с кодом `452 Disallowed Content`, а не проходит. Подробная информация о том, как работает система «opt-in», приведена в статье [«Как работает сеть Massive с системой opt-in»](https://www.joinmassive.com/blog/how-massives-opt-in-network-works).

## Часто задаваемые вопросы

### Является ли веб-скрейпинг незаконным в США?

Сбор общедоступных страниц, как правило, не является преступлением в соответствии с Законом о компьютерном мошенничестве и злоупотреблении (CFAA), по крайней мере в Девятом окружном судебном округе, после дела *Van Buren* (2021 г.) и решения Девятого окружного суда по делу *hiQ v. LinkedIn* от 2022 года. Тем не менее, в зависимости от способа доступа к данным и того, как вы их используете, могут применяться нормы договорного права, авторского права и законодательства о конфиденциальности.

### Что означает термин «gates-up-or-down»?

Это критерий, установленный Верховным судом в 2021 году в деле *Van Buren*. Вы превышаете рамки разрешённого доступа в соответствии с Законом о компьютерном мошенничестве и злоупотреблении (CFAA), если проникаете в те части системы, которые для вас закрыты, например, в области, доступ к которым требует входа в систему, права на который у вас нет. Неправомерное использование информации, которая вам и так была доступна, к этому не относится.

### Почему компания hiQ проиграла, если сбор общедоступных данных не является взломом?

В ноябре 2022 года суд признал, что компания hiQ нарушила Пользовательское соглашение LinkedIn, в том числе путем создания поддельных профилей своими подрядчиками. Предложенное в декабре 2022 года согласительное решение предусматривало штраф в размере 500 000 долларов в отношении hiQ. Причиной проигрыша стали нарушение договорных обязательств и неправомерное поведение, а не просмотр общедоступных страниц.

### Применяется ли GDPR к общедоступным веб-данным?

Может применяться. GDPR распространяется на персональные данные независимо от того, являются ли они общедоступными, и может затрагивать компании за пределами ЕС, которые отслеживают лиц, находящихся на территории ЕС. Команды, собирающие имена, профили или контактные данные, должны иметь законное основание и план по минимизации данных.

## Вывод

- Взлом означает проникновение через закрытые ворота. Сбор данных с общедоступной страницы — нет.
- В деле *Van Buren* (2021 г.) был установлен «тест на ворота», и Девятый окружной апелляционный суд применил его к общедоступным страницам в деле *hiQ* (2022 г.).
- Компания *hiQ* всё же проиграла дело из-за поддельных учетных записей и условий договора.
- Дело *Meta v. Bright Data* (2024) продемонстрировало, что сбор данных при выходе из системы находится в ином правовом поле, чем использование данных при входе в систему.
- Настоящими правилами являются договор, авторское право и конфиденциальность. Учитывайте их в своих планах.

## Источники

- Верховный суд Соединённых Штатов, [*Van Buren v. United States*, № 19-783 (2021)](https://www.supremecourt.gov/opinions/20pdf/19-783_k53l.pdf)
- Апелляционный суд США по девятому округу, [*hiQ Labs, Inc. против LinkedIn Corp.*, № 17-16783 (18 апреля 2022 г.)](https://cdn.ca9.uscourts.gov/datastore/opinions/2022/04/18/17-16783.pdf)
- National Law Review, [«hiQ и LinkedIn достигли предварительного соглашения по знаковому делу о скрапинге»](https://natlawreview.com/article/hiq-and-linkedin-reach-proposed-settlement-landmark-scraping-case) (2022 г.)
- Morgan Lewis, [«LinkedIn против hiQ: знаковое судебное разбирательство по делу о сборе данных служит ориентиром»](https://www.morganlewis.com/blogs/sourcingatmorganlewis/2022/12/linkedin-v-hiq-landmark-data-scraping-suit-provides-guidance-to-data-scrapers-and-web-operators) (2022 г.)
- Окружной суд США Северного округа Калифорнии, [*hiQ Labs, Inc. против LinkedIn Corp.*, № 3:17-cv-03301-EMC, постановление по взаимным ходатайствам о вынесении решения в упрощённом порядке (4 ноября 2022 г.)](https://www.courtlistener.com/docket/6071320/hiq-labs-inc-v-linkedin-corporation/)
- Окружной суд США по Северному округу Калифорнии, [*Meta Platforms, Inc. против Bright Data Ltd.*, № 3:23-cv-00077-EMC, постановление об удовлетворении ходатайства компании Bright Data о вынесении решения в упрощённом порядке (23 января 2024 г.)](https://www.courthousenews.com/wp-content/uploads/2024/01/meta-platforms-v-bright-data-ruling-motion-for-summary-judgment.pdf)
- Quinn Emanuel, [«Meta против Bright Data: важное решение для отрасли веб-парсинга»](https://www.quinnemanuel.com/the-firm/news-events/client-alert-meta-v-bright-data-significant-decision-for-web-scraping-industry/) (2024 г.)