Развенчание мифов: «скрейпинг» и «хакинг» — это не одно и то же

«Разве это, по сути, не взлом?» — это один из самых распространённых вопросов, которые задают всем, кто занимается скрапингом веб-страниц в больших объёмах. Честный ответ — нет. Взлом означает проникновение в систему, доступ к которой вам запрещён. Загрузка общедоступной веб-страницы — это чтение информации, которую сайт и так предоставляет любому пользователю с браузером. За последние пять лет Верховный суд США и Апелляционный суд девятого округа провели эту грань в реальных судебных делах. Однако «не хакинг» не означает «отсутствие правил», и те же дела показывают, где пролегают реальные границы.

Основные выводы

• В 2021 году Верховный суд США рассмотрел федеральный закон о борьбе с хакерством (CFAA) как вопрос типа «открыты ворота или закрыты»: разрешен ли вам доступ к данной части системы или нет (Дело «Ван Бюрен против Соединённых Штатов», 2021 г.).
• В 2022 году Девятый окружной апелляционный суд постановил, что страницы, открытые для общего доступа, «не имеют никаких ограничений», поэтому их просмотр, вероятно, не является доступом «без разрешения» (Дело «hiQ против LinkedIn», 2022 г.).
• Действию по-прежнему подлежат договоры, положения о фальшивых аккаунтах, авторское право и законодательство о защите персональных данных. Именно эти аспекты определяют исход судебных дел, связанных с данными в Интернете.

В данной публикации дается объяснение открытых судебных решений для широкой аудитории. Это не является юридической консультацией, а законодательство различается в зависимости от страны.

Почему люди считают, что скрапинг — это хакинг?

Путаница в основном связана с терминологией. И то, и другое предполагает использование автоматизированных скриптов, и то, и другое происходит в широких масштабах, и то, и другое фигурирует в заголовках новостей о «ботах». Закон США о компьютерном мошенничестве и злоупотреблении (CFAA), принятый в 1986 году, квалифицировал как преступление доступ к компьютеру «без разрешения» или «превышение разрешённых прав доступа». На протяжении многих лет веб-сайты утверждали, что нарушение их условий предоставления услуг считается превышением разрешённых прав доступа.

Если бы такое толкование осталось в силе, многие обычные действия стали бы федеральным преступлением. Использование служебного компьютера для проверки спортивных результатов. Создание второго аккаунта в нарушение правил сайта. Отправка автоматического запроса на страницу, в отношении которой сайт запретил автоматизацию. На протяжении многих лет суды расходились во мнениях относительно сферы применения данного закона.

Таким образом, этот миф не является абсурдным. Он возник на основе реального судебного спора, который с 2021 года значительно сузился, хотя некоторые вопросы по-прежнему остаются открытыми, а ключевое решение апелляционного суда имеет обязательную силу только для Девятого окружного апелляционного суда.

Какое решение вынес Верховный суд по делу «Ван Бюрен»?

В июне 2021 года в Дело «Ван Бюрен против Соединённых Штатов», Верховный суд постановил соотношением голосов 6 к 3, что понятие «превышение полномочий при доступе» охватывает вход в те части компьютерной системы, доступ к которым вам запрещен, а не неправомерное использование информации, которую вам уже было разрешено просматривать (Постановление Верховного суда, 2021 г.). Суд охарактеризовал это как расследование по принципу «открыты ворота или закрыты».

Основную роль здесь играет контекст. Вопрос заключается не в том, «нарушили ли вы правило, установленное сайтом?», а в том, «были ли для вас ворота открыты?». Страница входа в систему — это ворота. Пароль — это ворота. А страница, которую любой может загрузить в браузере, — нет.

Обратите внимание, что это означает на практике. Поскольку Ван Бюрен, суды рассматривали аутентификацию — вход в систему или пароль — как наиболее наглядный пример «закрытых ворот». Верховный суд, однако, в сноске оставил открытым вопрос о том, могут ли одни лишь условия договора или политики компании создавать такие «закрытые ворота». Тем не менее на вопрос «Существует ли логин между мной и этими данными?» большинство инженерных команд действительно могут ответить, чего не скажешь о большинстве условий предоставления услуг.

hiQ против LinkedIn: публичные страницы не имеют ограничений доступа

Компания hiQ Labs собирала общедоступные профили в LinkedIn для проведения аналитики кадрового состава, в результате чего LinkedIn направила ей письмо с требованием прекратить такие действия. После Ван Бюрен, Верховный суд вернул дело на рассмотрение нижестоящей инстанции. В апреле 2022 года Девятый окружной апелляционный суд постановил, что когда сайт предоставляет данные в открытый доступ, «этот компьютер изначально не устанавливал никаких шлагбаумов, которые можно было бы поднимать или опускать» (Решение Девятого окружного апелляционного суда, 2022 г.).

Говоря проще, просмотр общедоступных страниц — даже с использованием автоматизированных инструментов и даже после получения требования прекратить такую деятельность — вряд ли мог бы считаться нарушением Закона о компьютерном мошенничестве и злоупотреблении (CFAA). Именно на это постановление обычно ссылаются.

Именно на этом месте рассказ, как правило, обрывается.

Почему компания hiQ по-прежнему выплачивала деньги LinkedIn: договор и поведение

Дело в том, что компания hiQ проиграла не из-за хакерской атаки. Она проиграла из-за нарушения условий договора и ненадлежащего поведения. В ноябре 2022 года окружной суд признал, что компания hiQ нарушила Пользовательское соглашение LinkedIn, в том числе из-за того, что подрядчики, работавшие на hiQ, создавали поддельные профили в LinkedIn. В декабре 2022 года стороны подали проект согласованного судебного решения, которое предусматривало взыскание с hiQ 500 000 долларов и обязывало компанию удалить хранящиеся у неё данные LinkedIn (реестр дел районного суда, 2022 г.; «Национальный юридический обзор», 2022 г.; Morgan Lewis, 2022 г.).

Вот в чём заключается главный урок, который упускают из виду большинство обзоров. Проблемой стали именно фальшивые учётные записи, а также тот факт, что сама компания hiQ согласилась с Пользовательским соглашением LinkedIn. Как только вы создаёте учётную запись, вы принимаете эти условия. Создав учётную запись под вымышленной личностью, вы как бы прошли через ворота с ключом, который сами придумали.

Имеет ли значение, вошли ли вы в систему?

Да, и дело 2024 года наглядно это продемонстрировало. В январе 2024 года в Дело «Meta против Bright Data», судья Эдвард Чен из Северного округа Калифорнии вынес решение в пользу компании Bright Data в порядке упрощённого судебного разбирательства. Он постановил, что условия использования Facebook и Instagram не запрещают сбор общедоступных данных в режиме выхода из системы (постановление суда, 2024 г.; Уведомление для клиентов фирмы «Quinn Emanuel», 2024 г.).

Суд обосновал своё решение тем, что посетитель, не вошедший в систему, не действует в качестве «пользователя», на которого распространяются данные условия. Кроме того, суд отклонил толкование компании Meta, согласно которому её условия навсегда запрещают сбор публичных данных, даже после закрытия учетной записи.

Если расположить эти три случая рядом, становится заметна простая закономерность:

Итак, каковы же на самом деле правила получения открытых данных?

Рассматривать хакерство через призму законодательства — в большинстве случаев неверный подход. Правила, которые на самом деле определяют работу с данными в Интернете, — это договоры (согласились ли вы с условиями?), авторское право (как вы используете контент?) и законодательство о конфиденциальности, такое как Общий регламент по защите данных (GDPR) ЕС (позволяют ли данные идентифицировать людей?). Сбор персональных данных с общедоступной страницы по-прежнему может повлечь за собой обязательства по обеспечению конфиденциальности, даже если доступ к ним не был незаконным.

Практичный контрольный список для команд:

1. Остаться без входа в систему если только у вас нет четкого права на использование учетной записи в этих целях.
2. Ни в коем случае не создавайте фальшивые аккаунты для получения доступа к данным. Данные действия сыграли ключевую роль в возникновении убытков компании hiQ.
3. Не обходите технические барьеры. Страница входа в систему или пароль — это закрытые ворота.
4. Проверьте, что именно вы собираете. Обработка персональных данных влечет за собой обязательства по обеспечению конфиденциальности.
5. Проверьте, как вы с этим поступаете. Перепубликация материалов, защищенных авторским правом, поднимает вопросы, отличные от тех, которые возникают при их чтении.
6. Прочитайте файл robots.txt и обеспечьте разумный объем запросов. Файл robots.txt не является барьером в соответствии с Законом о компьютерных мошенничестве и злоупотреблениях (CFAA), однако владельцы сайтов рассматривают его игнорирование или чрезмерное сканирование сайта как признак недобросовестности. Пожалуйста, не наносите ущерб сайту, который вы просматриваете.

Команды, которые избегают проблем, как правило, фиксируют свои правила в письменной форме ещё до начала разработки: какие данные они собирают, зачем и чего они никогда не будут делать для их получения. Лучшие из них идут ещё дальше и размещают эти правила там, где скрипт не сможет их игнорировать. Например, список «ни в коем случае не трогать», хранящийся в прокси-слое, сразу же блокирует запрос, вместо того чтобы полагаться на то, что каждый инженер запомнит страницу вики.

О том, как именно эти вопросы находят своё отражение в спорах, связанных с обучением ИИ, см. Судебные иски, связанные с данными для обучения ИИ, о которых должна знать каждая команда, занимающаяся веб-данными. Чтобы ознакомиться с ещё одним мифом, который рассматривается в этой серии, прочитайте почему увеличение количества IP-адресов не приводит к улучшению прокси-сети.

Сеть, которой вы пользуетесь, также является частью обеспечения соответствия требованиям

Способ доступа к общедоступным страницам также является частью вашей политики обеспечения соответствия нормативным требованиям. Сеть, построенная на основе взломанных устройств, создаёт проблему, к возникновению которой вы не имеете отношения. Сеть Massive состоит из реальных потребительских устройств, владельцы которых дали согласие на участие через SDK Massive, и компания Massive прошла аудит SOC 2 Типа I, а аудит Типа 2 находится в стадии проведения; оба результата указаны на сайте Центр поддержки Massive. Список вопросов, которые следует задать любому поставщику, см. SOC 2 и GDPR: о чём следует спросить у поставщика прокси-серверов для частных пользователей.

Доступ по-прежнему имеет ограничения. Сервис Massive блокирует определённые категории контента на сетевом уровне для всех учётных записей, при этом каждая учётная запись типа «Residential» может добавить до 1 000 доменов в свой список список заблокированных доменов. Заблокированный запрос возвращается в виде 452 Disallowed Content а не проходить через это. Подробная информация о том, как работает механизм «opt-in», приведена в Как работает сеть Massive с добровольным участием.

Итог

• Хакерство — это способ проникнуть через закрытые ворота. А сбор данных с общедоступной страницы — это не хакерство.
• Ван Бюрен (2021) был установлен критерий «Gates», и Девятый окружной апелляционный суд применил его к общедоступным страницам в hiQ (2022).
• Компания hiQ по-прежнему терпит убытки из-за поддельных счетов и условий контрактов.
• Дело «Meta против Bright Data» (2024) показали, что сбор данных о пользователях, не вошедших в систему, осуществляется иначе, чем сбор данных о пользователях, вошедших в систему.
• Настоящие правила — это договорные обязательства, авторское право и конфиденциальность. Учтите их в своих планах.

Источники

• Верховный суд Соединенных Штатов, Дело «Ван Бюрен против Соединённых Штатов», № 19-783 (2021 г.)
• Апелляционный суд США по девятому округу, Дело «hiQ Labs, Inc. против LinkedIn Corp.», № 17-16783 (18 апреля 2022 г.)
• «National Law Review», «Компании hiQ и LinkedIn достигли предварительной договоренности о урегулировании в знаковом деле о сборе данных» (2022)
• Morgan Lewis, «LinkedIn против hiQ: знаковое судебное дело о сборе данных дает ориентиры» (2022)
• Окружной суд США по Северному округу Калифорнии, Дело «hiQ Labs, Inc. против LinkedIn Corp.», № 3:17-cv-03301-EMC, постановление по взаимным ходатайствам о вынесении решения в порядке упрощённого судопроизводства (4 ноября 2022 г.)
• Окружной суд США по Северному округу Калифорнии, Дело «Meta Platforms, Inc. против Bright Data Ltd.», № 3:23-cv-00077-EMC, постановление об удовлетворении ходатайства компании Bright Data о вынесении решения в порядке упрощённого судебного разбирательства (23 января 2024 г.)
• «Куинн Эмануэл», «Дело „Meta против Bright Data“: важное решение для отрасли веб-парсинга» (2024)