Что такое Common Crawl?

Как работает Common Crawl

Автоматический сканер Common Crawl непрерывно индексирует миллиарды общедоступных веб-страниц и сохраняет результаты в трёх форматах файлов: исходные файлы WARC (полное содержание страниц), файлы WAT (метаданные) и файлы WET (извлечённый текст). Все снимки страниц хранятся в AWS S3 и доступны для бесплатной загрузки. Только в ходе сканирования, проведённого в августе 2025 года, было добавлено около 2,42 миллиарда страниц (Common Crawl (официальный обзор), 2025 г.).

Исследователи и компании используют эти выдержки для создания обучающих наборов данных, поисковых индексов и корпусов языковых моделей. Благодаря масштабности и отсутствию затрат этот ресурс стал стандартной отправной точкой для обучения ИИ. По оценкам, более 80 % токенов, использованных для обучения GPT-3, были получены из Common Crawl, и большинство крупных языковых моделей, проанализированных в период с 2019 по 2023 год, были обучены на этом наборе данных (Фонд Mozilla, «Обучающие данные за цену сэндвича», 2024 г.).

Ограничения: устаревание данных и качество данных

Снимки Common Crawl обновляются ежемесячно, однако даже в результатах сканирования, полученных месяц назад, могут отсутствовать последние новости, изменения цен, недавно опубликованные исследования или контент, доступный только после входа в систему. Кроме того, сканер фиксирует статический HTML-код, поэтому страницы с большим количеством JavaScript часто возвращают неполные или пустые ответы.

Второй проблемой является качество. Корпус содержит огромное количество дубликатов контента, спама и страниц низкого качества. Большинство конвейеров обучения больших языковых моделей (LLM) перед использованием проходят несколько этапов тщательной фильтрации и удаления дубликатов, что увеличивает инженерные затраты и, тем не менее, оставляет остаточный шум в окончательном обучающем наборе.

• Предварительное обучение модели LLM: Common Crawl предоставляет обширный текстовый массив, на котором основаны большинство крупных языковых моделей, охватывающий различные языки, темы и стили изложения.
• Научные исследования: Исследователи используют его для изучения структуры Интернета, распространения языков и тенденций в контенте, не запуская при этом собственных роботов-пауков.
• Инициализация индекса поиска: Новые поисковые системы используют Common Crawl в качестве исходной базы, а затем дополняют его более свежими данными сканирования.
• Устранение пробелов в свежести: Команды, которым требуются актуальные данные о страницах, цены в режиме реального времени или отрендеренный контент, часто сочетают статические данные Common Crawl с инструментами доступа к данным в режиме реального времени. Web Render API от Massive позволяет получать отрендеренную страницу в режиме реального времени из любого источника, устраняя пробелы в актуальности, которые не может покрыть ежемесячный снэпшот.