Масштабная очистка веб-страниц требует надежного управления прокси-серверами и надежных IP-адресов. В этом руководстве вы узнаете, как интегрировать Scrapoxy с резидентными прокси-серверами премиум-класса Massive, чтобы упростить управление прокси-серверами, ротацию IP-адресов и предотвращение банов. Эта интеграция сделает ваши операции по очистке веб-страниц более эффективными и масштабируемыми.

Что такое Scrapoxy?

Scrapoxy — это агрегатор прокси с открытым исходным кодом, который централизует управление прокси-серверами в едином интерфейсе. Он выступает в качестве унифицированной конечной точки для операций очистки веб-страниц, устраняя сложность независимой обработки нескольких прокси-сервисов.

Основные характеристики Scrapoxy

1. Единая панель управления: Управляйте всеми прокси через единую панель управления
2. Умное распределение трафика: Автоматическая ротация прокси и интеллектуальная маршрутизация запросов
3. Снижение затрат: Динамическое масштабирование прокси-серверов, позволяющее сократить расходы до 80%
4. Расширенное предотвращение запретов: Автоматическое обнаружение и удаление заблокированных IP-адресов
5. Поддержка нескольких провайдеров: Совместимо с резидентными прокси-серверами, прокси-серверами для центров обработки данных и мобильных устройств

Для получения дополнительной информации ознакомьтесь с официальная документация Scrapoxy.

Зачем использовать массивные прокси со Scrapoxy?

Интеграция интеллектуального управления прокси-серверами Scrapoxy с высокопроизводительными резидентными прокси-серверами Massive создает надежную инфраструктуру очистки. Вот почему:

• Этичные высокопроизводительные прокси: 100% домашних IP-адресов, полученных из этичных источников, в более чем 195 местах.
• Надежность и скорость: Коэффициент успеха 99,8%, время отклика <0,8 с и время безотказной работы 99,9%.
• Расширенный таргетинг: Фильтруйте по стране, штату, городу, ASN и почтовому индексу.
• Бесшовная автоматизация: Поддерживает фиксированные и чередующиеся сессии, статистику в реальном времени и неограниченное количество тем.
• Гибкость а также Охрана: Он поддерживает HTTP (S) и SOCKS5, совместим с GDPR/CCPA и прост в интеграции.
• Доступная и масштабируемая: Цены начинаются с 4,49 долларов США за ГБ с неограниченным количеством параллельных сеансов. Свяжитесь с нашим отделом продаж для получения скидки свыше 1 ТБ в месяц.

Как настроить массивные прокси с помощью Scrapoxy

Выполните следующие действия, чтобы легко настроить все.

Шаг 1. Получите массивные резидентные прокси

1. Подпишитесь на массовые прокси: Если вы новичок в Massive, зарегистрируйте аккаунт. Выберите план, соответствующий вашим потребностям.
2. Получите доступ к учетным данным прокси-сервера: После регистрации перейдите на Массивная панель управления для получения учетных данных прокси-сервера (имя пользователя и пароль). Сохраните эти учетные данные для конфигурации Scrapoxy.

Шаг 2. Установите Scrapoxy

Предварительные требования: установка Рабочий стол Docker

1. Запустите рабочий стол Docker
2. Выполните следующую команду в терминале (замените значения-заполнители):
   

docker run -d -p 8888:8888 -p 8890:8890 -v ./scrapoxy:/cfg -e AUTH_LOCAL_USERNAME=admin -e AUTH_LOCAL_PASSWORD=password -e BACKEND_JWT_SECRET=secret1 -e FRONTEND_JWT_SECRET=secret2 -e STORAGE_FILE_FILENAME=/cfg/scrapoxy.json scrapoxy/scrapoxy

3. Получите доступ к пользовательскому интерфейсу Scrapoxy: Перейдите к http://localhost:8890 и войдите в систему, используя имя пользователя и пароль, указанные в приведенной выше команде.

Шаг 3. Создайте новый проект в Scrapoxy

После входа в систему вам будет предложено создать новый проект. Выполните следующие шаги:

1. Назовите свой проект: Присвойте проекту собственное имя.
2. Установите минимальное количество прокси: Определите минимальное количество прокси-серверов, которые будут оставаться в сети, когда проект находится в статусе CALM.
3. Включите автоматическую ротацию прокси: Задайте диапазон задержки для автоматической ротации прокси.
4. Включите автоматическое масштабирование вверх/вниз: Автоматически регулирует количество активных прокси в зависимости от спроса.
5. Настройте дополнительные параметры: Включите такие функции, как MITM для HTTPS, липкое печенье, Переопределение пользовательского агента, и Перетасовка шифров TLS чтобы улучшить настройку очистки.
6. Создайте проект: Нажмите Создайте для завершения настройки.

Шаг 4. Настройте массивный разъем

1. Выберите Massive на торговой площадке: В интерфейсе Scrapoxy найдите и выберите Массивный. Нажмите Создайте для настройки разъема.

2. Введите свои учетные данные Massive (имя пользователя и пароль из шага 1). Нажмите Создайте для сохранения учетных данных.

3. Создайте коннектор: Настройте коннектор со следующими параметрами:

• Учетные данные: Выберите только что созданные учетные данные.
• Имя: Присвойте соединителю собственное имя.
• # Прокси: Определите лимит прокси-серверов в соответствии со своими потребностями.
• Тайм-аут прокси: Укажите, как долго Scrapoxy ожидает повторной попытки использования прокси-сервера.
• Страна: Выберите прокси из определенных мест или разрешите все.
• Нажмите Создайте для доработки разъема.

4. Запустите разъем: Переключите Запустить/остановить этот разъем кнопка для включения разъема.

Шаг 5. Интегрируйте Scrapoxy в свой код

Теперь, когда все настроено, вы можете интегрировать Scrapoxy в свои скрипты очистки. Вот пример использования Python с запросы библиотека:

import requests‍

ca = "scrapoxy-ca.crt"
proxy = "http://username:password@localhost:8888"‍

r = requests.get(
	"https://fingerprint.scrapoxy.io",
	proxies={"http": proxy, "https": proxy},
	verify=ca

)‍

print("Proxy Instance:", r.headers["x-scrapoxy-proxyname"])
print(r.text)

• Замените свое имя пользователя и пароль учетными данными проекта Scrapoxy (найдите в Настройки вкладка).
• Загрузите сертификат CA с Настройки откройте вкладку в Scrapoxy и поместите ее в тот же каталог, что и ваш скрипт.

Дополнительные примеры интеграции см. на официальная документация Scrapoxy.

Шаг 6. Отслеживайте данные об использовании

Scrapoxy предоставляет подробную информацию об использовании прокси-сервера. Используйте Прокси, Покрытие, и Метрики вкладки для отслеживания активных прокси-серверов, их местоположения, скорости загрузки/выгрузки, количества запросов и статуса.

Подведение итогов

Путем интеграции Скрапокси с Массивные прокси, вы можете создать экономичную и устойчивую к запретам установку для чистки, которая легко масштабируется. Интеллектуальное управление прокси-серверами Scrapoxy в сочетании с высокопроизводительными резидентными прокси-серверами Massive обеспечивает быстрый, надежный и совместимый доступ к Интернету.

Готовы начать? Подпишитесь на Massive Proxies сегодня 🚀

Следующие шаги

1. У вас есть вопросы? Свяжитесь с нами по адресу support@joinmassive.com или же отправить билет.
2. Узнайте больше о массивных прокси — Ознакомьтесь с нашими простыми в использовании документация чтобы получить максимальную отдачу от настройки прокси-сервера.
3. Интересуетесь ценами, бесплатными пробными версиями или индивидуальными решениями? Заполните наш Форма бесплатной пробной версии для начала.‍
4. Хотите глубже изучить Scrapoxy? Посетите Официальная документация Scrapoxy для расширенной настройки и функций.