¿Qué es un encabezado HTTP?

Cuando se redirige el tráfico a través de un servicio proxy, los encabezados HTTP se convierten en el equipo invisible que gestiona su conexión. Cada solicitud que realiza su aplicación pasa por la infraestructura del proxy, y son los encabezados los que hacen que ese recorrido sea posible y seguro.

Piense en los encabezados como el manual de instrucciones que acompaña a cada dato que circula por Internet. Cuando su rastreador, bot o aplicación envía una solicitud a través de proxies, no se limita a enviar la URL a la que desea acceder. También envía información contextual: tokens de autenticación que demuestran que es usted un usuario autorizado, cadenas de User-Agent que hacen que sus solicitudes parezcan legítimas y detalles técnicos sobre el tipo de respuesta que espera recibir.

En lo que respecta al servidor proxy, los encabezados desempeñan un papel aún más importante. Contienen información sobre qué servidor proxy ha gestionado su solicitud, si el contenido procedía de la caché o del servidor de origen, y qué ruta siguió su tráfico a través de la red. Los encabezados como «X-Forwarded-For» conservan su dirección IP original (o la ocultan, según la configuración), mientras que los encabezados «Via» indican que su solicitud pasó por una infraestructura de proxy.

Para los clientes que realizan web scraping, los encabezados son especialmente importantes. Los sitios web de destino utilizan los encabezados para detectar bots y programas de scraping: analizan su «User-Agent» para comprobar si realmente se trata de un navegador, revisan los encabezados «Accept» para ver si solicita contenido como lo haría un visitante real y examinan docenas de otros patrones de encabezados. Los proxies residenciales y de centros de datos le ayudan a enviar los encabezados adecuados para pasar desapercibido, pero comprender la función de estos encabezados le permite ajustar con precisión sus operaciones de scraping.

Los encabezados también controlan la autenticación con los servicios de proxy. Su clave de API o token de autenticación se transmite en un encabezado «Authorization» (o, en ocasiones, en un encabezado personalizado como «Proxy-Authorization»). Así es como la infraestructura de proxy sabe a qué cuenta debe facturar, qué conjunto de servidores proxy a las que tiene acceso y qué límites de frecuencia se aplican a sus solicitudes. Si introduce los encabezados de forma incorrecta, sus solicitudes no se autenticarán. Si los introduce correctamente, dispondrá de un acceso sin interrupciones a redes de proxy globales.

‍

Encabezados esenciales para los usuarios de proxy

Encabezados de autenticación y autorización

Autorización de proxy: Así es como se hace autenticar con servicios de proxy. Incluye sus credenciales (nombre de usuario y contraseña o token de API) en un formato similar a Codificación básica en base64 (nombre de usuario:contraseña). Toda solicitud que se realice a través de un proxy debe incluir un encabezado «Proxy-Authorization» válido; de lo contrario, será rechazada. Esto es independiente del encabezado «Authorization», que sirve para autenticarse en el sitio web de destino.

Autorización: Se utiliza para autenticarse en el sitio web de destino al que se accede a través de proxies. Este encabezado atraviesa la infraestructura de proxy sin sufrir modificaciones y llega al servidor de destino. Es habitual en el scraping de API, donde es necesario acceder a recursos autenticados puntos finales—Los servidores proxy se encargan de la conexión, mientras que su encabezado «Authorization» se encarga de la autenticación del sitio de destino.

Enrutamiento por proxy y encabezados de identificación

X-Forwarded-For: Registra la cadena de direcciones IP que han gestionado una solicitud. Cuando se utilizan servidores proxy, este encabezado puede contener su dirección IP original, la del proxy o estar configurado para mostrar únicamente la dirección IP que usted desea que vea el sitio de destino. Los servicios de proxy ofrecen configuraciones en las que este encabezado se elimina (para lograr el máximo anonimato) o se conserva (cuando se necesita una geolocalización precisa). Comprender el encabezado X-Forwarded-For es fundamental para depurar por qué los sitios de destino podrían estar viendo determinadas direcciones IP.

X-Real-IP: Una alternativa más sencilla al encabezado «X-Forwarded-For» que contiene únicamente una dirección IP. Algunas configuraciones lo utilizan para transmitir su dirección IP original al servidor de destino, mientras que otras lo emplean internamente en la infraestructura de proxy con fines de enrutamiento y análisis. Puede configurar si este encabezado se envía a los sitios de destino o si se mantiene de forma interna.

A través de: Los servidores proxy lo añaden automáticamente para indicar que la solicitud ha pasado por un proxy. Este encabezado revela que se ha utilizado un proxy, por lo que algunas configuraciones de ocultación lo eliminan antes de reenviar las solicitudes. Si observa bloqueos y los encabezados «Via» están presentes, considere la posibilidad de utilizar proxies residenciales con la eliminación del encabezado «Via».

X-Forwarded-Proto: Indica si la solicitud original utilizó HTTP o HTTPS. Es importante cuando los servidores proxy gestionan la rescisión de SSL: aunque su conexión con el proxy pueda ser HTTPS, este encabezado indica al servidor de destino qué protocolo pretendía utilizar originalmente. De este modo se evitan los bucles de redireccionamiento y los problemas de contenido mixto.

Solicitar encabezados personalizados

User-Agent: El encabezado más analizado en el scraping web. Los sitios web de destino lo comprueban para ver qué navegador o aplicación está realizando las solicitudes. Un User-Agent ausente o sospechoso es una señal de alarma. Los servicios de proxy pueden rotar los User-Agents automáticamente, o bien puede proporcionar otros personalizados. Práctica recomendada: utilice User-Agents que se correspondan con navegadores reales de su mercado objetivo. Extraer datos de Google con un User-Agent de Chrome desde Windows 10 parece normal; utilizar Python-requests/2.28.0 delata claramente que se trata de un «bot».

Accept y Accept-Language: Los navegadores reales envían encabezados «Accept» detallados en los que se enumeran los tipos de contenido que admiten (HTML, imágenes, JSON, etc.) y el encabezado «Accept-Language», que indica los idiomas preferidos. Los rastreadores suelen omitir estos encabezados o utilizan valores genéricos, lo que facilita su detección. Cuando utilice proxies para el rastreo, envíe encabezados «Accept» completos y realistas. Muchos servicios de proxy proporcionan plantillas de encabezados basadas en configuraciones habituales de los navegadores.

Referente: Indica al servidor de destino desde qué página ha llegado. Muchos sitios web comprueban este dato para evitar el «hotlinking» o el acceso directo a determinadas páginas. Al realizar scraping mediante proxies, configurar los encabezados «Referer» adecuados hace que su tráfico parezca una navegación natural. Por ejemplo, si está realizando scraping de páginas de productos, el encabezado «Referer» debería apuntar a la página de la categoría o a los resultados de búsqueda.

Cookie: Esencial para mantener las sesiones al extraer datos de áreas que requieren inicio de sesión o al lidiar con sistemas antibots que se basan en cookies. Los proxies transmiten los encabezados de cookies de forma transparente, pero usted es responsable de gestionar el estado de las cookies en su aplicación de extracción de datos. Consejo de experto: Algunos sistemas antibots le identifican en función de sus patrones de gestión de cookies. Imitar el comportamiento de las cookies del navegador mejora las tasas de éxito.

Encabezados de respuesta de los servicios de proxy

X-Proxy-Cache: Un encabezado personalizado habitual que indica si una respuesta procede de caché o se ha recuperado directamente del destino. Los valores pueden ser HIT (respuesta almacenada en caché), MISS (recuperación directa) o BYPASS (no almacenable en caché). El seguimiento de estos datos le ayuda a comprender el rendimiento y a determinar si está alcanzando los límites de frecuencia debido a solicitudes no almacenadas en caché.

X-Proxy-ID: Identifica qué servidor proxy concreto de la red ha gestionado su solicitud. Resulta útil para la depuración: si detecta problemas con determinadas solicitudes, este encabezado le permite relacionar los problemas con nodos proxy específicos. Puede facilitar esta información a los equipos de asistencia técnica para agilizar la resolución de problemas.

Límite de velocidad restante: Muestra cuántas solicitudes le quedan antes de alcanzar su límite de frecuencia. Los proveedores de servicios de proxy implementan esta función para ayudarle a gestionar el volumen de solicitudes de forma proactiva. Cuando este número se reduce, su aplicación puede ralentizarse o esperar antes de realizar más solicitudes, lo que evita que los fallos graves superen los límites establecidos.

Monitoreo de precios en el comercio electrónico: Cuando seguimiento de los precios de la competencia mediante proxies residenciales, es fundamental utilizar encabezados adecuados. Deberá configurar encabezados «User-Agent» y «Accept-Language» realistas que se adapten al mercado objetivo, utilizar el encabezado «Referer» para simular la navegación desde páginas de categorías y rotar estos encabezados entre las distintas solicitudes para evitar la identificación digital. Las funciones de rotación de encabezados pueden automatizar este proceso, recurriendo a un conjunto de configuraciones de navegador verificadas.

Recopilación de datos de las redes sociales: Plataformas como Instagram y Facebook analizan minuciosamente los encabezados. Necesitará cadenas de User-Agent perfectas, encabezados Accept completos, un Accept-Encoding adecuado (gzip, deflate) y una gestión adecuada de las cookies para mantener las sesiones. Las direcciones IP residenciales, combinadas con encabezados similares a los de un navegador, hacen que su automatización sea indistinguible de la de los usuarios reales. El encabezado Authorization transporta sus tokens de API al acceder a las API oficiales a través de proxies.

Seguimiento del posicionamiento SEO: Cuando comprobar el posicionamiento en los motores de búsqueda Desde diferentes ubicaciones, mediante proxies con segmentación geográfica, los encabezados determinan los resultados que se le muestran. Los encabezados «Accept-Language» deben coincidir con el país de destino, el «User-Agent» debe corresponder a los navegadores habituales de esa región y el «X-Forwarded-For» (si no se ha eliminado) debe coincidir con la dirección IP residencial que esté utilizando. Una discrepancia entre estas señales puede provocar Pruebas CAPTCHA.

Verificación de anuncios: Verificación de la ubicación de los anuncios requiere que sus solicitudes se parezcan exactamente al tráfico del público objetivo. Esto significa que los encabezados «User-Agent» deben corresponder a dispositivos específicos (Safari móvil en un iPhone 13, Chrome en Windows 10), que el encabezado «Accept-Language» debe coincidir con el mercado objetivo y que los encabezados «Do-Not-Track» deben configurarse de acuerdo con el comportamiento típico de los usuarios. Los proxies residenciales proporcionan la dirección IP; usted proporciona el perfil de encabezados que se ajusta a sus criterios de verificación.

Extracción de datos mediante API a gran escala: Al utilizar API de terceros a través de proxies, el encabezado «Authorization» se encarga de la autenticación con la API, mientras que el encabezado «Proxy-Authorization» se encarga de la autenticación con el servicio proxy. También puede utilizar encabezados personalizados, como «X-API-Key», en función de los requisitos de la API de destino. La infraestructura de proxy conserva todos sus encabezados y solo añade los necesarios relacionados con el proxy. Los encabezados de limitación de tasa, tanto de la API como del servicio de proxy, le ayudan a gestionar las solicitudes de forma óptima.

Investigación de mercado y recopilación de datos: Recopilación de datos procedentes de múltiples fuentes requiere estrategias de encabezados diferentes para cada sitio web. Algunos comprueban el encabezado «Referer» de forma rigurosa, otros se centran en el «User-Agent» y muchos verifican que los encabezados «Accept» sean adecuados para el tipo de contenido. Los paneles de gestión de proxies le permiten configurar reglas de encabezados por dominio, de modo que cada destino reciba automáticamente los encabezados adecuados. El encabezado «X-Forwarded-For» puede configurarse por sesión en función de si el destino lo utiliza para la geolocalización o detección de bots.

Incluya siempre la autorización de proxy: Aunque parezca obvio, es la causa principal de los fallos de conexión. Asegúrese de que el encabezado «Proxy-Authorization» tenga el formato adecuado y utilice credenciales vigentes. Si recibe errores 407 («Se requiere autenticación de proxy»), compruebe que este encabezado esté presente y sea correcto. Los paneles de control de los servidores proxy suelen mostrar sus cadenas de autenticación en el formato correcto; cópielas tal cual.

Rotación inteligente de los encabezados de User-Agent: No elija al azar los User-Agents de una lista. Haga coincidir el User-Agent con el dispositivo o navegador que esté simulando en los demás encabezados. Si envía un User-Agent para dispositivos móviles, las dimensiones de su ventana de visualización y los encabezados «Accept» también deben ajustarse a los patrones propios de los dispositivos móviles. Las funciones de rotación de User-Agent mantienen automáticamente la coherencia entre los encabezados relacionados. Nunca envíe User-Agents incompletos o sospechosos, como «Mozilla/4.0» o simplemente «Python».

Utilice conjuntos completos de encabezados: Los navegadores reales envían entre 15 y 20 encabezados con cada solicitud. Enviar solo entre 3 y 4 encabezados le delata. Como mínimo, incluya: User-Agent, Accept, Accept-Language, Accept-Encoding, Connection y Referer (cuando proceda). Las plantillas de encabezados proporcionan conjuntos completos que se ajustan al comportamiento real de los navegadores. La diferencia en las tasas de éxito entre los encabezados mínimos y los encabezados completos, similares a los de los navegadores, puede ser del 40-50 % en sitios protegidos.

Respetar los encabezados «X-Rate-Limit»: Tanto los sitios de destino como los servicios de proxy incluyen información sobre los límites de velocidad en los encabezados. Ignorar esta información da lugar a bloqueos e interrupciones del servicio. Desarrolle su lógica de scraping para leer los encabezados «X-Rate-Limit-Remaining» y «X-Rate-Limit-Reset» y regule la velocidad en consecuencia. De este modo, se evita alcanzar los límites máximos y se contribuye a mantener una buena relación tanto con los proveedores de proxy como con los sitios de destino.

Configure el campo «X-Forwarded-For» en función de sus casos de uso: Para lograr el máximo anonimato, elimine por completo el campo «X-Forwarded-For» mediante los ajustes de gestión de encabezados. En el caso de aplicaciones en las que la geolocalización sea relevante (resultados de búsqueda locales, contenido regional), asegúrese de que el campo «X-Forwarded-For» coincida con su ubicación del proxy residencial. Para la depuración, puede conservar internamente su dirección IP original en este encabezado, eliminando dicha dirección antes de que llegue a los destinos. Elija la configuración que mejor se adapte a sus necesidades específicas.

Supervisar los encabezados «Via» y los encabezados reenviados: Estos encabezados revelan el uso de un proxy. La mayoría de los sitios de destino los ignoran, pero los sistemas antibots más sofisticados los detectan. Los proxies residenciales pueden eliminar estos encabezados automáticamente en modo sigiloso. Si está experimentando altas tasas de bloqueo, compruebe si se están enviando los encabezados «Via» o «Forwarded» a los sitios de destino; los paneles de control de los proxies muestran exactamente qué encabezados se enviaron con cada solicitud. Cambie a los modos de eliminación de encabezados si es necesario.

Para los usuarios de proxy, los encabezados HTTP constituyen la interfaz de control del tráfico web. Estos autentifican su acceso a la infraestructura del proxy, personalizan la forma en que sus solicitudes se muestran a los sitios de destino y proporcionan información crucial para la depuración. Domine el uso de los encabezados y dominará la recopilación de datos basada en proxy, lo que le permitirá alcanzar mayores índices de éxito, evitar bloqueos y extraer los datos que su empresa necesita sin ser detectado.