O que é um HTTP Header?

Quando você direciona o tráfego por meio de um serviço de proxy, os cabeçalhos HTTP tornam-se a força de trabalho invisível que gerencia sua conexão. Cada solicitação feita pelo seu aplicativo passa pela infraestrutura do proxy, e são os cabeçalhos que tornam essa jornada possível e segura.

Pense nos cabeçalhos como o manual de instruções anexado a cada dado que circula pela internet. Quando seu scraper, bot ou aplicativo envia uma solicitação por meio de proxies, ele não está apenas enviando a URL que você deseja acessar. Ele também está enviando contexto: tokens de autenticação que comprovam que você é um cliente autorizado, strings de User-Agent que fazem com que suas solicitações pareçam legítimas e detalhes técnicos sobre o tipo de resposta que você espera receber.

No lado do proxy, os cabeçalhos desempenham um papel ainda mais importante. Eles contêm informações sobre qual servidor proxy processou sua solicitação, se o conteúdo veio do cache ou do servidor de origem e qual foi o caminho percorrido pelo seu tráfego na rede. Cabeçalhos como o X-Forwarded-For preservam seu endereço IP original (ou o ocultam, dependendo da configuração), enquanto os cabeçalhos Via indicam que sua solicitação passou por uma infraestrutura de proxy.

Para clientes que realizam web scraping, os cabeçalhos são particularmente críticos. Os sites-alvo utilizam cabeçalhos para detectar bots e scrapers — eles analisam seu User-Agent para verificar se você é realmente um navegador, verificam os cabeçalhos Accept para ver se você está solicitando conteúdo como um visitante real faria e examinam dezenas de outros padrões de cabeçalhos. Os proxies residenciais e de datacenter ajudam a enviar os cabeçalhos corretos para que você passe despercebido, mas compreender a função desses cabeçalhos permite que você ajuste com precisão suas operações de scraping.

Os cabeçalhos também controlam a autenticação com serviços de proxy. Sua chave de API ou token de autenticação é transmitido em um cabeçalho de autorização (ou, às vezes, em um cabeçalho personalizado, como Proxy-Authorization). É assim que a infraestrutura de proxy sabe qual conta deve ser cobrada, qual conjunto de proxies aos quais o senhor tem acesso e quais limites de taxa se aplicam às suas solicitações. Se os cabeçalhos estiverem incorretos, suas solicitações não serão autenticadas. Se estiverem corretos, o senhor terá acesso sem interrupções a redes globais de proxy.

‍

Cabeçalhos essenciais para usuários de proxy

Cabeçalhos de autenticação e autorização

Autorização por proxy: É assim que se autenticar com serviços de proxy. Ele transporta suas credenciais (nome de usuário e senha ou token de API) em um formato como Base64 básico (nome de usuário:senha). Toda solicitação feita por meio de proxies deve incluir um cabeçalho “Proxy-Authorization” válido; caso contrário, será rejeitada. Isso é diferente do cabeçalho “Authorization”, que serve para autenticar-se no site de destino.

Autorização: Utilizado para autenticação no site de destino ao qual você está acessando por meio de proxies. Esse cabeçalho atravessa a infraestrutura de proxy sem sofrer alterações, chegando ao servidor de destino. É comum em scraping de APIs, onde é necessário acessar recursos autenticados pontos finais—os proxies gerenciam a conexão, enquanto o cabeçalho de autorização é responsável pela autenticação no site de destino.

Roteamento por proxy e cabeçalhos de identificação

X-Forwarded-For: Registra a sequência de endereços IP que processaram uma solicitação. Ao utilizar proxies, esse cabeçalho pode conter seu endereço IP original, o endereço IP do proxy ou estar configurado para exibir apenas o endereço IP que você deseja que o site de destino veja. Os serviços de proxy oferecem configurações nas quais esse cabeçalho é removido (para máximo anonimato) ou preservado (quando você precisa de geolocalização precisa). Compreender o X-Forwarded-For é fundamental para identificar por que os sites de destino podem estar visualizando determinados endereços IP.

X-Real-IP: Uma alternativa mais simples ao cabeçalho X-Forwarded-For, que contém apenas um endereço IP. Algumas configurações utilizam esse cabeçalho para transmitir seu endereço IP original ao servidor de destino, enquanto outras o utilizam internamente na infraestrutura de proxy para fins de roteamento e análise. É possível definir se esse cabeçalho será enviado aos sites de destino ou se permanecerá interno.

Via: Adicionado automaticamente por servidores proxy para indicar que a solicitação passou por um proxy. Esse cabeçalho revela que um proxy foi utilizado; por isso, algumas configurações de ocultação o removem antes de encaminhar as solicitações. Caso você esteja enfrentando bloqueios e os cabeçalhos Via estejam presentes, considere utilizar proxies residenciais com a remoção do cabeçalho Via.

X-Forwarded-Proto: Indica se a solicitação original utilizou HTTP ou HTTPS. Isso é importante quando os proxies realizam a rescisão de SSL — mesmo que sua conexão com o proxy seja por HTTPS, esse cabeçalho informa ao servidor de destino qual protocolo você pretendia utilizar originalmente. Isso evita loops de redirecionamento e problemas de conteúdo misto.

Solicitar cabeçalhos personalizados

User-Agent: O cabeçalho mais analisado na extração de dados da web. Os sites-alvo verificam esse campo para identificar qual navegador ou aplicativo está enviando as solicitações. Um User-Agent ausente ou suspeito é um sinal de alerta. Os serviços de proxy podem alternar os User-Agents automaticamente, ou você pode fornecer valores personalizados. Prática recomendada: utilize User-Agents que correspondam a navegadores reais do seu mercado-alvo. Fazer scraping no Google com um User-Agent do Chrome no Windows 10 parece normal; usar o Python-requests/2.28.0 grita “bot”.

Accept e Accept-Language: Navegadores reais enviam cabeçalhos Accept detalhados, listando os tipos de conteúdo que reconhecem (HTML, imagens, JSON etc.) e o cabeçalho Accept-Language, indicando os idiomas preferidos. Os scrapers frequentemente omitem esses cabeçalhos ou utilizam valores genéricos, o que os torna fáceis de detectar. Ao utilizar proxies para scraping, envie cabeçalhos “Accept” completos e realistas. Muitos serviços de proxy fornecem modelos de cabeçalhos baseados em configurações comuns de navegadores.

Referente: Informa ao servidor de destino de qual página você veio. Muitos sites verificam isso para impedir o hotlinking ou o acesso direto a determinadas páginas. Ao fazer scraping com proxies, definir cabeçalhos Referer adequados faz com que seu tráfego pareça uma navegação natural. Por exemplo, se você estiver fazendo scraping de páginas de produtos, o Referer deve apontar para a página da categoria ou para os resultados da pesquisa.

Cookie: Essencial para manter as sessões ao fazer scraping em áreas que exigem login ou ao lidar com sistemas anti-bot que dependem de cookies. Os proxies transmitem os cabeçalhos de cookies de forma transparente, mas cabe a você gerenciar o estado dos cookies em seu aplicativo de scraping. Dica profissional: alguns sistemas anti-bot identificam você com base nos padrões de tratamento de cookies. Imitar o comportamento dos cookies do navegador melhora as taxas de sucesso.

Cabeçalhos de resposta de serviços de proxy

X-Proxy-Cache: Um cabeçalho personalizado comum que indica se uma resposta veio de cache ou foi obtido diretamente do destino. Os valores podem ser HIT (resposta em cache), MISS (obtenção direta) ou BYPASS (não armazenável em cache). O monitoramento desses valores ajuda a compreender o desempenho e a verificar se você está atingindo limites de taxa devido a solicitações não armazenadas em cache.

X-Proxy-ID: Identifica qual servidor proxy específico da rede processou sua solicitação. Útil para depuração — caso você esteja enfrentando problemas com determinadas solicitações, esse cabeçalho permite correlacionar os problemas com nós de proxy específicos. Você pode fornecer essa informação às equipes de suporte para agilizar a resolução de problemas.

Limite de taxa X restante: Mostra quantas solicitações ainda restam antes de atingir o seu limite de taxa. Os provedores de proxy implementam esse recurso para ajudá-lo a gerenciar o volume de solicitações de forma proativa. Quando esse número fica baixo, seu aplicativo pode ficar mais lento ou aguardar antes de fazer mais solicitações, evitando que falhas graves ultrapassem os limites.

Monitoramento de preços no comércio eletrônico: Quando monitoramento dos preços dos concorrentes por meio de proxies residenciais, cabeçalhos adequados são essenciais. O senhor definirá cabeçalhos User-Agent e Accept-Language realistas, de acordo com o mercado-alvo, utilizará o Referer para simular a navegação a partir de páginas de categorias e alternará esses cabeçalhos entre as solicitações para evitar a identificação. Os recursos de alternância de cabeçalhos podem automatizar esse processo, recorrendo a um conjunto de configurações de navegadores verificadas.

Coleta de dados nas redes sociais: Plataformas como o Instagram e o Facebook analisam minuciosamente os cabeçalhos. Você precisará de strings de User-Agent perfeitas, cabeçalhos Accept completos, Accept-Encoding adequado (gzip, deflate) e gerenciamento de cookies para manter as sessões. IPs residenciais combinados com cabeçalhos semelhantes aos de navegadores tornam sua automação indistinguível de usuários reais. O cabeçalho Authorization transporta seus tokens de API ao acessar APIs oficiais por meio de proxies.

Acompanhamento de posições em SEO: Quando verificação das posições nos mecanismos de busca A partir de diferentes locais, utilizando proxies com segmentação geográfica, os cabeçalhos determinam quais resultados você visualiza. Os cabeçalhos Accept-Language devem corresponder ao país de destino, o User-Agent deve representar navegadores comuns naquela região e o X-Forwarded-For (se não for removido) deve corresponder ao IP residencial que o senhor está utilizando. A incompatibilidade entre esses sinais pode acionar Desafios CAPTCHA.

Verificação de anúncios: Verificação dos posicionamentos dos anúncios exige que suas solicitações se pareçam exatamente com o tráfego do público-alvo. Isso significa que os cabeçalhos User-Agent devem corresponder a dispositivos específicos (Safari móvel no iPhone 13, Chrome no Windows 10), que o cabeçalho Accept-Language deve corresponder ao mercado-alvo e que os cabeçalhos Do-Not-Track devem ser configurados de acordo com o comportamento típico do usuário. Os proxies residenciais fornecem o endereço IP; o senhor fornece o perfil de cabeçalhos que atende aos seus critérios de verificação.

Extracção de dados por API em grande escala: Ao utilizar APIs de terceiros por meio de proxies, o cabeçalho Authorization realiza a autenticação junto à API, enquanto o cabeçalho Proxy-Authorization realiza a autenticação junto ao serviço de proxy. O senhor também pode utilizar cabeçalhos personalizados, como o X-API-Key, dependendo dos requisitos da API de destino. A infraestrutura de proxy preserva todos os seus cabeçalhos, adicionando apenas aqueles necessários relacionados ao proxy. Os cabeçalhos de limitação de taxa, tanto da API quanto do serviço de proxy, ajudam a orquestrar as solicitações de maneira ideal.

Pesquisa de mercado e agregação de dados: Coleta de dados de várias fontes exige estratégias de cabeçalhos diferentes para cada site. Alguns verificam o cabeçalho Referer rigorosamente, outros se concentram no User-Agent e muitos verificam se os cabeçalhos Accept são adequados ao tipo de conteúdo. Os painéis de gerenciamento de proxy permitem que você configure regras de cabeçalhos por domínio, de modo que cada destino receba os cabeçalhos apropriados automaticamente. O X-Forwarded-For pode ser configurado por sessão, dependendo se o destino o utiliza para geolocalização ou detecção de bots.

Sempre inclua a autorização de proxy: Isso parece óbvio, mas é a principal causa de falhas de conexão. Certifique-se de que seu cabeçalho “Proxy-Authorization” esteja formatado corretamente e utilize credenciais atualizadas. Caso receba erros 407 (Autenticação de proxy necessária), verifique se esse cabeçalho está presente e correto. Os painéis de controle do proxy geralmente exibem suas sequências de autenticação no formato correto — copie-as exatamente.

Alternar cabeçalhos de User-Agent de maneira inteligente: Não escolha User-Agents aleatoriamente de uma lista. Faça com que o User-Agent corresponda ao dispositivo/navegador que você está simulando em outros cabeçalhos. Se você enviar um User-Agent para dispositivos móveis, as dimensões da sua janela de visualização e os cabeçalhos `Accept` também devem corresponder aos padrões móveis. Os recursos de rotação do User-Agent mantêm a consistência entre os cabeçalhos relacionados automaticamente. Nunca envie User-Agents incompletos ou suspeitos, como “Mozilla/4.0” ou apenas “Python”.

Utilize conjuntos completos de cabeçalhos: Navegadores reais enviam de 15 a 20 cabeçalhos a cada solicitação. Enviar apenas 3 ou 4 cabeçalhos faz com que você se destaque. No mínimo, inclua: User-Agent, Accept, Accept-Language, Accept-Encoding, Connection e Referer (quando apropriado). Os modelos de cabeçalhos fornecem conjuntos completos que correspondem ao comportamento de navegadores reais. A diferença nas taxas de sucesso entre cabeçalhos mínimos e cabeçalhos completos, semelhantes aos de navegadores, pode chegar a 40-50% em sites protegidos.

Respeitar os cabeçalhos X-Rate-Limit: Tanto os sites de destino quanto os serviços de proxy fornecem informações sobre limites de taxa nos cabeçalhos. Ignorar essas informações leva a bloqueios e interrupções no serviço. Crie sua lógica de scraping para ler os cabeçalhos X-Rate-Limit-Remaining e X-Rate-Limit-Reset e ajuste a taxa de acesso de acordo com eles. Isso evita atingir limites rígidos e ajuda a manter uma boa reputação tanto junto aos provedores de proxy quanto aos sites de destino.

Configure o campo “X-Forwarded-For” de acordo com o seu caso de uso: Para garantir o máximo de discrição, remova completamente o cabeçalho X-Forwarded-For por meio das configurações de gerenciamento de cabeçalhos. Para aplicações em que a geolocalização é importante (resultados de pesquisa locais, conteúdo regional), certifique-se de que o cabeçalho X-Forwarded-For corresponda ao seu localização do proxy residencial. Para fins de depuração, o senhor pode manter seu IP original nesse cabeçalho internamente, removendo-o antes que ele chegue aos destinos. Escolha a configuração que melhor atenda às suas necessidades específicas.

Monitorar cabeçalhos “Via” e “Forwarded”: Esses cabeçalhos revelam o uso de proxy. A maioria dos sites de destino os ignora, mas sistemas anti-bot sofisticados os verificam. Os proxies residenciais podem remover esses cabeçalhos automaticamente no modo furtivo. Caso esteja enfrentando altas taxas de bloqueio, verifique se os cabeçalhos “Via” ou “Forwarded” estão sendo enviados aos destinos — os painéis de controle dos proxies mostram exatamente quais cabeçalhos foram enviados com cada solicitação. Alterne para os modos de remoção de cabeçalhos, se necessário.

Para usuários de proxy, os cabeçalhos HTTP constituem a interface de controle do tráfego da web. Eles autenticam seu acesso à infraestrutura do proxy, personalizam a forma como suas solicitações são apresentadas aos sites de destino e fornecem informações essenciais para a depuração. Domine os cabeçalhos e você dominará a coleta de dados baseada em proxy — alcançando taxas de sucesso mais altas, evitando bloqueios e extraindo os dados de que sua empresa precisa, sem ser detectado.