Descobrindo o CloudFlare

Reading time: 8 minutes

Técnicas Comuns para Descobrir o Cloudflare

• Você pode usar algum serviço que forneça os registros DNS históricos do domínio. Talvez a página da web esteja rodando em um endereço IP usado anteriormente.
• O mesmo pode ser alcançado verificando certificados SSL históricos que podem estar apontando para o endereço IP de origem.
• Verifique também registros DNS de outros subdomínios apontando diretamente para IPs, pois é possível que outros subdomínios estejam apontando para o mesmo servidor (talvez para oferecer FTP, e-mail ou qualquer outro serviço).
• Se você encontrar um SSRF dentro da aplicação web, pode abusar disso para obter o endereço IP do servidor.
• Pesquise uma string única da página da web em navegadores como shodan (e talvez google e similares?). Talvez você consiga encontrar um endereço IP com esse conteúdo.
• De maneira semelhante, em vez de procurar uma string única, você poderia buscar pelo ícone favicon com a ferramenta: https://github.com/karma9874/CloudFlare-IP ou com https://github.com/pielco11/fav-up
• Isso pode não funcionar com muita frequência porque o servidor deve enviar a mesma resposta quando acessado pelo endereço IP, mas você nunca sabe.

Ferramentas para descobrir o Cloudflare

• Pesquise o domínio dentro de http://www.crimeflare.org:82/cfs.html ou https://crimeflare.herokuapp.com. Ou use a ferramenta CloudPeler (que usa essa API)
• Pesquise o domínio em https://leaked.site/index.php?resolver/cloudflare.0/
• CloudFlair é uma ferramenta que irá pesquisar usando certificados Censys que contêm o nome do domínio, depois irá procurar por IPv4s dentro desses certificados e, finalmente, tentará acessar a página da web nesses IPs.
• CloakQuest3r: CloakQuest3r é uma poderosa ferramenta Python meticulosamente elaborada para descobrir o verdadeiro endereço IP de sites protegidos pelo Cloudflare e outras alternativas, um serviço amplamente adotado de segurança e melhoria de desempenho na web. Sua missão principal é discernir com precisão o endereço IP real dos servidores web que estão ocultos atrás do escudo protetor do Cloudflare.
• Censys
• Shodan
• Bypass-firewalls-by-DNS-history
• Se você tiver um conjunto de IPs potenciais onde a página da web está localizada, você poderia usar https://github.com/hakluke/hakoriginfinder

# You can check if the tool is working with
prips 1.0.0.0/30 | hakoriginfinder -h one.one.one.one

# If you know the company is using AWS you could use the previous tool to search the
## web page inside the EC2 IPs
DOMAIN=something.com
WIDE_REGION=us
for ir in `curl https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region|test("^us")) | .ip_prefix'`; do
echo "Checking $ir"
prips $ir | hakoriginfinder -h "$DOMAIN"
done

Descobrindo Cloudflare a partir da infraestrutura de nuvem

Note que, mesmo que isso tenha sido feito para máquinas AWS, poderia ser feito para qualquer outro provedor de nuvem.

Para uma melhor descrição desse processo, confira:

https://trickest.com/blog/cloudflare-bypass-discover-ip-addresses-aws/?utm_campaign=hacktrics&utm_medium=banner&utm_source=hacktricks

# Find open ports
sudo masscan --max-rate 10000 -p80,443 $(curl -s https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | .ip_prefix' | tr '\n' ' ') | grep "open"  > all_open.txt
# Format results
cat all_open.txt | sed 's,.*port \(.*\)/tcp on \(.*\),\2:\1,' | tr -d " " > all_open_formated.txt
# Search actual web pages
httpx -silent -threads 200 -l all_open_formated.txt -random-agent -follow-redirects -json -no-color -o webs.json
# Format web results and remove eternal redirects
cat webs.json | jq -r "select((.failed==false) and (.chain_status_codes | length) < 9) | .url" | sort -u > aws_webs.json

# Search via Host header
httpx -json -no-color -list aws_webs.json -header Host: cloudflare.malwareworld.com -threads 250 -random-agent -follow-redirects -o web_checks.json

Contornando o Cloudflare através do Cloudflare

Pulls de Origem Autenticados

Esse mecanismo depende de certificados SSL do cliente para autenticar conexões entre os servidores reverse-proxy do Cloudflare e o servidor de origem, chamado de mTLS.

Em vez de configurar seu próprio certificado, os clientes podem simplesmente usar o certificado do Cloudflare para permitir qualquer conexão do Cloudflare, independentemente do inquilino.

Mais informações aqui.

Endereços IP do Cloudflare na Lista de Permissão

Isso rejeitará conexões que não se originam dos intervalos de endereços IP do Cloudflare. Isso também é vulnerável à configuração anterior, onde um atacante simplesmente aponta seu próprio domínio no Cloudflare para o endereço IP das vítimas.

Mais informações aqui.

Contornar o Cloudflare para scraping

Cache

Às vezes, você só quer contornar o Cloudflare para apenas fazer scraping da página da web. Existem algumas opções para isso:

• Usar o cache do Google: https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog
• Usar outros serviços de cache, como https://archive.org/web/

Ferramentas

Algumas ferramentas como as seguintes podem contornar (ou foram capazes de contornar) a proteção do Cloudflare contra scraping:

• https://github.com/sarperavci/CloudflareBypassForScraping

Solvers do Cloudflare

Vários solvers do Cloudflare foram desenvolvidos:

• FlareSolverr
• cloudscraper Guia aqui
• cloudflare-scrape
• CloudflareSolverRe
• Cloudflare-IUAM-Solver
• cloudflare-bypass [Arquivado]
• CloudflareSolverRe

Navegadores Headless Fortalecidos

Use um navegador headless que não seja detectado como um navegador automatizado (você pode precisar personalizá-lo para isso). Algumas opções são:

• Puppeteer: O plugin stealth para puppeteer.
• Playwright: O plugin stealth está chegando ao Playwright em breve. Acompanhe os desenvolvimentos aqui e aqui.
• Selenium: O undetected-chromedriver é um patch otimizado do Selenium Chromedriver.

Proxy Inteligente com Bypass Integrado do Cloudflare

Proxies inteligentes são continuamente atualizados por empresas especializadas, visando superar as medidas de segurança do Cloudflare (já que esse é o seu negócio).

Alguns deles são:

• ScraperAPI
• Scrapingbee
• Oxylabs
• Smartproxy são conhecidos por seus mecanismos proprietários de bypass do Cloudflare.

Para aqueles que buscam uma solução otimizada, o ScrapeOps Proxy Aggregator se destaca. Este serviço integra mais de 20 provedores de proxy em uma única API, selecionando automaticamente o melhor e mais econômico proxy para seus domínios-alvo, oferecendo assim uma opção superior para navegar pelas defesas do Cloudflare.

Engenharia Reversa da Proteção Anti-Bot do Cloudflare

A engenharia reversa das medidas anti-bot do Cloudflare é uma tática usada por provedores de proxy inteligentes, adequada para scraping extensivo da web sem o alto custo de executar muitos navegadores headless.

Vantagens: Este método permite a criação de um bypass extremamente eficiente que visa especificamente as verificações do Cloudflare, ideal para operações em grande escala.

Desvantagens: A desvantagem é a complexidade envolvida em entender e enganar o sistema anti-bot deliberadamente obscuro do Cloudflare, exigindo esforço contínuo para testar diferentes estratégias e atualizar o bypass à medida que o Cloudflare aprimora suas proteções.

Encontre mais informações sobre como fazer isso no artigo original.

Referências

• https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/