Descubriendo CloudFlare

Técnicas Comunes para Descubrir Cloudflare

• Puedes usar algún servicio que te dé los registros DNS históricos del dominio. Tal vez la página web esté funcionando en una dirección IP utilizada anteriormente.
• Lo mismo podría lograrse verificando certificados SSL históricos que podrían estar apuntando a la dirección IP de origen.
• Revisa también registros DNS de otros subdominios que apuntan directamente a IPs, ya que es posible que otros subdominios estén apuntando al mismo servidor (quizás para ofrecer FTP, correo u otro servicio).
• Si encuentras un SSRF dentro de la aplicación web, puedes abusar de él para obtener la dirección IP del servidor.
• Busca una cadena única de la página web en navegadores como shodan (y tal vez google y similares?). Quizás puedas encontrar una dirección IP con ese contenido.
• De manera similar, en lugar de buscar una cadena única, podrías buscar el icono favicon con la herramienta: https://github.com/karma9874/CloudFlare-IP o con https://github.com/pielco11/fav-up
• Esto no funcionará muy frecuentemente porque el servidor debe enviar la misma respuesta cuando se accede por la dirección IP, pero nunca se sabe.

Herramientas para descubrir Cloudflare

• Busca el dominio dentro de http://www.crimeflare.org:82/cfs.html o https://crimeflare.herokuapp.com. O usa la herramienta CloudPeler (que utiliza esa API)
• Busca el dominio en https://leaked.site/index.php?resolver/cloudflare.0/
• CloudFlair es una herramienta que buscará utilizando certificados de Censys que contengan el nombre de dominio, luego buscará IPv4s dentro de esos certificados y finalmente intentará acceder a la página web en esas IPs.
• CloakQuest3r: CloakQuest3r es una poderosa herramienta de Python meticulosamente diseñada para descubrir la verdadera dirección IP de sitios web protegidos por Cloudflare y otras alternativas, un servicio de seguridad web y mejora del rendimiento ampliamente adoptado. Su misión principal es discernir con precisión la dirección IP real de los servidores web que están ocultos detrás del escudo protector de Cloudflare.
• Censys
• Shodan
• Bypass-firewalls-by-DNS-history
• Si tienes un conjunto de IPs potenciales donde se encuentra la página web, podrías usar https://github.com/hakluke/hakoriginfinder

# You can check if the tool is working with
prips 1.0.0.0/30 | hakoriginfinder -h one.one.one.one

# If you know the company is using AWS you could use the previous tool to search the
## web page inside the EC2 IPs
DOMAIN=something.com
WIDE_REGION=us
for ir in `curl https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region|test("^us")) | .ip_prefix'`; do
echo "Checking $ir"
prips $ir | hakoriginfinder -h "$DOMAIN"
done

Descubriendo Cloudflare desde la infraestructura en la nube

Ten en cuenta que, aunque esto se hizo para máquinas de AWS, podría hacerse para cualquier otro proveedor de nube.

Para una mejor descripción de este proceso, consulta:

{% embed url="https://trickest.com/blog/cloudflare-bypass-discover-ip-addresses-aws/?utm_campaign=hacktrics&utm_medium=banner&utm_source=hacktricks" %}

# Find open ports
sudo masscan --max-rate 10000 -p80,443 $(curl -s https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | .ip_prefix' | tr '\n' ' ') | grep "open"  > all_open.txt
# Format results
cat all_open.txt | sed 's,.*port \(.*\)/tcp on \(.*\),\2:\1,' | tr -d " " > all_open_formated.txt
# Search actual web pages
httpx -silent -threads 200 -l all_open_formated.txt -random-agent -follow-redirects -json -no-color -o webs.json
# Format web results and remove eternal redirects
cat webs.json | jq -r "select((.failed==false) and (.chain_status_codes | length) < 9) | .url" | sort -u > aws_webs.json

# Search via Host header
httpx -json -no-color -list aws_webs.json -header Host: cloudflare.malwareworld.com -threads 250 -random-agent -follow-redirects -o web_checks.json

Bypass de Cloudflare a través de Cloudflare

Extracciones de Origen Autenticadas

Este mecanismo se basa en certificados SSL del cliente para autenticar conexiones entre los servidores de proxy inverso de Cloudflare y el servidor de origen, lo que se llama mTLS.

En lugar de configurar su propio certificado, los clientes pueden simplemente usar el certificado de Cloudflare para permitir cualquier conexión desde Cloudflare, independientemente del inquilino.

Más información aquí.

Direcciones IP de Cloudflare en la Lista Blanca

Esto rechazará conexiones que no se originen en las direcciones IP de Cloudflare. Esto también es vulnerable a la configuración anterior donde un atacante simplemente apunta su propio dominio en Cloudflare a la dirección IP de las víctimas.

Más información aquí.

Bypass de Cloudflare para scraping

Caché

A veces solo quieres eludir Cloudflare para raspar la página web. Hay algunas opciones para esto:

• Usar la caché de Google: https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog
• Usar otros servicios de caché como https://archive.org/web/

Herramientas

Algunas herramientas como las siguientes pueden eludir (o han podido eludir) la protección de Cloudflare contra el scraping:

• https://github.com/sarperavci/CloudflareBypassForScraping

Solucionadores de Cloudflare

Se han desarrollado varios solucionadores de Cloudflare:

• FlareSolverr
• cloudscraper Guía aquí
• cloudflare-scrape
• CloudflareSolverRe
• Cloudflare-IUAM-Solver
• cloudflare-bypass [Archivado]
• CloudflareSolverRe

Navegadores Sin Cabeza Fortalecidos

Usa un navegador sin cabeza que no sea detectado como un navegador automatizado (puedes necesitar personalizarlo para eso). Algunas opciones son:

• Puppeteer: El plugin de sigilo para puppeteer.
• Playwright: El plugin de sigilo llegará a Playwright pronto. Sigue los desarrollos aquí y aquí.
• Selenium: El undetected-chromedriver es un parche optimizado para Selenium Chromedriver.

Proxy Inteligente Con Bypass Integrado de Cloudflare

Los proxies inteligentes son actualizados continuamente por empresas especializadas, con el objetivo de eludir las medidas de seguridad de Cloudflare (ya que ese es su negocio).

Algunos de ellos son:

• ScraperAPI
• Scrapingbee
• Oxylabs
• Smartproxy son conocidos por sus mecanismos de bypass de Cloudflare patentados.

Para aquellos que buscan una solución optimizada, el Agregador de Proxies de ScrapeOps se destaca. Este servicio integra más de 20 proveedores de proxies en una sola API, seleccionando automáticamente el proxy más adecuado y rentable para tus dominios objetivo, ofreciendo así una opción superior para navegar por las defensas de Cloudflare.

Ingeniería Inversa de la Protección Anti-Bot de Cloudflare

La ingeniería inversa de las medidas anti-bot de Cloudflare es una táctica utilizada por proveedores de proxies inteligentes, adecuada para un scraping web extenso sin el alto costo de ejecutar muchos navegadores sin cabeza.

Ventajas: Este método permite la creación de un bypass extremadamente eficiente que apunta específicamente a las verificaciones de Cloudflare, ideal para operaciones a gran escala.

Desventajas: La desventaja es la complejidad involucrada en entender y engañar al sistema anti-bot deliberadamente oscuro de Cloudflare, lo que requiere un esfuerzo continuo para probar diferentes estrategias y actualizar el bypass a medida que Cloudflare mejora sus protecciones.

Encuentra más información sobre cómo hacer esto en el artículo original.

Referencias

• https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/