Découverte de CloudFlare

Reading time: 9 minutes

Techniques courantes pour découvrir Cloudflare

• Vous pouvez utiliser un service qui vous donne les enregistrements DNS historiques du domaine. Peut-être que la page web fonctionne sur une adresse IP utilisée auparavant.
• Il en va de même pour vérifier les certificats SSL historiques qui pourraient pointer vers l'adresse IP d'origine.
• Vérifiez également les enregistrements DNS d'autres sous-domaines pointant directement vers des IP, car il est possible que d'autres sous-domaines pointent vers le même serveur (peut-être pour offrir FTP, mail ou tout autre service).
• Si vous trouvez un SSRF à l'intérieur de l'application web, vous pouvez en abuser pour obtenir l'adresse IP du serveur.
• Recherchez une chaîne unique de la page web dans des navigateurs tels que shodan (et peut-être google et similaires ?). Peut-être que vous pouvez trouver une adresse IP avec ce contenu.
• De manière similaire, au lieu de chercher une chaîne unique, vous pourriez rechercher l'icône favicon avec l'outil : https://github.com/karma9874/CloudFlare-IP ou avec https://github.com/pielco11/fav-up
• Cela ne fonctionnera pas très fréquemment car le serveur doit envoyer la même réponse lorsqu'il est accédé par l'adresse IP, mais on ne sait jamais.

Outils pour découvrir Cloudflare

• Recherchez le domaine sur http://www.crimeflare.org:82/cfs.html ou https://crimeflare.herokuapp.com. Ou utilisez l'outil CloudPeler (qui utilise cette API)
• Recherchez le domaine sur https://leaked.site/index.php?resolver/cloudflare.0/
• CF-Hero est un outil de reconnaissance complet développé pour découvrir les vraies adresses IP des applications web protégées par Cloudflare. Il effectue une collecte de renseignements multi-sources par divers moyens.
• CloudFlair est un outil qui recherchera en utilisant des certificats Censys contenant le nom de domaine, puis il recherchera des IPv4 à l'intérieur de ces certificats et enfin il essaiera d'accéder à la page web sur ces IP.
• CloakQuest3r : CloakQuest3r est un puissant outil Python méticuleusement conçu pour découvrir la véritable adresse IP des sites web protégés par Cloudflare et d'autres alternatives, un service largement adopté pour la sécurité web et l'amélioration des performances. Sa mission principale est de discerner avec précision l'adresse IP réelle des serveurs web qui sont dissimulés derrière le bouclier protecteur de Cloudflare.
• Censys
• Shodan
• Bypass-firewalls-by-DNS-history
• Si vous avez un ensemble d'IP potentielles où la page web est située, vous pourriez utiliser https://github.com/hakluke/hakoriginfinder

# You can check if the tool is working with
prips 1.0.0.0/30 | hakoriginfinder -h one.one.one.one

# If you know the company is using AWS you could use the previous tool to search the
## web page inside the EC2 IPs
DOMAIN=something.com
WIDE_REGION=us
for ir in `curl https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region|test("^us")) | .ip_prefix'`; do
echo "Checking $ir"
prips $ir | hakoriginfinder -h "$DOMAIN"
done

Découverte de Cloudflare depuis l'infrastructure cloud

Notez que même si cela a été fait pour des machines AWS, cela pourrait être fait pour tout autre fournisseur de cloud.

Pour une meilleure description de ce processus, consultez :

https://trickest.com/blog/cloudflare-bypass-discover-ip-addresses-aws/?utm_campaign=hacktrics&utm_medium=banner&utm_source=hacktricks

# Find open ports
sudo masscan --max-rate 10000 -p80,443 $(curl -s https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | .ip_prefix' | tr '\n' ' ') | grep "open"  > all_open.txt
# Format results
cat all_open.txt | sed 's,.*port \(.*\)/tcp on \(.*\),\2:\1,' | tr -d " " > all_open_formated.txt
# Search actual web pages
httpx -silent -threads 200 -l all_open_formated.txt -random-agent -follow-redirects -json -no-color -o webs.json
# Format web results and remove eternal redirects
cat webs.json | jq -r "select((.failed==false) and (.chain_status_codes | length) < 9) | .url" | sort -u > aws_webs.json

# Search via Host header
httpx -json -no-color -list aws_webs.json -header Host: cloudflare.malwareworld.com -threads 250 -random-agent -follow-redirects -o web_checks.json

Contournement de Cloudflare via Cloudflare

Authenticated Origin Pulls

Ce mécanisme repose sur des certificats SSL client pour authentifier les connexions entre les serveurs de reverse-proxy de Cloudflare et le serveur d'origine, ce qui s'appelle mTLS.

Au lieu de configurer son propre certificat, les clients peuvent simplement utiliser le certificat de Cloudflare pour permettre toute connexion depuis Cloudflare, indépendamment du locataire.

Plus d'infos ici.

Allowlist des adresses IP de Cloudflare

Cela rejette les connexions qui ne proviennent pas des plages d'adresses IP de Cloudflare. Cela est également vulnérable à la configuration précédente où un attaquant peut simplement pointer son propre domaine dans Cloudflare vers l'adresse IP des victimes.

Plus d'infos ici.

Contournement de Cloudflare pour le scraping

Cache

Parfois, vous souhaitez simplement contourner Cloudflare pour ne scraper que la page web. Il existe quelques options pour cela :

• Utiliser le cache de Google : https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog
• Utiliser d'autres services de cache tels que https://archive.org/web/

Outils

Certains outils comme les suivants peuvent contourner (ou ont pu contourner) la protection de Cloudflare contre le scraping :

• https://github.com/sarperavci/CloudflareBypassForScraping

Résolveurs Cloudflare

Un certain nombre de résolveurs Cloudflare ont été développés :

• FlareSolverr
• cloudscraper Guide ici
• cloudflare-scrape
• CloudflareSolverRe
• Cloudflare-IUAM-Solver
• cloudflare-bypass [Archivé]
• CloudflareSolverRe

Navigateurs Headless Fortifiés

Utilisez un navigateur headless qui n'est pas détecté comme un navigateur automatisé (vous devrez peut-être le personnaliser pour cela). Quelques options sont :

• Puppeteer : Le plugin stealth pour puppeteer.
• Playwright : Le plugin stealth arrive bientôt sur Playwright. Suivez les développements ici et ici.
• Selenium : Le undetected-chromedriver un patch optimisé pour Selenium Chromedriver.

Proxy Intelligent avec Contournement Intégré de Cloudflare

Les proxies intelligents sont continuellement mis à jour par des entreprises spécialisées, visant à contourner les mesures de sécurité de Cloudflare (car c'est leur métier).

Certains d'entre eux sont :

• ScraperAPI
• Scrapingbee
• Oxylabs
• Smartproxy sont connus pour leurs mécanismes de contournement de Cloudflare propriétaires.

Pour ceux qui recherchent une solution optimisée, le ScrapeOps Proxy Aggregator se distingue. Ce service intègre plus de 20 fournisseurs de proxy dans une seule API, sélectionnant automatiquement le meilleur et le plus rentable pour vos domaines cibles, offrant ainsi une option supérieure pour naviguer dans les défenses de Cloudflare.

Ingénierie Inverse de la Protection Anti-Bot de Cloudflare

L'ingénierie inverse des mesures anti-bot de Cloudflare est une tactique utilisée par les fournisseurs de proxy intelligents, adaptée au scraping web à grande échelle sans le coût élevé de l'exécution de nombreux navigateurs headless.

Avantages : Cette méthode permet de créer un contournement extrêmement efficace qui cible spécifiquement les vérifications de Cloudflare, idéal pour des opérations à grande échelle.

Inconvénients : L'inconvénient est la complexité impliquée dans la compréhension et la tromperie du système anti-bot délibérément obscur de Cloudflare, nécessitant un effort continu pour tester différentes stratégies et mettre à jour le contournement à mesure que Cloudflare améliore ses protections.

Trouvez plus d'infos sur comment faire cela dans l'article original.

Références

• https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/