Ontdek CloudFlare

Reading time: 9 minutes

Algemene Tegnieke om Cloudflare te Ontdek

• Jy kan 'n diens gebruik wat jou die historiese DNS rekords van die domein gee. Miskien loop die webblad op 'n IP adres wat voorheen gebruik is.
• Dieselfde kan bereik word deur historiese SSL sertifikate te kontroleer wat na die oorspronklike IP adres kan wys.
• Kontroleer ook DNS rekords van ander subdomeine wat direk na IPs wys, aangesien dit moontlik is dat ander subdomeine na dieselfde bediener wys (miskien om FTP, pos of enige ander diens aan te bied).
• As jy 'n SSRF binne die webtoepassing vind, kan jy dit misbruik om die IP adres van die bediener te verkry.
• Soek 'n unieke string van die webblad in blaaiers soos shodan (en miskien google en soortgelyke?). Miskien kan jy 'n IP adres met daardie inhoud vind.
• Op 'n soortgelyke manier, in plaas daarvan om 'n unieke string te soek, kan jy die favicon ikoon met die hulpmiddel: https://github.com/karma9874/CloudFlare-IP of met https://github.com/pielco11/fav-up soek.
• Dit sal nie baie gereeld werk nie, omdat die bediener dieselfde antwoord moet stuur wanneer dit deur die IP adres toeganklik gemaak word, maar jy weet nooit.

Hulpmiddels om Cloudflare te Ontdek

• Soek vir die domein binne http://www.crimeflare.org:82/cfs.html of https://crimeflare.herokuapp.com. Of gebruik die hulpmiddel CloudPeler (wat daardie API gebruik).
• Soek vir die domein in https://leaked.site/index.php?resolver/cloudflare.0/
• CF-Hero is 'n omvattende verkenningstoestel wat ontwikkel is om die werklike IP adresse van webtoepassings wat deur Cloudflare beskerm word, te ontdek. Dit voer multi-bron intelligensie insameling uit deur verskeie metodes.
• CloudFlair is 'n hulpmiddel wat sal soek met behulp van Censys sertifikate wat die domeinnaam bevat, dan sal dit soek na IPv4s binne daardie sertifikate en uiteindelik sal dit probeer om toegang tot die webblad in daardie IPs te verkry.
• CloakQuest3r: CloakQuest3r is 'n kragtige Python hulpmiddel wat met sorg ontwerp is om die werklike IP adres van webwerwe wat deur Cloudflare en ander alternatiewe beskerm word, te ontdek, 'n wyd gebruikte websekuriteits- en prestasieverbeteringsdiens. Sy kernmissie is om die werklike IP adres van webbedieners wat agter Cloudflare se beskermende skild versteek is, akkuraat te onderskei.
• Censys
• Shodan
• Bypass-firewalls-by-DNS-history
• As jy 'n stel potensiële IPs het waar die webblad geleë is, kan jy https://github.com/hakluke/hakoriginfinder gebruik.

# You can check if the tool is working with
prips 1.0.0.0/30 | hakoriginfinder -h one.one.one.one

# If you know the company is using AWS you could use the previous tool to search the
## web page inside the EC2 IPs
DOMAIN=something.com
WIDE_REGION=us
for ir in `curl https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region|test("^us")) | .ip_prefix'`; do
echo "Checking $ir"
prips $ir | hakoriginfinder -h "$DOMAIN"
done

Ontdek Cloudflare van Wolkinfrastruktuur

Let daarop dat selfs al is dit vir AWS-masjiene gedoen, dit vir enige ander wolkverskaffer gedoen kan word.

Vir 'n beter beskrywing van hierdie proses, kyk:

https://trickest.com/blog/cloudflare-bypass-discover-ip-addresses-aws/?utm_campaign=hacktrics&utm_medium=banner&utm_source=hacktricks

# Find open ports
sudo masscan --max-rate 10000 -p80,443 $(curl -s https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | .ip_prefix' | tr '\n' ' ') | grep "open"  > all_open.txt
# Format results
cat all_open.txt | sed 's,.*port \(.*\)/tcp on \(.*\),\2:\1,' | tr -d " " > all_open_formated.txt
# Search actual web pages
httpx -silent -threads 200 -l all_open_formated.txt -random-agent -follow-redirects -json -no-color -o webs.json
# Format web results and remove eternal redirects
cat webs.json | jq -r "select((.failed==false) and (.chain_status_codes | length) < 9) | .url" | sort -u > aws_webs.json

# Search via Host header
httpx -json -no-color -list aws_webs.json -header Host: cloudflare.malwareworld.com -threads 250 -random-agent -follow-redirects -o web_checks.json

Om Cloudflare te omseil deur Cloudflare

Geverifieerde Oorsprong Trekke

Hierdie mechanisme staat op klant SSL sertifikate om verbindings tussen Cloudflare se omgekeerde-proxy bedieners en die oorsprong bediener te verifieer, wat mTLS genoem word.

In plaas daarvan om sy eie sertifikaat te konfigureer, kan kliënte eenvoudig Cloudflare se sertifikaat gebruik om enige verbinding van Cloudflare toe te laat, ongeag van die huurder.

Meer inligting hier.

Toelaatbare Cloudflare IP Adresse

Dit sal verbindinge wat nie van Cloudflare se IP adresreekse afkomstig is, weier. Dit is ook kwesbaar vir die vorige opstelling waar 'n aanvaller eenvoudig sy eie domein in Cloudflare na die slagoffers IP adres kan wys en dit aanval.

Meer inligting hier.

Om Cloudflare te omseil vir scraping

Kas

Soms wil jy net Cloudflare omseil om slegs die webblad te scrape. Daar is 'n paar opsies hiervoor:

• Gebruik Google kas: https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog
• Gebruik ander kasdienste soos https://archive.org/web/

Gereedskap

Sommige gereedskap soos die volgende kan Cloudflare se beskerming teen scraping omseil (of was in staat om dit te doen):

• https://github.com/sarperavci/CloudflareBypassForScraping

Cloudflare Oplossers

Daar is 'n aantal Cloudflare oplossers ontwikkel:

• FlareSolverr
• cloudscraper Gids hier
• cloudflare-scrape
• CloudflareSolverRe
• Cloudflare-IUAM-Solver
• cloudflare-bypass [Gearchiveer]
• CloudflareSolverRe

Gesteunde Hooflose Blaaiers

Gebruik 'n hooflose blaaiers wat nie as 'n geoutomatiseerde blaaiers gedetecteer word nie (jy mag dit moet aanpas daarvoor). Sommige opsies is:

• Puppeteer: Die stealth plugin vir puppeteer.
• Playwright: Die stealth plugin kom binnekort na Playwright. Volg ontwikkeling hier en hier.
• Selenium: Die undetected-chromedriver 'n geoptimaliseerde Selenium Chromedriver-patch.

Slim Proxie Met Cloudflare Ingeboude Omseiling

Slim proxies word deurlopend opgedateer deur gespesialiseerde maatskappye, met die doel om Cloudflare se sekuriteitsmaatreëls te oortref (soos dit hul besigheid is).

Sommige van hulle is:

• ScraperAPI
• Scrapingbee
• Oxylabs
• Smartproxy is bekend vir hul eie Cloudflare omseilingsmeganismes.

Vir diegene wat 'n geoptimaliseerde oplossing soek, staan die ScrapeOps Proxy Aggregator uit. Hierdie diens integreer meer as 20 proxy verskaffers in 'n enkele API, wat outomaties die beste en mees kostedoeltreffende proxy vir jou teikendomeine kies, en bied dus 'n beter opsie om Cloudflare se verdediging te navigeer.

Omgekeerde Ingenieurswese van Cloudflare Anti-Bot Beskerming

Omgekeerde ingenieurswese van Cloudflare se anti-bot maatreëls is 'n taktiek wat deur slim proxie verskaffers gebruik word, geskik vir uitgebreide web scraping sonder die hoë koste van die bestuur van baie hooflose blaaiers.

Voordele: Hierdie metode stel in staat om 'n uiters doeltreffende omseiling te skep wat spesifiek Cloudflare se kontroles teiken, ideaal vir grootmaat operasies.

Nadele: Die nadeel is die kompleksiteit wat betrokke is by die verstaan en mislei van Cloudflare se doelbewus onduidelike anti-bot stelsel, wat voortdurende moeite vereis om verskillende strategieë te toets en die omseiling op te dateer soos Cloudflare sy beskerming verbeter.

Vind meer inligting oor hoe om dit te doen in die oorspronklike artikel.

Verwysings

• https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/