Αποκάλυψη CloudFlare

Reading time: 9 minutes

Κοινές Τεχνικές για την Αποκάλυψη του Cloudflare

• Μπορείτε να χρησιμοποιήσετε κάποια υπηρεσία που σας δίνει τα ιστορικά DNS records του τομέα. Ίσως η ιστοσελίδα να τρέχει σε μια διεύθυνση IP που χρησιμοποιήθηκε στο παρελθόν.
• Το ίδιο θα μπορούσε να επιτευχθεί ελέγχοντας ιστορικά SSL certificates που θα μπορούσαν να δείχνουν στη διεύθυνση IP προέλευσης.
• Ελέγξτε επίσης DNS records άλλων υποτομέων που δείχνουν απευθείας σε IPs, καθώς είναι πιθανό άλλοι υποτομείς να δείχνουν στον ίδιο διακομιστή (ίσως για να προσφέρουν FTP, mail ή οποιαδήποτε άλλη υπηρεσία).
• Αν βρείτε ένα SSRF μέσα στην εφαρμογή ιστού μπορείτε να το εκμεταλλευτείτε για να αποκτήσετε τη διεύθυνση IP του διακομιστή.
• Αναζητήστε μια μοναδική αλφαριθμητική συμβολοσειρά της ιστοσελίδας σε προγράμματα περιήγησης όπως το shodan (και ίσως το google και παρόμοια;). Ίσως μπορέσετε να βρείτε μια διεύθυνση IP με αυτό το περιεχόμενο.
• Με παρόμοιο τρόπο, αντί να αναζητήσετε μια μοναδική συμβολοσειρά, θα μπορούσατε να αναζητήσετε το favicon icon με το εργαλείο: https://github.com/karma9874/CloudFlare-IP ή με https://github.com/pielco11/fav-up
• Αυτό δεν θα λειτουργήσει πολύ συχνά γιατί ο διακομιστής πρέπει να στείλει την ίδια απάντηση όταν προσπελάζεται από τη διεύθυνση IP, αλλά ποτέ δεν ξέρετε.

Εργαλεία για την αποκάλυψη του Cloudflare

• Αναζητήστε τον τομέα μέσα σε http://www.crimeflare.org:82/cfs.html ή https://crimeflare.herokuapp.com. Ή χρησιμοποιήστε το εργαλείο CloudPeler (το οποίο χρησιμοποιεί αυτή την API)
• Αναζητήστε τον τομέα στο https://leaked.site/index.php?resolver/cloudflare.0/
• CloudFlair είναι ένα εργαλείο που θα αναζητήσει χρησιμοποιώντας τα πιστοποιητικά Censys που περιέχουν το όνομα τομέα, στη συνέχεια θα αναζητήσει IPv4s μέσα σε αυτά τα πιστοποιητικά και τελικά θα προσπαθήσει να προσπελάσει την ιστοσελίδα σε αυτές τις IPs.
• CloakQuest3r: Το CloakQuest3r είναι ένα ισχυρό εργαλείο Python που έχει σχεδιαστεί προσεκτικά για να αποκαλύψει τη πραγματική διεύθυνση IP ιστοσελίδων που προστατεύονται από το Cloudflare και άλλες εναλλακτικές, μια ευρέως υιοθετημένη υπηρεσία ασφάλειας και βελτίωσης απόδοσης ιστού. Η κύρια αποστολή του είναι να διακρίνει με ακρίβεια τη πραγματική διεύθυνση IP των διακομιστών ιστού που είναι κρυμμένοι πίσω από την προστατευτική ασπίδα του Cloudflare.
• Censys
• Shodan
• Bypass-firewalls-by-DNS-history
• Αν έχετε ένα σύνολο πιθανών IPs όπου βρίσκεται η ιστοσελίδα, θα μπορούσατε να χρησιμοποιήσετε https://github.com/hakluke/hakoriginfinder

# You can check if the tool is working with
prips 1.0.0.0/30 | hakoriginfinder -h one.one.one.one

# If you know the company is using AWS you could use the previous tool to search the
## web page inside the EC2 IPs
DOMAIN=something.com
WIDE_REGION=us
for ir in `curl https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region|test("^us")) | .ip_prefix'`; do
echo "Checking $ir"
prips $ir | hakoriginfinder -h "$DOMAIN"
done

Αποκάλυψη Cloudflare από Υποδομή Cloud

Σημειώστε ότι ακόμη και αν αυτό έγινε για μηχανές AWS, μπορεί να γίνει για οποιονδήποτε άλλο πάροχο cloud.

Για μια καλύτερη περιγραφή αυτής της διαδικασίας, ελέγξτε:

https://trickest.com/blog/cloudflare-bypass-discover-ip-addresses-aws/?utm_campaign=hacktrics&utm_medium=banner&utm_source=hacktricks

# Find open ports
sudo masscan --max-rate 10000 -p80,443 $(curl -s https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | .ip_prefix' | tr '\n' ' ') | grep "open"  > all_open.txt
# Format results
cat all_open.txt | sed 's,.*port \(.*\)/tcp on \(.*\),\2:\1,' | tr -d " " > all_open_formated.txt
# Search actual web pages
httpx -silent -threads 200 -l all_open_formated.txt -random-agent -follow-redirects -json -no-color -o webs.json
# Format web results and remove eternal redirects
cat webs.json | jq -r "select((.failed==false) and (.chain_status_codes | length) < 9) | .url" | sort -u > aws_webs.json

# Search via Host header
httpx -json -no-color -list aws_webs.json -header Host: cloudflare.malwareworld.com -threads 250 -random-agent -follow-redirects -o web_checks.json

Παράκαμψη Cloudflare μέσω Cloudflare

Αυθεντικοποιημένες Ανακτήσεις Προέλευσης

Αυτή η μηχανισμός βασίζεται σε client SSL certificates για την αυθεντικοποίηση των συνδέσεων μεταξύ των servers αντίστροφης προώθησης της Cloudflare και του server προέλευσης, που ονομάζεται mTLS.

Αντί να ρυθμίσουν το δικό τους πιστοποιητικό, οι πελάτες μπορούν απλά να χρησιμοποιήσουν το πιστοποιητικό της Cloudflare για να επιτρέψουν οποιαδήποτε σύνδεση από την Cloudflare, ανεξαρτήτως του ενοικιαστή.

Περισσότερες πληροφορίες εδώ.

Λίστα Επιτρεπόμενων Διευθύνσεων IP της Cloudflare

Αυτό θα απορρίψει τις συνδέσεις που δεν προέρχονται από τις διευθύνσεις IP της Cloudflare. Αυτό είναι επίσης ευάλωτο στην προηγούμενη ρύθμιση όπου ένας επιτιθέμενος απλά κατευθύνει το δικό του domain στην Cloudflare στη διεύθυνση IP των θυμάτων και το επιτίθεται.

Περισσότερες πληροφορίες εδώ.

Παράκαμψη Cloudflare για scraping

Cache

Μερικές φορές θέλετε απλά να παρακάμψετε την Cloudflare για να κάνετε scraping της ιστοσελίδας. Υπάρχουν μερικές επιλογές για αυτό:

• Χρησιμοποιήστε την cache της Google: https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog
• Χρησιμοποιήστε άλλες υπηρεσίες cache όπως https://archive.org/web/

Εργαλεία

Ορισμένα εργαλεία όπως τα παρακάτω μπορούν να παρακάμψουν (ή ήταν σε θέση να παρακάμψουν) την προστασία της Cloudflare κατά του scraping:

• https://github.com/sarperavci/CloudflareBypassForScraping

Cloudflare Solvers

Έχουν αναπτυχθεί αρκετοί λύτες της Cloudflare:

• FlareSolverr
• cloudscraper Οδηγός εδώ
• cloudflare-scrape
• CloudflareSolverRe
• Cloudflare-IUAM-Solver
• cloudflare-bypass [Αρχειοθετημένο]
• CloudflareSolverRe

Ενισχυμένοι Headless Browsers

Χρησιμοποιήστε έναν headless browser που δεν ανιχνεύεται ως αυτοματοποιημένος browser (μπορεί να χρειαστεί να τον προσαρμόσετε γι' αυτό). Ορισμένες επιλογές είναι:

• Puppeteer: Το stealth plugin για puppeteer.
• Playwright: Το stealth plugin έρχεται σύντομα στο Playwright. Ακολουθήστε τις εξελίξεις εδώ και εδώ.
• Selenium: Το undetected-chromedriver είναι μια βελτιστοποιημένη επιδιόρθωση του Selenium Chromedriver.

Έξυπνος Proxy με Ενσωματωμένη Παράκαμψη Cloudflare

Οι έξυπνοι proxies ενημερώνονται συνεχώς από εξειδικευμένες εταιρείες, με στόχο να ξεπεράσουν τα μέτρα ασφαλείας της Cloudflare (καθώς αυτό είναι το επαγγελμα τους).

Ορισμένοι από αυτούς είναι:

• ScraperAPI
• Scrapingbee
• Oxylabs
• Smartproxy είναι γνωστοί για τους ιδιόκτητους μηχανισμούς παράκαμψης της Cloudflare.

Για όσους αναζητούν μια βελτιστοποιημένη λύση, ο ScrapeOps Proxy Aggregator ξεχωρίζει. Αυτή η υπηρεσία ενσωματώνει πάνω από 20 παρόχους proxy σε μία μόνο API, επιλέγοντας αυτόματα τον καλύτερο και πιο οικονομικό proxy για τους στόχους σας, προσφέροντας έτσι μια ανώτερη επιλογή για την πλοήγηση στις άμυνες της Cloudflare.

Αντίστροφη Μηχανική της Προστασίας κατά των Bot της Cloudflare

Η αντίστροφη μηχανική των μέτρων κατά των bot της Cloudflare είναι μια τακτική που χρησιμοποιούν οι πάροχοι έξυπνων proxy, κατάλληλη για εκτενή scraping ιστοσελίδων χωρίς το υψηλό κόστος λειτουργίας πολλών headless browsers.

Πλεονεκτήματα: Αυτή η μέθοδος επιτρέπει τη δημιουργία μιας εξαιρετικά αποτελεσματικής παράκαμψης που στοχεύει συγκεκριμένα τους ελέγχους της Cloudflare, ιδανική για μεγάλες κλίμακες.

Μειονεκτήματα: Το μειονέκτημα είναι η πολυπλοκότητα που εμπλέκεται στην κατανόηση και την εξαπάτηση του σκόπιμα ασαφούς συστήματος κατά των bot της Cloudflare, απαιτώντας συνεχή προσπάθεια για τη δοκιμή διαφορετικών στρατηγικών και την ενημέρωση της παράκαμψης καθώς η Cloudflare ενισχύει τις προστασίες της.

Βρείτε περισσότερες πληροφορίες σχετικά με το πώς να το κάνετε αυτό στο πρωτότυπο άρθρο.

Αναφορές

• https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/