Uncovering CloudFlare

Reading time: 9 minutes

Common Techniques to Uncover Cloudflare

• आप किसी सेवा का उपयोग कर सकते हैं जो डोमेन के ऐतिहासिक DNS रिकॉर्ड प्रदान करती है। शायद वेब पृष्ठ एक IP पते पर चल रहा है जो पहले उपयोग किया गया था।
• ऐतिहासिक SSL प्रमाणपत्रों की जांच करके भी यही हासिल किया जा सकता है जो मूल IP पते की ओर इशारा कर सकते हैं।
• अन्य उपडोमेन के DNS रिकॉर्ड की भी जांच करें जो सीधे IPs की ओर इशारा कर रहे हैं, क्योंकि यह संभव है कि अन्य उपडोमेन उसी सर्वर की ओर इशारा कर रहे हों (शायद FTP, मेल या किसी अन्य सेवा की पेशकश करने के लिए)।
• यदि आप वेब एप्लिकेशन के अंदर एक SSRF पाते हैं तो आप इसका दुरुपयोग करके सर्वर का IP पता प्राप्त कर सकते हैं।
• ब्राउज़रों में वेब पृष्ठ की एक अद्वितीय स्ट्रिंग खोजें जैसे shodan (और शायद google और समान?)। शायद आप उस सामग्री के साथ एक IP पता पा सकते हैं।
• इसी तरह, अद्वितीय स्ट्रिंग की तलाश करने के बजाय, आप टूल का उपयोग करके फ़ेविकॉन आइकन की खोज कर सकते हैं: https://github.com/karma9874/CloudFlare-IP या https://github.com/pielco11/fav-up
• यह बहुत बार काम नहीं करेगा क्योंकि सर्वर को IP पते द्वारा पहुंचने पर वही प्रतिक्रिया भेजनी चाहिए, लेकिन आप कभी नहीं जानते।

Tools to uncover Cloudflare

• डोमेन की खोज करें http://www.crimeflare.org:82/cfs.html या https://crimeflare.herokuapp.com के अंदर। या टूल का उपयोग करें CloudPeler (जो उस API का उपयोग करता है)
• डोमेन की खोज करें https://leaked.site/index.php?resolver/cloudflare.0/
• CloudFlair एक टूल है जो डोमेन नाम वाले Censys प्रमाणपत्रों का उपयोग करके खोज करेगा, फिर वह उन प्रमाणपत्रों के अंदर IPv4s की खोज करेगा और अंततः उन IPs में वेब पृष्ठ तक पहुंचने की कोशिश करेगा।
• CloakQuest3r: CloakQuest3r एक शक्तिशाली Python टूल है जिसे Cloudflare और अन्य विकल्पों द्वारा सुरक्षित वेबसाइटों के वास्तविक IP पते को उजागर करने के लिए सावधानीपूर्वक तैयार किया गया है, जो एक व्यापक रूप से अपनाया गया वेब सुरक्षा और प्रदर्शन सुधार सेवा है। इसका मुख्य मिशन Cloudflare की सुरक्षा ढाल के पीछे छिपे वेब सर्वरों के वास्तविक IP पते को सटीक रूप से पहचानना है।
• Censys
• Shodan
• Bypass-firewalls-by-DNS-history
• यदि आपके पास संभावित IPs का एक सेट है जहां वेब पृष्ठ स्थित है, तो आप https://github.com/hakluke/hakoriginfinder का उपयोग कर सकते हैं।

# You can check if the tool is working with
prips 1.0.0.0/30 | hakoriginfinder -h one.one.one.one

# If you know the company is using AWS you could use the previous tool to search the
## web page inside the EC2 IPs
DOMAIN=something.com
WIDE_REGION=us
for ir in `curl https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region|test("^us")) | .ip_prefix'`; do
echo "Checking $ir"
prips $ir | hakoriginfinder -h "$DOMAIN"
done

Cloud अवसंरचना से Cloudflare का पता लगाना

ध्यान दें कि भले ही यह AWS मशीनों के लिए किया गया हो, यह किसी अन्य क्लाउड प्रदाता के लिए भी किया जा सकता है।

इस प्रक्रिया का बेहतर विवरण देखने के लिए चेक करें:

https://trickest.com/blog/cloudflare-bypass-discover-ip-addresses-aws/?utm_campaign=hacktrics&utm_medium=banner&utm_source=hacktricks

# Find open ports
sudo masscan --max-rate 10000 -p80,443 $(curl -s https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | .ip_prefix' | tr '\n' ' ') | grep "open"  > all_open.txt
# Format results
cat all_open.txt | sed 's,.*port \(.*\)/tcp on \(.*\),\2:\1,' | tr -d " " > all_open_formated.txt
# Search actual web pages
httpx -silent -threads 200 -l all_open_formated.txt -random-agent -follow-redirects -json -no-color -o webs.json
# Format web results and remove eternal redirects
cat webs.json | jq -r "select((.failed==false) and (.chain_status_codes | length) < 9) | .url" | sort -u > aws_webs.json

# Search via Host header
httpx -json -no-color -list aws_webs.json -header Host: cloudflare.malwareworld.com -threads 250 -random-agent -follow-redirects -o web_checks.json

Cloudflare को Cloudflare के माध्यम से बायपास करना

प्रमाणित मूल खींचना

यह तंत्र Cloudflare के रिवर्स-प्रॉक्सी सर्वरों और मूल सर्वर के बीच कनेक्शनों को प्रमाणित करने के लिए ग्राहक SSL प्रमाणपत्रों पर निर्भर करता है, जिसे mTLS कहा जाता है।

अपने स्वयं के प्रमाणपत्र को कॉन्फ़िगर करने के बजाय, ग्राहक Cloudflare के प्रमाणपत्र का उपयोग करके Cloudflare से किसी भी कनेक्शन की अनुमति दे सकते हैं, किरायेदार की परवाह किए बिना।

अधिक जानकारी यहां।

Cloudflare IP पते की अनुमति सूची

यह Cloudflare के IP पते की रेंज से उत्पन्न नहीं होने वाले कनेक्शनों को अस्वीकृत करेगा। यह पिछले सेटअप के लिए भी संवेदनशील है जहां एक हमलावर बस Cloudflare में अपना डोमेन पीड़ित के IP पते की ओर इंगित करता है और उस पर हमला करता है।

अधिक जानकारी यहां।

स्क्रैपिंग के लिए Cloudflare को बायपास करना

कैश

कभी-कभी आप केवल वेब पृष्ठ को स्क्रैप करने के लिए Cloudflare को बायपास करना चाहते हैं। इसके लिए कुछ विकल्प हैं:

• Google कैश का उपयोग करें: https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog
• अन्य कैश सेवाओं का उपयोग करें जैसे https://archive.org/web/

उपकरण

कुछ उपकरण जैसे निम्नलिखित Cloudflare की स्क्रैपिंग के खिलाफ सुरक्षा को बायपास कर सकते हैं (या बायपास करने में सक्षम थे):

• https://github.com/sarperavci/CloudflareBypassForScraping

Cloudflare सॉल्वर

कई Cloudflare सॉल्वर विकसित किए गए हैं:

• FlareSolverr
• cloudscraper गाइड यहां
• cloudflare-scrape
• CloudflareSolverRe
• Cloudflare-IUAM-Solver
• cloudflare-bypass [Archived]
• CloudflareSolverRe

मजबूत हेडलेस ब्राउज़र

एक हेडलेस ब्राउज़र का उपयोग करें जिसे स्वचालित ब्राउज़र के रूप में पहचान नहीं किया गया है (आपको इसके लिए इसे अनुकूलित करने की आवश्यकता हो सकती है)। कुछ विकल्प हैं:

• Puppeteer: puppeteer के लिए stealth plugin।
• Playwright: stealth plugin जल्द ही Playwright में आ रहा है। विकास का पालन करें यहां और यहां।
• Selenium: undetected-chromedriver एक अनुकूलित Selenium Chromedriver पैच है।

Cloudflare के अंतर्निहित बायपास के साथ स्मार्ट प्रॉक्सी

स्मार्ट प्रॉक्सी प्रॉक्सी को विशेष कंपनियों द्वारा लगातार अपडेट किया जाता है, जिसका उद्देश्य Cloudflare की सुरक्षा उपायों को मात देना है (क्योंकि यही उनका व्यवसाय है)।

उनमें से कुछ हैं:

• ScraperAPI
• Scrapingbee
• Oxylabs
• Smartproxy अपने स्वामित्व वाले Cloudflare बायपास तंत्र के लिए जाने जाते हैं।

जो लोग एक अनुकूलित समाधान की तलाश में हैं, ScrapeOps Proxy Aggregator विशेष रूप से उल्लेखनीय है। यह सेवा 20 से अधिक प्रॉक्सी प्रदाताओं को एकल API में एकीकृत करती है, स्वचालित रूप से आपके लक्षित डोमेन के लिए सबसे अच्छे और सबसे लागत-कुशल प्रॉक्सी का चयन करती है, इस प्रकार Cloudflare की सुरक्षा को नेविगेट करने के लिए एक उत्कृष्ट विकल्प प्रदान करती है।

Cloudflare एंटी-बॉट सुरक्षा का रिवर्स इंजीनियरिंग

Cloudflare के एंटी-बॉट उपायों का रिवर्स इंजीनियरिंग स्मार्ट प्रॉक्सी प्रदाताओं द्वारा उपयोग की जाने वाली एक रणनीति है, जो कई हेडलेस ब्राउज़रों को चलाने की उच्च लागत के बिना बड़े पैमाने पर वेब स्क्रैपिंग के लिए उपयुक्त है।

फायदे: यह विधि Cloudflare की जांचों को लक्षित करने के लिए एक अत्यधिक कुशल बायपास बनाने की अनुमति देती है, जो बड़े पैमाने पर संचालन के लिए आदर्श है।

नुकसान: नुकसान यह है कि Cloudflare की जानबूझकर अस्पष्ट एंटी-बॉट प्रणाली को समझने और धोखा देने में जटिलता शामिल है, जिसमें विभिन्न रणनीतियों का परीक्षण करने और Cloudflare की सुरक्षा को बढ़ाने के साथ बायपास को अपडेट करने के लिए निरंतर प्रयास की आवश्यकता होती है।

इस बारे में अधिक जानकारी के लिए मूल लेख देखें।

संदर्भ

• https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/