আমি নীচের ওয়েবসাইট থেকে সামগ্রী পেতে চাই। আমি যদি ফায়ারফক্স বা ক্রোমের মতো ব্রাউজার ব্যবহার করি তবে আমি চাইলে সত্যিকারের ওয়েবসাইট পৃষ্ঠাটি পেতে পারি তবে আমি পাইথন অনুরোধ প্যাকেজটি (বা wgetকমান্ড) এটি ব্যবহার করতে চাইলে এটি সম্পূর্ণ ভিন্ন HTML পৃষ্ঠা ফেরত দেয় page আমি ভেবেছিলাম ওয়েবসাইটটির বিকাশকারী এটির জন্য কিছু ব্লক তৈরি করেছে, সুতরাং প্রশ্নটি হ'ল:
অজগর অনুরোধ বা কমান্ড উইজেট ব্যবহার করে আমি কীভাবে ব্রাউজার ভিজিট নকল করব?
উত্তর:
একটি User-Agentশিরোনাম সরবরাহ করুন :
import requests
url = 'http://www.ichangtou.com/#company:data_000008.html'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
response = requests.get(url, headers=headers)
print(response.content)এফওয়াইআই, এখানে বিভিন্ন ব্রাউজারগুলির জন্য ব্যবহারকারী-এজেন্ট স্ট্রিংয়ের একটি তালিকা রয়েছে:
পার্শ্ব নোট হিসাবে, জাল-ইউজারেজেন্ট নামে একটি দুর্দান্ত উপকারী তৃতীয় পক্ষের প্যাকেজ রয়েছে যা ব্যবহারকারী এজেন্টদের উপর একটি দুর্দান্ত বিমূর্ত স্তর সরবরাহ করে:
জাল- useragent
রিয়েল ওয়ার্ল্ড ডাটাবেস সহ আধুনিক ব্যবহারকারীর আপ টু ডেট
ডেমো:
>>> from fake_useragent import UserAgent
>>> ua = UserAgent()
>>> ua.chrome
u'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36'
>>> ua.random
u'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36'PhantomJSসেলেনিয়াম সহ হেডলেস ব্রাউজার ব্যবহার করতে পারেন । ধন্যবাদ। (উত্তরটি যদি সহায়ক হয় তবে তা গ্রহণ করতে ভুলবেন না)
যদি এই প্রশ্নটি এখনও বৈধ হয়
আমি নকল ইউজার এজেন্ট ব্যবহার করেছি
ব্যবহারবিধি:
from fake_useragent import UserAgent
import requests
ua = UserAgent()
print(ua.chrome)
header = {'User-Agent':str(ua.chrome)}
print(header)
url = "https://www.hybrid-analysis.com/recent-submissions?filter=file&sort=^timestamp"
htmlContent = requests.get(url, headers=header)
print(htmlContent)আউটপুট:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1309.0 Safari/537.17
{'User-Agent': 'Mozilla/5.0 (X11; OpenBSD i386) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36'}
<Response [200]>ফায়ারফক্সকে ভুয়া ব্যবহারকারী এজেন্ট হিসাবে ব্যবহার করে এটি চেষ্টা করে দেখুন (তদুপরি, কুকিজের ব্যবহার সহ ওয়েব স্ক্র্যাপ করার জন্য এটি একটি ভাল স্টার্টআপ স্ক্রিপ্ট):
#!/usr/bin/env python2
# -*- coding: utf8 -*-
# vim:ts=4:sw=4
import cookielib, urllib2, sys
def doIt(uri):
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
page = opener.open(uri)
page.addheaders = [('User-agent', 'Mozilla/5.0')]
print page.read()
for i in sys.argv[1:]:
doIt(i)python script.py "http://www.ichangtou.com/#company:data_000008.html"উত্তরের মূলটি হ'ল যে প্রশ্নটি জিজ্ঞাসা করছে তার পরে যা আছে তা পেতে জাভাস্ক্রিপ্ট দোভাষী থাকা দরকার। আমি যা পেয়েছি তা হ'ল আমি জাভাস্ক্রিপ্ট দ্বারা ব্যাখ্যা করার আগে জসনের একটি ওয়েবসাইটে আমি যা চেয়েছিলাম তার সমস্ত তথ্য পেতে সক্ষম হয়েছি। প্রতিটি ওয়েবপৃষ্ঠা একই ফর্ম্যাটে রয়েছে আশা করে এইচটিএমএলকে কীভাবে পার্স করা হবে তাতে এটি আমার বেশ কয়েকবার সাশ্রয় করেছে।
সুতরাং আপনি যখন কোনও ওয়েবসাইট থেকে অনুরোধগুলি ব্যবহার করে কোনও প্রতিক্রিয়া পান তখন সত্যিই এইচটিএমএল / পাঠ্যের দিকে নজর দিন কারণ আপনি পাদলেখ করতে জাভাস্ক্রিপ্ট জেএসওএন খুঁজে পেতে পারেন ed