প্রশ্ন ট্যাগ «scrapy»

বন্ধ থাকে। এই প্রশ্নটি স্ট্যাক ওভারফ্লো নির্দেশিকাগুলি পূরণ করে না । এটি বর্তমানে উত্তর গ্রহণ করছে না। এই প্রশ্নটি উন্নত করতে চান? প্রশ্ন আপডেট করুন তাই এটা -বিষয়ে স্ট্যাক ওভারফ্লো জন্য। 5 বছর আগে বন্ধ । আমি ব্রাউজারের স্বয়ংক্রিয় পরীক্ষার স্যুট এবং স্ক্র্যাপিং করতে সক্ষম হেডলেস ব্রাউজার প্ল্যাটফর্মগুলির জন্য সম্ভাব্য …

368 selenium  web-scraping  scrapy  phantomjs  casperjs 

আমি LxML ইনস্টল করতে চাই যাতে আমি পরে স্কেরাপি ইনস্টল করতে পারি। আমি যখন আজ আমার ম্যাক আপডেট করেছি তখন এটি আমাকে lxML পুনরায় ইনস্টল করতে দেয় না, আমি নিম্নলিখিত ত্রুটিটি পেয়েছি: In file included from src/lxml/lxml.etree.c:314: /private/tmp/pip_build_root/lxml/src/lxml/includes/etree_defs.h:9:10: fatal error: 'libxml/xmlversion.h' file not found #include "libxml/xmlversion.h" ^ 1 error generated. …

234 python  xcode  macos  scrapy  lxml 

আমি পাইপের মাধ্যমে ওএসএক্স 10.11 (এল ক্যাপ্টেন) এ স্কেরপি পাইথন কাঠামো ইনস্টল করার চেষ্টা করছি। ইনস্টলেশন স্ক্রিপ্ট প্রয়োজনীয় মডিউলগুলি ডাউনলোড করে এবং কিছু সময়ে নিম্নলিখিত ত্রুটিটি প্রদান করে: OSError: [Errno 1] Operation not permitted: '/tmp/pip-nIfswi-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info' কমান্ডটি দিয়ে আমি ওএসএক্স 10.11 এর মূলবিহীন বৈশিষ্ট্যটি নিষ্ক্রিয় করার চেষ্টা করেছি: sudo nvram boot-args="rootless=0";sudo …

206 python  macos  python-2.7  scrapy 

আমি সম্প্রতি পাইথন শিখছি এবং একটি ওয়েব-স্ক্র্যাপার তৈরিতে আমার হাত ডুবিয়ে দিচ্ছি। এটা মোটেই অভিনব কিছু নয়; এর একমাত্র উদ্দেশ্য হ'ল কোনও পণ ওয়েবসাইট থেকে ডেটা বন্ধ করা এবং এই ডেটাটি এক্সেলে রাখা। বেশিরভাগ সমস্যা সমাধানযোগ্য এবং আমার চারপাশে খুব ভাল গণ্ডগোল হচ্ছে। তবে আমি একটি ইস্যুতে একটি বিশাল বাধা …

145 javascript  python  ajax  screen-scraping  scrapy 

আমি এমন একটি ওয়েবসাইট তৈরি করতে চাই যা আমাজন এবং ই-বে পণ্যর দামের মধ্যে তুলনা দেখায়। এর মধ্যে কোনটি আরও ভাল কাজ করবে এবং কেন? আমি বিউটিফুলসুপের সাথে কিছুটা পরিচিত তবে স্কেরাপি ক্রলারের সাথে তেমন কিছু নেই ।

134 python  beautifulsoup  scrapy  web-crawler 

আমি 'পাইথনের সাথে ওয়েব স্ক্র্যাপিং' থেকে কোডটি অনুশীলন করছি এবং আমার এই শংসাপত্রের সমস্যাটি রয়েছে: from urllib.request import urlopen from bs4 import BeautifulSoup import re pages = set() def getLinks(pageUrl): global pages html = urlopen("http://en.wikipedia.org"+pageUrl) bsObj = BeautifulSoup(html) for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")): if 'href' in link.attrs: if link.attrs['href'] not …

113 python  web-scraping  beautifulsoup  scrapy  ssl-certificate 

আমি কোনও ব্যবহারকারীর সংজ্ঞায়িত যুক্তিটি কোনও স্ক্রাপির মাকড়সার কাছে পৌঁছে দেওয়ার চেষ্টা করছি। কেউ কীভাবে এটি করার পরামর্শ দিতে পারে? আমি -aকোথাও একটি প্যারামিটার সম্পর্কে পড়েছি তবে কীভাবে এটি ব্যবহার করতে হবে তার কোনও ধারণা নেই।

102 python  scrapy  web-crawler 

আমি পাইথন ২.7 এর সাথে স্কেরাপি 0.20 এ কাজ করছি। আমি পাই পাইচারমের একটি ভাল পাইথন ডিবাগার রয়েছে। আমি এটি ব্যবহার করে আমার স্কেরাপি মাকড়সা পরীক্ষা করতে চাই। কেউ দয়া করে কিভাবে এটি করতে জানেন? আমি যা চেষ্টা করেছি আসলে আমি স্ক্রিপ্ট হিসাবে মাকড়সা চালানোর চেষ্টা করেছি। ফলস্বরূপ, আমি সেই …

100 python  debugging  python-2.7  scrapy  pycharm 

আমার একটি স্কেরাপি প্রকল্প রয়েছে যার মধ্যে একাধিক মাকড়সা রয়েছে। কোন মাকড়সার জন্য কোন পাইপলাইন ব্যবহার করতে হবে তার কোনও সংজ্ঞা দিতে পারি? আমি যে পাইপলাইনগুলি সংজ্ঞায়িত করেছি তা প্রতিটি মাকড়সার জন্য প্রযোজ্য নয়। ধন্যবাদ

85 python  scrapy  web-crawler