প্রশ্ন ট্যাগ «scrapy»

3
হেডলেস ব্রাউজার এবং স্ক্র্যাপিং - সমাধান [বন্ধ]
বন্ধ থাকে। এই প্রশ্নটি স্ট্যাক ওভারফ্লো নির্দেশিকাগুলি পূরণ করে না । এটি বর্তমানে উত্তর গ্রহণ করছে না। এই প্রশ্নটি উন্নত করতে চান? প্রশ্ন আপডেট করুন তাই এটা -বিষয়ে স্ট্যাক ওভারফ্লো জন্য। 5 বছর আগে বন্ধ । আমি ব্রাউজারের স্বয়ংক্রিয় পরীক্ষার স্যুট এবং স্ক্র্যাপিং করতে সক্ষম হেডলেস ব্রাউজার প্ল্যাটফর্মগুলির জন্য সম্ভাব্য …

23
ম্যাক ওএস এক্স 10.9 এ LxML ইনস্টল করা যাবে না
আমি LxML ইনস্টল করতে চাই যাতে আমি পরে স্কেরাপি ইনস্টল করতে পারি। আমি যখন আজ আমার ম্যাক আপডেট করেছি তখন এটি আমাকে lxML পুনরায় ইনস্টল করতে দেয় না, আমি নিম্নলিখিত ত্রুটিটি পেয়েছি: In file included from src/lxml/lxml.etree.c:314: /private/tmp/pip_build_root/lxml/src/lxml/includes/etree_defs.h:9:10: fatal error: 'libxml/xmlversion.h' file not found #include "libxml/xmlversion.h" ^ 1 error generated. …
234 python  xcode  macos  scrapy  lxml 

18
ওএসএক্স 10.11 (এল ক্যাপিটান) (সিস্টেম ইন্টিগ্রিটি প্রোটেকশন) এ স্কেরাপি ইনস্টল করার সময় "ওএসরর: [এররনো 1] অপারেশন অনুমোদিত নয়"
আমি পাইপের মাধ্যমে ওএসএক্স 10.11 (এল ক্যাপ্টেন) এ স্কেরপি পাইথন কাঠামো ইনস্টল করার চেষ্টা করছি। ইনস্টলেশন স্ক্রিপ্ট প্রয়োজনীয় মডিউলগুলি ডাউনলোড করে এবং কিছু সময়ে নিম্নলিখিত ত্রুটিটি প্রদান করে: OSError: [Errno 1] Operation not permitted: '/tmp/pip-nIfswi-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info' কমান্ডটি দিয়ে আমি ওএসএক্স 10.11 এর মূলবিহীন বৈশিষ্ট্যটি নিষ্ক্রিয় করার চেষ্টা করেছি: sudo nvram boot-args="rootless=0";sudo …

8
অ্যাজেএক্স ব্যবহার করা ওয়েবসাইটগুলি থেকে গতিশীল সামগ্রীগুলি স্ক্র্যাপ করতে স্কেরাপির ব্যবহার করা যেতে পারে?
আমি সম্প্রতি পাইথন শিখছি এবং একটি ওয়েব-স্ক্র্যাপার তৈরিতে আমার হাত ডুবিয়ে দিচ্ছি। এটা মোটেই অভিনব কিছু নয়; এর একমাত্র উদ্দেশ্য হ'ল কোনও পণ ওয়েবসাইট থেকে ডেটা বন্ধ করা এবং এই ডেটাটি এক্সেলে রাখা। বেশিরভাগ সমস্যা সমাধানযোগ্য এবং আমার চারপাশে খুব ভাল গণ্ডগোল হচ্ছে। তবে আমি একটি ইস্যুতে একটি বিশাল বাধা …

8
বিউটিফুলসৌপ এবং স্কেরিপি ক্রলারের মধ্যে পার্থক্য?
আমি এমন একটি ওয়েবসাইট তৈরি করতে চাই যা আমাজন এবং ই-বে পণ্যর দামের মধ্যে তুলনা দেখায়। এর মধ্যে কোনটি আরও ভাল কাজ করবে এবং কেন? আমি বিউটিফুলসুপের সাথে কিছুটা পরিচিত তবে স্কেরাপি ক্রলারের সাথে তেমন কিছু নেই ।

17
স্ক্র্যাপিং: এসএসএল: http://en.wikedia.org এর জন্য CERTIFICATE_VERIFY_FAILED ত্রুটি
আমি 'পাইথনের সাথে ওয়েব স্ক্র্যাপিং' থেকে কোডটি অনুশীলন করছি এবং আমার এই শংসাপত্রের সমস্যাটি রয়েছে: from urllib.request import urlopen from bs4 import BeautifulSoup import re pages = set() def getLinks(pageUrl): global pages html = urlopen("http://en.wikipedia.org"+pageUrl) bsObj = BeautifulSoup(html) for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")): if 'href' in link.attrs: if link.attrs['href'] not …

5
কীভাবে কোনও স্ক্রিপি স্পাইডারে কোনও ব্যবহারকারী নির্ধারিত যুক্তিটি পাস করবেন
আমি কোনও ব্যবহারকারীর সংজ্ঞায়িত যুক্তিটি কোনও স্ক্রাপির মাকড়সার কাছে পৌঁছে দেওয়ার চেষ্টা করছি। কেউ কীভাবে এটি করার পরামর্শ দিতে পারে? আমি -aকোথাও একটি প্যারামিটার সম্পর্কে পড়েছি তবে কীভাবে এটি ব্যবহার করতে হবে তার কোনও ধারণা নেই।

10
স্কাইরি প্রকল্পগুলি ডিবাগ করতে কীভাবে পাইচার্ম ব্যবহার করবেন
আমি পাইথন ২.7 এর সাথে স্কেরাপি 0.20 এ কাজ করছি। আমি পাই পাইচারমের একটি ভাল পাইথন ডিবাগার রয়েছে। আমি এটি ব্যবহার করে আমার স্কেরাপি মাকড়সা পরীক্ষা করতে চাই। কেউ দয়া করে কিভাবে এটি করতে জানেন? আমি যা চেষ্টা করেছি আসলে আমি স্ক্রিপ্ট হিসাবে মাকড়সা চালানোর চেষ্টা করেছি। ফলস্বরূপ, আমি সেই …

10
আমি একটি একক স্কেরাপি প্রকল্পে বিভিন্ন মাকড়সার জন্য কীভাবে পৃথক পাইপলাইন ব্যবহার করতে পারি
আমার একটি স্কেরাপি প্রকল্প রয়েছে যার মধ্যে একাধিক মাকড়সা রয়েছে। কোন মাকড়সার জন্য কোন পাইপলাইন ব্যবহার করতে হবে তার কোনও সংজ্ঞা দিতে পারি? আমি যে পাইপলাইনগুলি সংজ্ঞায়িত করেছি তা প্রতিটি মাকড়সার জন্য প্রযোজ্য নয়। ধন্যবাদ
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.