আমি পাইথন ২.7 এর সাথে স্কেরাপি 0.20 এ কাজ করছি। আমি পাই পাইচারমের একটি ভাল পাইথন ডিবাগার রয়েছে। আমি এটি ব্যবহার করে আমার স্কেরাপি মাকড়সা পরীক্ষা করতে চাই। কেউ দয়া করে কিভাবে এটি করতে জানেন?
File->Setting->Project structure->Add content root.
তবে আমার আর কী করতে হবে তা আমি জানি না
উত্তর:
scrapyকমান্ড একটি পাইথন স্ক্রিপ্ট ভিতরে PyCharm থেকে এটা শুরু করতে পারেন যার মানে।
আপনি যখন চিকিত্সার বাইনারি ( which scrapy) পরীক্ষা করেন তখন আপনি লক্ষ্য করবেন যে এটি আসলে একটি অজগর স্ক্রিপ্ট:
#!/usr/bin/python
from scrapy.cmdline import execute
execute()
এর অর্থ হ'ল একটি কমান্ডও এর মতো
scrapy crawl IcecatCrawlerকার্যকর করা যেতে পারে:python /Library/Python/2.7/site-packages/scrapy/cmdline.py crawl IcecatCrawler
Scrap.cmdline প্যাকেজটি অনুসন্ধান করার চেষ্টা করুন। আমার ক্ষেত্রে অবস্থানটি এখানে ছিল:/Library/Python/2.7/site-packages/scrapy/cmdline.py
স্ক্রিপ্ট হিসাবে স্ক্রিপ্টটি দিয়ে পাইচর্মের ভিতরে একটি রান / ডিবাগ কনফিগারেশন তৈরি করুন। স্ক্রিপি কমান্ড এবং মাকড়সা দিয়ে স্ক্রিপ্টের প্যারামিটারগুলি পূরণ করুন। এই ক্ষেত্রে crawl IcecatCrawler।
এটার মত:
আপনার ক্রলিং কোডের যে কোনও জায়গায় আপনার ব্রেকপয়েন্টগুলি রাখুন এবং এটি work কাজ করা উচিত ™
ImportError: No module named settingsআমি দেখেছি যে ওয়ার্কিং ডিরেক্টরিটি প্রকল্প ডিরেক্টরি project এটি একটি জ্যাঙ্গো প্রকল্পের মধ্যে ব্যবহার করা হয়েছে। অন্য কেউ এই সমস্যায় হোঁচট খেয়েছে?
Working directory, অন্যথায় ত্রুটি no active project, Unknown command: crawl, Use "scrapy" to see available commands, Process finished with exit code 2
আপনার কেবল এটি করা দরকার।
আপনার প্রকল্পের ক্রলার ফোল্ডারে পাইথন ফাইল তৈরি করুন। আমি main.py.
আপনার মেইনপিপি এর ভিতরে এই কোডটি নীচে রাখুন।
from scrapy import cmdline
cmdline.execute("scrapy crawl spider".split())
এবং আপনার মেইন.পি চালানোর জন্য আপনাকে "রান কনফিগারেশন" তৈরি করতে হবে।
এটি করা, আপনি যদি নিজের কোডটিতে ব্রেকপয়েন্ট রাখেন তবে এটি সেখানেই থামবে।
2018.1 হিসাবে এটি অনেক সহজ হয়ে গেছে। আপনি এখন Module nameআপনার প্রকল্পের মধ্যে নির্বাচন করতে পারেন Run/Debug Configuration। এটিকে scrapy.cmdlineএবং Working directoryস্ক্র্যাপি প্রকল্পের মূল ডায়ারে সেট করুন ( settings.pyএটির সাথে একটি)।
তাই ভালো:
এখন আপনি আপনার কোডটি ডিবাগ করতে ব্রেকপয়েন্টগুলি যুক্ত করতে পারেন।
আমি পাইথন ৩.০.০ এর সাথে একটি ভার্চুয়ালেনভের স্ক্র্যাপি চালাচ্ছি এবং /path_to_project_env/env/bin/scrapyআমার জন্য সমস্যাটি সমাধানের জন্য "স্ক্রিপ্ট" পরামিতি সেট করছি।
project/crawler/crawler, অর্থাৎ ডিরেক্টরিটি ধারণ করে __init__.py।
ইন্টেলিজ আইডিয়াও কাজ করে।
main.py তৈরি করুন :
#!/usr/bin/env python
# -*- coding: utf-8 -*-
#coding=utf-8
import sys
from scrapy import cmdline
def main(name):
if name:
cmdline.execute(name.split())
if __name__ == '__main__':
print('[*] beginning main thread')
name = "scrapy crawl stack"
#name = "scrapy crawl spa"
main(name)
print('[*] main thread exited')
print('main stop====================================================')
নীচে দেখান:
আমি পাইচার্মও ব্যবহার করছি, তবে আমি এর বিল্ট-ইন ডিবাগিং বৈশিষ্ট্যগুলি ব্যবহার করছি না।
ডিবাগিংয়ের জন্য আমি ব্যবহার করছি ipdb। আমি যে import ipdb; ipdb.set_trace()কোনও লাইনে সন্নিবেশ করতে একটি কীবোর্ড শর্টকাট সেট আপ করেছি আমি চাই ব্রেক ব্রেকটি ঘটুক।
তারপরে আমি nপরবর্তী বিবৃতিটি কার্যকর করতে টাইপ করতে পারি , sকোনও ফাংশনে পদক্ষেপ নিতে, কোনও বস্তুর নাম দেখতে তার মান দেখতে টাইপ cকরতে পারি , কার্যকর প্রয়োগের পরিবেশ পরিবর্তন করতে পারি , কার্যকর করতে চালিয়ে যেতে টাইপ করতে পারি ...
এটি খুব নমনীয়, পাইচার্ম ব্যতীত অন্য পরিবেশে কাজ করে, যেখানে আপনি কার্যকর করার পরিবেশ নিয়ন্ত্রণ করেন না।
শুধু আপনার ভার্চুয়াল পরিবেশে টাইপ pip install ipdbএবং স্থান import ipdb; ipdb.set_trace()একটি লাইন যেখানে আপনি সঞ্চালনের বিরাম করতে চান।
ডকুমেন্টেশন অনুসারে https://doc.scrap.org/en/latest/topics/practices.html
import scrapy
from scrapy.crawler import CrawlerProcess
class MySpider(scrapy.Spider):
# Your spider definition
...
process = CrawlerProcess({
'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})
process.crawl(MySpider)
process.start() # the script will block here until the crawling is finished
@ রডরিগো উত্তরটির সংস্করণ প্রসারিত করে আমি এই স্ক্রিপ্টটি যুক্ত করেছি এবং এখন আমি স্ট্রিংয়ের পরিবর্তে কনফিগারেশন থেকে মাকড়সার নামটি সেট করতে পারি।
import sys
from scrapy import cmdline
cmdline.execute(f"scrapy crawl {sys.argv[1]}".split())