আমি কোনও ওয়েবসাইটের সমস্ত পৃষ্ঠাগুলি এবং উপ পৃষ্ঠাগুলি স্ক্র্যাপ করতে চাই (স্ক্র্যাপ দ্বারা, আমি বলতে চাই যে সমস্ত অনলাইন সামগ্রী স্থানীয় HTML ফাইলগুলিতে সংরক্ষণ করুন)।
সমস্ত পৃষ্ঠা ক্রল করার সর্বোত্তম উপযোগটি কী? আদর্শভাবে, আমি নির্দিষ্ট করতে চাই যে কতগুলি স্তর গভীর হতে পারে।
উত্তর:
আপনার দুটি বিকল্প রয়েছে:
আপনি wgetকমান্ড-লাইন ইউটিলিটিটি এর মতো ব্যবহার করতে পারেন :
wget -rl 1010আপনি যে স্তরে পুনরাবৃত্তি করতে চান তার সংখ্যার সাথে প্রতিস্থাপন করুন ।
অথবা, আপনি সাইটসাকার ব্যবহার করতে পারেন । একটি জিইউআই অ্যাপ্লিকেশন যা পুনরাবৃত্তভাবে ওয়েবসাইটগুলি ডাউনলোড করে। আপনি সাইটসকারের সাথে পুনরাবৃত্তি করতে কতটা নিচে তা নির্দিষ্ট করে দিতে পারেন।
