আমি কীভাবে একটি সম্পূর্ণ ওয়েবসাইট ডাউনলোড করতে পারি?

Question

আমি একটি সম্পূর্ণ ওয়েবসাইট ডাউনলোড করতে চাই (উপ-সাইট সহ)। এর জন্য কি কোনও সরঞ্জাম আছে?

Comments

ঠিক কি আপনি অর্জন করার চেষ্টা করছেন? আপনার প্রশ্নের শিরোনাম এবং সামগ্রী সম্পর্কিত নয় এবং সামগ্রীটি সুনির্দিষ্ট নয়।

— RolandiXor

এনবি, কেবল নিম্নলিখিত লিঙ্কগুলি (উদাহরণস্বরূপ, --convert-linksউইজেটে ব্যবহার করে ) এমন সাইটগুলি প্রকাশ করবে না যা কেবলমাত্র অন্যান্য জিনিসগুলির মধ্যে ফর্ম জমা দেওয়ার মাধ্যমে প্রকাশিত হয়।

— স্টিভেন

Answer 1

এখান থেকে 10 উদাহরণ চেষ্টা করুন :

wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL

• –mirror : মিরর করার জন্য উপযুক্ত বিকল্পগুলি চালু করুন।

• -p : প্রদত্ত এইচটিএমএল পৃষ্ঠা সঠিকভাবে প্রদর্শন করতে প্রয়োজনীয় সমস্ত ফাইল ডাউনলোড করুন।

• --convert-links : ডাউনলোডের পরে, স্থানীয় দেখার জন্য লিঙ্কগুলিকে নথিতে রূপান্তর করুন।

• -P ./LOCAL-DIR : সমস্ত ফাইল এবং ডিরেক্টরিগুলি নির্দিষ্ট ডিরেক্টরিতে সংরক্ষণ করুন।

Comments

কেবলমাত্র কয়েকটি পৃষ্ঠাগুলি ডাউনলোড করার কোনও উপায় আছে (উদাহরণস্বরূপ, নিবন্ধের বেশ কয়েকটি অংশ যা বেশ কয়েকটি এইচটিএমএল নথিগুলিতে ছড়িয়ে পড়ে)?

— don.joey

@ প্রাইভেট হ্যাঁ, যদিও পৃষ্ঠাগুলি পাওয়ার জন্য অজগর বা কিছু ব্যবহার করা সম্ভবত সহজ (লেআউট / url এর উপর নির্ভরশীল)। যদি পৃষ্ঠাগুলির url ক্রমাগত বর্ধমান সংখ্যার দ্বারা পৃথক হয় বা আপনার পৃষ্ঠাগুলির একটি তালিকা থাকে তবে আপনি সম্ভবত ব্যাশ স্ক্রিপ্টে উইজেট ব্যবহার করতে পারেন।

— বাস্তবতা

আপনি --wait=secondsযদি সাইটের সাথে আরও বন্ধুত্বপূর্ণ হতে চান তবে আপনি যুক্তিটি ব্যবহার করে বিবেচনা করতে পারেন; এটি পুনরুদ্ধারের মধ্যে সেকেন্ডের নির্দিষ্ট সংখ্যার জন্য অপেক্ষা করবে।

— belacqua

উপরের কাজ করে তবে জুমলার জন্য প্যারামিটারাইজড ইউআরএল এমন ফাইল তৈরি করে যা স্থানীয়ভাবে লিঙ্কযুক্ত নয়। আমার পক্ষে কাজ করা একজন হলেন

— এএম

এছাড়াও --no-parentথেকে নেওয়া "পেরেন্ট ডাইরেক্টরি আরোহন কখনো" থেকে এখানে ।

— ড্যানিয়েল

Answer 2

httrack হল আপনি যে সরঞ্জামটি সন্ধান করছেন।

এইচটিট্র্যাক আপনাকে ইন্টারনেট থেকে একটি স্থানীয় ডিরেক্টরিতে একটি ওয়ার্ল্ড ওয়াইড ওয়েব সাইট ডাউনলোড করতে, পুনরায় ক্রমান্বয়ে সমস্ত ডিরেক্টরি তৈরি করতে, সার্ভার থেকে আপনার কম্পিউটারে এইচটিএমএল, চিত্র এবং অন্যান্য ফাইল প্রাপ্ত করার অনুমতি দেয়। এইচটি ট্র্যাক মূল সাইটের আপেক্ষিক লিঙ্ক-কাঠামোটি সাজিয়েছে।

Answer 3

সঙ্গে wgetআপনি একটি সম্পূর্ণ ওয়েবসাইট ডাউনলোড করতে পারেন, আপনি ব্যবহার করা উচিত -rএকটি জন্য সুইচ রিকার্সিভ ডাউনলোড করুন। উদাহরণ স্বরূপ,

wget -r http://www.google.com

Answer 4

ওয়েবেটিট্র্যাক ওয়েব কপিয়ার হ'ল একটি অনন্য সরঞ্জাম যা আপনার হার্ড ডিস্কে অফলাইন ব্রাউজিংয়ের জন্য একটি সম্পূর্ণ ওয়েবসাইট ডাউনলোড করতে পারে। উবুন্টু সফ্টওয়্যার কেন্দ্র চালু করুন এবং অনুসন্ধান বাক্সে উদ্ধৃতিগুলি ছাড়াই "ওয়েবহ্যাটট্র্যাক ওয়েবসাইট কপিয়ার" টাইপ করুন। আপনার সিস্টেমে সফ্টওয়্যার কেন্দ্র থেকে এটি নির্বাচন করুন এবং ডাউনলোড করুন। ল্যাচার বা শুরু মেনু থেকে ওয়েবএইচটিট্র্যাক শুরু করুন, সেখান থেকে আপনি আপনার সাইট ডাউনলোডের জন্য দুর্দান্ত সরঞ্জামটি উপভোগ করতে পারবেন

Answer 5

আমি সাব ডোমেনগুলি, অর্থাত, সাব-সাইটগুলি সম্পর্কে জানি না, তবে একটি সম্পূর্ণ সাইট দখল করতে উইজেট ব্যবহার করা যেতে পারে। কটাক্ষপাত এই সুপার-ইউজার প্রশ্ন । এটি বলে যে আপনি -D domain1.com,domain2.comএকক স্ক্রিপ্টে বিভিন্ন ডোমেন ডাউনলোড করতে ব্যবহার করতে পারেন । আমি মনে করি আপনি সাব-ডোমেনগুলি ডাউনলোড করতে সেই বিকল্পটি ব্যবহার করতে পারেন-D site1.somesite.com,site2.somesite.com

Answer 6

আমি বার্প ব্যবহার করি - মাকড়সা সরঞ্জামটি ওয়াজেটের চেয়ে অনেক বেশি বুদ্ধিমান এবং প্রয়োজনে বিভাগগুলি এড়াতে কনফিগার করা যায়। বার্প স্যুট নিজেই পরীক্ষায় সহায়তার জন্য সরঞ্জামগুলির একটি শক্তিশালী সেট, তবে মাকড়সার সরঞ্জামটি খুব কার্যকর।

Comments

শুধু বুড়ো উইন্ডোজ নয়? বার্পের জন্য ক্লোজড সোর্স লাইসেন্স চুক্তিটিও বেশ ভারী। মূল্য ট্যাগের উল্লেখ না করে $ 299.00:

— ক্যাট আমস্টারডাম

লাইসেন্স থেকে: সতর্কতা: বার্ব স্যুট বিনামূল্যে সংস্করণের জন্য সিকিওরিটি ফ্ল্যাশগুলির পরীক্ষা করার জন্য ডিজাইন করা হয়েছে এবং এটির কার্যকারিতাটির প্রকৃতির জন্য সিস্টেম সিস্টেমে ক্ষতি করতে পারে। নিরাপত্তা তদন্তের পরীক্ষা নিরঙ্কুশভাবে অ-স্ট্যান্ডার্ড রাস্তায় টার্গেটের সাথে ইন্টারঅ্যাক্টিংয়ের অন্তর্ভুক্ত যা কিছু ভার্চুয়াল টার্গেটগুলিতে সমস্যা সৃষ্টি করতে পারে। আপনি সফ্টওয়্যারটি ব্যবহার করার পরে আপনাকে সঠিক যত্ন নিতে হবে, আপনি ব্যবহারের আগে সমস্ত ডকুমেন্টেশন পড়তে হবে, আপনি ব্যবহারের আগে টার্গেটের সিস্টেমগুলি ব্যাক করা উচিত এবং আপনি অন্য কোনও সিস্কের জন্য উত্পাদন ব্যবস্থায় সফ্টওয়্যার ব্যবহার করতে পারবেন না O ।

— ক্যাট আমস্টারডাম

এটি যা করে তার জন্য, দাম ট্যাগটি আশ্চর্যজনকভাবে সস্তা I আমি এটি বিস্তৃত সুরক্ষা পরীক্ষার জন্য কেনার পরামর্শ দেব। আপনি যেমন চান ঠিক তেমন পরীক্ষা করার জন্য এটির কনফিগার করা খুব সহজ - কিছু ক্ষেত্রে অ্যাপস্ক্যানের চেয়েও নিরাপদ :-)

— ররি আলসপ

@ কেট আমস্টারডাম বিশেষভাবে সামঞ্জস্যতার প্রশ্ন সম্পর্কে: উইকিপিডিয়া অনুসারে , বার্প স্যুট একটি জাভা অ্যাপ্লিকেশন, সুতরাং এটি উবুন্টুতে জরিমানা করা উচিত ।

— এলিয়াহ কাগন

ক্যাট - এটি লিনাক্সের বিভিন্ন স্বাদে ঠিক চলছে। সুরক্ষা মূল্যায়নের জন্য আপনি যে কোনও সরঞ্জাম ব্যবহার করতে পারেন লাইসেন্স সম্পর্কিত সতর্কতা হ'ল।

— ররি আলসপ

Answer 7

আপনি সম্পূর্ণ ওয়েবসাইট কমান্ড ডাউনলোড করতে পারেন:

wget -r -l 0 website

উদাহরণ:

wget -r -l 0 http://google.com

Comments

আপনি দয়া করে ব্যাখ্যা করতে পারেন যে এই আদেশটি কীভাবে কাজ করে? এর মানে কি?

— কাজ ওল্ফ

Answer 8

গতি একটি উদ্বেগের বিষয় (এবং সার্ভারের সুস্থতা নয়), তাহলে আপনি চেষ্টা করে দেখতে পারেন PUF , যা মত কাজ করে wget হয় কিন্তু সমান্তরাল বিভিন্ন পেজ ডাউনলোড করতে পারেন। এটি অবশ্য কোনও সমাপ্ত পণ্য নয়, রক্ষণাবেক্ষণ এবং ভয়াবহভাবে স্বাক্ষরিত নয়। তবুও, প্রচুর এবং প্রচুর ছোট ফাইল সহ একটি ওয়েবসাইট ডাউনলোড করার জন্য, এটি একটি ভাল বিকল্প হতে পারে।