আমি কীভাবে একটি সম্পূর্ণ ওয়েবসাইট ডাউনলোড করতে পারি?


351

আমি কীভাবে কোনও ওয়েবসাইট থেকে সমস্ত পৃষ্ঠা ডাউনলোড করতে পারি?

যে কোনও প্ল্যাটফর্ম ঠিক আছে।


2
পরীক্ষা করে দেখুন serverfault.com/questions/45096/website-backup-and-download সার্ভার ফল্ট করেন।
মার্কো কার্টার

@ নরর্থকুট, আমিও অবাক। যদি আমি ভয়াবহরূপে ভুল মনে না করি তবে আমার উইজেটের উত্তরটি গ্রহণযোগ্য হিসাবে ব্যবহৃত হত এবং এটি কোনও নিষ্পত্তির মতো লাগে। আমি যদিও অভিযোগ করছি না - হঠাৎ করে নতুন করে মনোনিবেশ আমাকে অনুগ্রহের যোগ্যতার চেয়ে বেশি দেয়। : পি
জোনিক

আপনি আইডিএম চেষ্টা করেছিলেন? superuser.com/questions/14403/… আমার পোস্টটি নিচে সমাহিত করা হয়েছে। আইডিএম-এ আপনি কী অনুপস্থিত খুঁজে পেয়েছেন?
Lazer

5
@ জো: আপনি অনুপস্থিত বৈশিষ্ট্যগুলি কী কী সম্পর্কে বিস্তারিত জানাতে চাইলে সহায়তা করুন ...
ইলারি কাজাজে

ব্রাউজ-অফলাইন.কম ওয়েব সাইটের সম্পূর্ণ ট্রিটি ডাউনলোড করতে পারে যাতে আপনি পারেন ... এটি অফলাইনে ব্রাউজ করুন
মেনেলাওস ভার্জিস

উত্তর:


334

HTTRACK একটি সম্পূর্ণ সাইটের সামগ্রী অনুলিপি করার জন্য চ্যাম্পের মতো কাজ করে। সক্রিয় কোড সামগ্রী সহ অফলাইনে কাজ করে কোনও ওয়েবসাইট তৈরি করার জন্য এই সরঞ্জামটি প্রয়োজনীয় টুকরোগুলিও দখল করতে পারে। এটি অফলাইনে প্রতিরূপ তৈরি করতে পারে এমন জিনিসগুলিতে আমি অবাক হয়েছি।

এই প্রোগ্রামটি আপনার যা যা প্রয়োজন তা করবে।

শুভ শিকার!


7
বছরের পর বছর ধরে এটি ব্যবহার করা হয়েছে - অত্যন্ত প্রস্তাবিত।
উম্বার ফেরুলি

4
এটি কি সার্ভারে চালিত প্রকৃত এএসপি কোডটি অনুলিপি করবে?
ট্যাপট্রনিক

8
@ অপ্টিমাল সলিউশন: না, এটি সম্ভব নয়। এর জন্য আপনার সার্ভার বা সোর্স কোড অ্যাক্সেস দরকার।
সাশা চেদিগোভ

2
অনুমোদনের সাথে httrack এবং উইজেট উভয়ই সাইটের চেষ্টা করার পরে, আমাকে উইজেটের পক্ষে ঝুঁকতে হবে। এই ক্ষেত্রে httrack কাজ করতে পারেনি।
লিও

1
প্রমাণীকরণের বিকল্প কী?
ভিনসেন্ট ম্যাথেজ

272

এই ধরণের কাজের জন্য উইজেট একটি ক্লাসিক কমান্ড-লাইন সরঞ্জাম। এটি বেশিরভাগ ইউনিক্স / লিনাক্স সিস্টেমের সাথে আসে এবং আপনি এটি উইন্ডোজের জন্যও পেতে পারেন । ম্যাকের উপর, হোমব্রু হ'ল এটি ইনস্টল করার সহজতম উপায় ( brew install wget)।

আপনি কিছু করতে চাই:

wget -r --no-parent http://site.com/songs/

আরও তথ্যের জন্য, উইজেট ম্যানুয়াল এবং এর উদাহরণগুলি দেখুন বা উদাহরণস্বরূপ:


12
এর চেয়ে ভাল উত্তর আর নেই
উইজেট

6
- না-পিতামাতার অন্তর্ভুক্ত করার জন্য +1 অবশ্যই -আর এর পরিবর্তে - এমিরর ব্যবহার করুন। এবং আপনি অন্যান্য সার্ভারের লিঙ্কগুলি অনুসরণ না করার জন্য -L / - অন্তর্ভুক্ত করতে চাইতে পারেন।
কোয়াকোট কোয়েসোট

2
আমি যেমন httrack.com হিসাবে জিজ্ঞাসা করেছি - এই সেন্টিমিডি লাইন সরঞ্জামটি কি এএসপি কোড পাবে বা এটি কেবল এইচটিএমএলটির উপস্থাপনা পাবে? আমি এটি চেষ্টা করতে হবে। এটি যদি হয় তবে বিকাশকারীদের জন্য এটি কিছুটা উদ্বেগজনক হতে পারে ...
ট্যাপট্রনিক

6
@ আপ্টিমাল, অবশ্যই এইচটিএমএল আউটপুট - সার্ভারটি খারাপভাবে কনফিগার করা থাকলে কোডটি পাওয়া যাবে
জোনিক

2
দুর্ভাগ্যক্রমে এটি আমার পক্ষে কাজ করে না - CSS ফাইলগুলির লিঙ্কগুলির সাথে একটি সমস্যা রয়েছে, সেগুলি আপেক্ষিক হিসাবে পরিবর্তিত হয় না, আপনি ফাইলগুলিতে এরকম কিছু দেখতে পাবেন: <লিঙ্ক rel = "স্টাইলশিট" টাইপ = "পাঠ্য / সিএসএস" href = "/ স্ট্যাটিক / সিএসএস / রিসেট.সিএস" মিডিয়া = "স্ক্রিন" /> যা স্থানীয়ভাবে ভাল কাজ করে না, যদি না ফায়ার ফক্সকে নির্দিষ্ট দির একটি শিকড় বলে মনে করার কৌশল না থাকে।
জন্মে

148

উইজেট ব্যবহার করুন:

wget -m -p -E -k www.example.com

বিকল্পগুলি ব্যাখ্যা করা হয়েছে:

-m, --mirror            Turns on recursion and time-stamping, sets infinite 
                          recursion depth, and keeps FTP directory listings.
-p, --page-requisites   Get all images, etc. needed to display HTML page.
-E, --adjust-extension  Save HTML/CSS files with .html/.css extensions.
-k, --convert-links     Make links in downloaded HTML point to local files.

8
প্রস্তাবিত বিকল্পগুলির জন্য ব্যাখ্যা সরবরাহের জন্য +1। (যদিও আমি নিজেকে --mirrorখুব স্ব-ব্যাখ্যামূলক বলে মনে করি না is ম্যান পৃষ্ঠা থেকে এখানে: " এই বিকল্পটি পুনরাবৃত্তি এবং সময়-স্ট্যাম্পিং চালু করে, অসীম পুনরাবৃত্তির গভীরতা নির্ধারণ করে এবং এফটিপি ডিরেক্টরি তালিকা রাখে currently এটি বর্তমানে -r -N এর সমতুল্য - l inf
--no-

2
আপনি যে ডোমেনটি আয়না করতে চান তার নাম সহ কোনও ফোল্ডারে সবকিছু ডাউনলোড করতে না চাইলে আপনার নিজের ফোল্ডারটি তৈরি করুন এবং -nH বিকল্পটি (যা হোস্টের অংশটি এড়িয়ে যায়) ব্যবহার করুন।
রাফায়েল বুগাজেউস্কি

2
অউথের প্রয়োজন হলে কী হবে?
Val,

4
আমি আপনার ব্যবহার করার চেষ্টা করেছি wget --mirror -p --html-extension --convert-links www.example.comএবং এটি কেবল সূচকটি ডাউনলোড করেছে। আমার মনে -rহয় পুরো সাইটটি ডাউনলোড করার জন্য আপনার দরকার ।
এরিক ব্রোটো

4
ট্রাফিক / অত্যধিক অনুরোধ কারণে একটি সাইট হত্যা নিয়ে চিন্তিত তাদের জন্য, ব্যবহার -w seconds(অনুরোধ, বা মধ্যে secconds একটি নম্বর অপেক্ষা করতে --limit-rate=amount, সর্বোচ্চ ব্যান্ডউইডথ নির্দিষ্ট করতে ব্যবহার করতে ডাউনলোড করার সময়
Vlad-ardelean


8

ইন্টারনেট ডাউনলোড ম্যানেজারের অনেকগুলি বিকল্পের সাথে একটি সাইট গ্র্যাবার ইউটিলিটি রয়েছে - যা আপনাকে যে কোনও ওয়েবসাইট, যেভাবে আপনি চান তা পুরোপুরি ডাউনলোড করতে দেয়।

  1. আপনি পৃষ্ঠাগুলি / ফাইলগুলির আকারের সীমাটি নির্ধারণ করতে পারেন

  2. আপনি দেখার জন্য শাখা সাইটগুলির সংখ্যা নির্ধারণ করতে পারেন

  3. স্ক্রিপ্ট / পপআপ / নকলের আচরণের পদ্ধতিটি আপনি পরিবর্তন করতে পারেন

  4. আপনি কোনও ডোমেন নির্দিষ্ট করতে পারবেন, কেবলমাত্র সেই ডোমেনের অধীনে প্রয়োজনীয় সেটিংসে সমস্ত পৃষ্ঠাগুলি / ফাইলগুলি ডাউনলোড করা হবে

  5. ব্রাউজিংয়ের জন্য লিঙ্কগুলিকে অফলাইন লিঙ্কগুলিতে রূপান্তর করা যেতে পারে

  6. আপনার কাছে টেমপ্লেট রয়েছে যা আপনাকে আপনার জন্য উপরের সেটিংসটি চয়ন করতে দেয়

এখানে চিত্র বর্ণনা লিখুন

সফ্টওয়্যারটি যদিও নিখরচায় নয় - দেখুন এটি আপনার প্রয়োজনীয়তার সাথে খাপ খায়, মূল্যায়ন সংস্করণটি ব্যবহার করুন।



5

ব্রাউজারগুলি যে অনলাইন বাফারিংগুলি ব্যবহার করে তা আমি সম্বোধন করব ...

সাধারণত বেশিরভাগ ব্রাউজার আপনার ওয়েবসাইট থেকে ডাউনলোড করা ফাইলগুলিকে কিছুটা সময় ধরে রাখার জন্য একটি ব্রাউজিং ক্যাশে ব্যবহার করে যাতে আপনাকে বারবার স্থির চিত্র এবং সামগ্রী ডাউনলোড করতে না হয়। এটি কিছু পরিস্থিতিতে কিছুটা গতি বাড়িয়ে তুলতে পারে। সাধারণভাবে বলতে গেলে, বেশিরভাগ ব্রাউজারের ক্যাচগুলি একটি নির্দিষ্ট আকারের মধ্যে সীমাবদ্ধ থাকে এবং এটি যখন এই সীমাটিকে আঘাত করে, তখন এটি ক্যাশে থাকা প্রাচীনতম ফাইলগুলি মুছবে।

আইএসপিগুলিতে ক্যাচিং সার্ভার থাকে যা ইএসপিএন এবং সিএনএন এর মতো সাধারণত অ্যাক্সেস করা ওয়েবসাইটগুলির অনুলিপি রাখে। এটি তাদের নেটওয়ার্কগুলিতে যখনই কেউ সেখানে যায় ততবার এই সাইটগুলিকে আঘাত করার ঝামেলা বাঁচায়। আইএসপি-তে বহিরাগত সাইটগুলিতে সদৃশ অনুরোধগুলির পরিমাণে এটি একটি গুরুত্বপূর্ণ সঞ্চয় হিসাবে পরিমাণ হতে পারে।




4

আমি বহু বছরে এটি করিনি, তবে এখনও সেখানে কয়েকটি ইউটিলিটি রয়েছে। আপনি ওয়েব স্নেক চেষ্টা করতে পারেন । আমি বিশ্বাস করি আমি এটি বহু বছর আগে ব্যবহার করেছি। আমি আপনার প্রশ্নটি পড়ার সাথে সাথেই নামটির কথা মনে পড়ে গেল।

আমি স্টিসির সাথে একমত তাদের সাইট হাতুড়ি করবেন না দয়া করে। খুব খারাপ.


3

ব্যবহার করে দেখুন ব্যাকস্ট্রীট ব্রাউজার

এটি একটি নিখরচায়, শক্তিশালী অফলাইন ব্রাউজার। একটি হাই-স্পিড, মাল্টি-থ্রেডিং ওয়েবসাইট ডাউনলোড এবং দেখার প্রোগ্রাম। একসাথে একাধিক সার্ভার অনুরোধ করে, ব্যাকস্ট্রিট ব্রাউজারটি পুরো ওয়েবসাইট বা এইচটিএমএল, গ্রাফিক্স, জাভা অ্যাপলেটস, সাউন্ড এবং অন্যান্য ব্যবহারকারীর সংজ্ঞাযোগ্য ফাইলগুলি সহ একটি সাইটের কিছু অংশ দ্রুত ডাউনলোড করতে পারে এবং আপনার হার্ড ড্রাইভের সমস্ত ফাইলকে তাদের স্থানীয় ফর্ম্যাটে সংরক্ষণ করতে পারে, বা একটি সংকুচিত জিপ ফাইল হিসাবে এবং অফলাইন দেখুন।

এখানে চিত্র বর্ণনা লিখুন


3

টেলিপোর্ট প্রো হ'ল একটি নিখরচায় সমাধান যা আপনার টার্গেট যাই হোক না কেন থেকে যে কোনও এবং সমস্ত ফাইল অনুলিপি করে দেবে (এর সাথে একটি অর্থ প্রদানের সংস্করণও রয়েছে যা আপনাকে আরও পৃষ্ঠাগুলির সামগ্রীতে টানতে দেয়)।


3

ডাউনথেমএল একটি ফায়ারফক্স অ্যাড-অন যা একক ক্লিকে একটি নির্দিষ্ট ওয়েব পৃষ্ঠার জন্য সমস্ত সামগ্রী (অডিও বা ভিডিও ফাইলগুলি, উদাহরণস্বরূপ) ডাউনলোড করবে। এটি পুরো সাইটটি ডাউনলোড করে না, তবে এটি যে ধরণের প্রশ্নটি খুঁজছিল তা হতে পারে।


এটি কেবল লিঙ্কগুলি (এইচটিএমএল) এবং মিডিয়া (চিত্রগুলি) ডাউনলোড করতে সক্ষম।
আইন

3

লিনাক্স এবং ওএস এক্স এর জন্য: ডাব্লুআরসি ফাইলগুলিতে পুরো ওয়েবসাইট সংরক্ষণাগারভুক্ত করার জন্য গ্র্যাব-সাইট লিখেছিলাম । এই ওয়ার্ক ফাইলগুলি ব্রাউজ বা নিষ্কাশন করা যেতে পারে । গ্র্যাব-সাইট আপনাকে নিয়মিত এক্সপ্রেশন ব্যবহার করে কোন URL গুলি এড়ানো উচিত তা নিয়ন্ত্রণ করতে দেয় এবং ক্রল চলাকালীন এগুলি পরিবর্তন করা যায়। এটি জাঙ্ক ইউআরএল উপেক্ষা করার জন্য একটি বিস্তৃত খেলাপি সেট নিয়ে আসে ।

ক্রলগুলি পর্যবেক্ষণের জন্য একটি ওয়েব ড্যাশবোর্ড রয়েছে, পাশাপাশি একটি নির্দিষ্ট আকারের উপরে ভিডিও সামগ্রী বা প্রতিক্রিয়াগুলি এড়িয়ে যাওয়ার জন্য অতিরিক্ত বিকল্প রয়েছে।


1

পাওয়ার উইজেট

যখনই উইজেটটি ইতিমধ্যে এই সংস্থান এবং কমান্ড লাইনটি উল্লেখ করা হয়েছিল তখন আমি নির্বিঘ্ন বলে মনে করেছি: wget -P /path/to/destination/directory/ -mpck --user-agent="" -e robots=off --wait 1 -E https://www.example.com/

ব্যাখ্যাটি ব্যাখ্যা করে এই কোডটি দেখুন


0

শ্রদ্ধেয় ফ্রিডাউনলোডম্যানেজআরওর্গে এই বৈশিষ্ট্যটিও রয়েছে।

ফ্রি ডাউনলোড ম্যানেজারের এটি দুটি আকারে দুটি আকারে রয়েছে: সাইট এক্সপ্লোরার এবং সাইট স্পাইডার :

সাইট এক্সপ্লোরার
সাইট এক্সপ্লোরার আপনাকে কোনও ওয়েবসাইটের ফোল্ডারগুলির কাঠামো দেখতে দেয় এবং সহজেই প্রয়োজনীয় ফাইল বা ফোল্ডারগুলি ডাউনলোড করতে দেয়।
এইচটিএমএল স্পাইডার
আপনি এইচটিএমএল স্পাইডারের সাহায্যে পুরো ওয়েব পৃষ্ঠা বা এমনকি পুরো ওয়েব সাইটগুলি ডাউনলোড করতে পারেন। সরঞ্জামটি কেবলমাত্র নির্দিষ্ট এক্সটেনশানগুলির সাথে ফাইলগুলি ডাউনলোড করতে সামঞ্জস্য করা যেতে পারে।

আমি পুরো এক্সপ্লোরার ডাউনলোড করার চেষ্টা করার আগে কোন ফোল্ডার অন্তর্ভুক্ত / বাদ দিতে হবে তা দেখার জন্য সাইট এক্সপ্লোরারটি দরকারী especially


-1

এইচটি ট্র্যাকার ডাউনলোড করুন এটি অনুসরণ করার জন্য খুব সহজ পদক্ষেপগুলি ওয়েবসাইটগুলি ডাউনলোড করবে।

ডাউনলোড লিঙ্ক: http://www.httrack.com/page/2/

ভিডিও যা আপনাকে সহায়তা করতে পারে: https://www.youtube.com/watch?v=7IHIGf6lcL4


শীর্ষস্থানীয় উত্তরের -1 সদৃশ
wjandrea

-3

ফায়ারফক্স এটি স্থানীয়ভাবে করতে পারে (কমপক্ষে এফএফ 42 ক্যান)। শুধু "সংরক্ষণ পৃষ্ঠা" ব্যবহার করুন

এখানে চিত্র বর্ণনা লিখুন


6
ভুল! কীভাবে একটি সম্পূর্ণ ওয়েব সাইট সংরক্ষণ করবেন প্রশ্ন জিজ্ঞাসা করে। ফায়ারফক্স এটি করতে পারে না।

2
আপনার পদ্ধতিটি কেবল যদি এটি এক পৃষ্ঠার সাইট হয় তবে কাজ করে তবে সাইটে যদি 699 পৃষ্ঠাগুলি থাকে? খুব ক্লান্তিকর হবে ...
কুইডাম

-4

আমি বিশ্বাস করি গুগল ক্রোম ডেস্কটপ ডিভাইসে এটি করতে পারে, কেবল ব্রাউজার মেনুতে যান এবং ওয়েবপৃষ্ঠাটি সংরক্ষণ করুন ক্লিক করুন।

এছাড়াও নোট করুন যে পকেটের মতো পরিষেবাগুলি আসলে ওয়েবসাইটটি সংরক্ষণ না করে এবং এইভাবে পচা সংযোগে সংবেদনশীল।

সবশেষে মনে রাখবেন যে কোনও ওয়েবসাইটের বিষয়বস্তু অনুলিপি করা কপিরাইটে লঙ্ঘন করতে পারে, যদি এটি প্রয়োগ হয়।


3
আপনার ব্রাউজারে একটি ওয়েব পৃষ্ঠা অনেক ওয়েব সাইটের মধ্যে একটি মাত্র ।
আরজান

@ আরজান আমার ধারণা, এটি আমার বিকল্প শ্রমকে নিবিড় করে তুলেছে। আমি বিশ্বাস করি লোকেরা কেবল একটি পৃষ্ঠা সংরক্ষণ করতে চান এটি আরও সাধারণ, সুতরাং এই উত্তরটি যারা এখানে আসেন তাদের পক্ষে এটি আরও ভাল হতে পারে।
jiggunjer
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.