মার্কিন যুক্তরাষ্ট্র থেকে 10 টিবি ফাইল যুক্তরাজ্যের ডেটাসেন্টারে স্থানান্তর করুন

Question

আমি আমার সার্ভারটি ইউএসএ থেকে একটি ডেটা সেন্টার থেকে অন্য ডেটাতে যুক্ত করে চলেছি। আমার হোস্ট বলেছে যে আমার প্রতি সেকেন্ডে 11 ​​মেগাবাইট অর্জন করতে সক্ষম হওয়া উচিত।

অপারেটিং সিস্টেমটি উভয় প্রান্তে উইন্ডোজ সার্ভার 2008।

আমার গড় ফাইলের আকার প্রায় 100 এমবি এবং ডেটা পাঁচটি 2 টিবি ড্রাইভে বিভক্ত।

এই ফাইলগুলি স্থানান্তর করার প্রস্তাবিত উপায় কী হবে?

• FTP- র
• সাহায্যে SMB
• রাইকি / রোবকপি
• অন্যান্য?

আমি সুরক্ষার বিষয়ে খুব একটা মাথা ঘামাই না কারণ এগুলি যে কোনওভাবেই পাবলিক ফাইল, তবে আমি কেবলমাত্র এমন একটি সমাধান চাই যা সম্পূর্ণ স্থানান্তর সময়কে হ্রাস করতে সম্পূর্ণ 11 এমবি / গুলি স্থানান্তর হারকে চাপ দিতে পারে।

Comments

11 এমবি / এস বা 11 এমবি / সে?

— উইম

বাইনারি পাঞ্চ কার্ডে ডেটা স্থানান্তর করুন এবং একটি ক্যারিয়ার কবুতর ব্যবহার করুন :)

— এন্টারজেরো

আপনার বিশদ সরবরাহ করা উচিত। কয়টি ক্যারিয়ার কবুতর লাগবে বলে আপনি মনে করেন? তোমার কাজ দেখাও.

— এভিক জেমস 4:31

@ এভিক ইউরোপীয় না আফ্রিকান?

— Wim

অন্যদিকে, ওল্ফ্রাম আলফা গণনাটি করার সবচেয়ে সুবিধাজনক উপায়, "11 এমবি / এস এ 10 টিবি"। wolframalpha.com/input/?i=10+TB+at+11MB%2Fs

— pufferfish

Answer 1

পরিবর্তে সমুদ্রের ওপারে হার্ড ড্রাইভ চালান।

11 এমবিপিএসে পুরো ব্যবহার সহ, আপনি 10 টিবি স্থানান্তর করতে 90 দিনের লাজুকটি খুঁজছেন।

---

11 এমবিপিএস = 1.375 এমবিপিএস = 116.015 জিবি / দিন ।

10240 জিবি / 116.015 জিবি / দিন = .3 88.3 দিন ।

Comments

স্নিকার্নেটের জন্য +1 । এছাড়াও, আপনি টিসিপি / আইপি ওভারহেড ভুলে গেছেন। এটি আদর্শ পরিস্থিতিতে অধিক 100 দিনের মতো।

— ক্রিস এস

একজন জ্ঞানী ব্যক্তি একবার বলেছিলেন "কখনও হাইওয়েতে আঘাত হানার জন্য টেপ ভরা স্টেশন ওয়াগনের ব্যান্ডউইথকে কখনই হ্রাস করবেন না"। এই সমীকরণটি খুব সত্য এবং একটি নৌকার জন্য স্টেশন ওয়াগন পরিবর্তন করে উল্লেখযোগ্যভাবে পরিবর্তিত হয় না। ( bpfh.net/sysadmin/never-underestimate-bandwidth.html )

— রব

ড্রাইভের চেয়ে টেপ বা নীল রঙের ডিস্কগুলি পাঠানো ভাল। আপনি যদি ড্রাইভগুলি নিয়ে যান তবে নিশ্চিত করুন যে আসলগুলি নিরাপদে রাখা হয়েছে এবং কেবল ক্ষেত্রে available আমি নিজে ড্রাইভের জন্য যাব (যদি না আমার আল্ট্রিয়াম 4 ড্রাইভ না থাকে) কারণ 10 টিবি = 410 সিঙ্গল লেয়ার ব্লুরায়ে ডিস্ক!

— অ্যালেন

আমি বুঝতে পেরেছি যে আমি 11 এমবিপিএস টাইপ করেছি, তবে আমি আসলে 11MB / s বলতে চাইছিলাম। আমি মনে করি এটির বেশ বড় পার্থক্য রয়েছে, আমার গণনাগুলি প্রায় 11-14 দিনের কাছাকাছি চলে গেছে ... এটি কি সঠিক?

— পল হিনেট

তবুও বিশ্বাস করুন যে অফিসিয়াল ডিস্কটি তখনও কাজ করছে যখন 10 টিবি ব্যাকআপের সাথে একজন লোককে তদারকি করা প্রেরণ করা হয় একবার সেটআপ হয়ে গেলে, আপনি কোনও পরিবর্তনের জন্য নতুন সার্ভার আপডেট করতে একটি আরএসসিএনচে লাঞ্চ করতে পারেন। আপনি আপনার মেশিনটি প্রায় একদিন চালাবেন।

— Loïc Faure-Lacroix

Answer 2

আমি আরএসসিএনসি বলব, ১১ এমবি / সেকেন্ডে আপনি 10-14 দিনের দিকে নজর দিন এবং এমনকি যদি আপনি বাধা পান তবে, আরএসএনসি সহজেই শুরু হবে যেখানে এটি শেষবার বন্ধ হয়েছিল।

১১ এমবিপিএসে আমি উপরে প্রস্তাবিত হার্ড ডিস্কগুলি প্রেরণ করব :)

Comments

অন্যরা যা পোস্ট করেছে তার থেকে আপনার অনুমানটি খুব উল্লেখযোগ্যভাবে পৃথক হয়েছে (এবং আমি জানি না কে সঠিক)। আপনি কি এই চিত্রগুলিতে পৌঁছানোর জন্য আপনার পদ্ধতি সরবরাহ করতে পারেন?

— জন গার্ডেনিয়ার্স

পার্থক্যটি ওপেন থেকে 11 এমবিপিএস ভুল ব্যবহার করে দেখা দেয় যখন বাস্তবে তার অর্থ 11 এমবিপিএস - যা 8 গুণ বেশি গতিযুক্ত। বিটিডাব্লু, একটি বিঘ্নের ক্ষেত্রে 10 টিবি আরএসএনসি পুনরায় চালু করতে সম্ভবত কিছুটা সময় লাগবে, তাই না? ঘন্টা, না লম্বা?

— ফ্রাঙ্ক ফার্মার 0

@ ফ্র্যাঙ্কফার্মার: আমি আরএসসিএনসি পুনরায় চালু করার বিষয়ে চিন্তা করব না; আমি একটি 30 এমবিপিএস ওয়্যারলেস লাইনের উপরে 20 টবি অফসাইট অনুলিপি রাখি এবং পুনরায় চালু করা সেকেন্ডের মধ্যে রয়েছে। প্রাথমিক অনুলিপিতে কয়েক সপ্তাহ সময় লেগেছিল, তবে রাতের আপডেটটি সাধারণত কয়েক ঘন্টা সময় নেয়।

— জাভিয়ের

@ ফ্র্যাঙ্কফার্মার - আরএসইএনসি খুব ভাল স্কেল করেছে বলে মনে হচ্ছে। আমার কাছে গ্রামীণ এডিএসএল 1 লাইনের উপরে একটি T 2TB রয়েছে যা স্নিকার্নেট দিয়ে উদ্ভাবিত হয়েছিল, তবে কিছুই পরিবর্তন না হলে প্রতি রাতে আরএসএনসি করতে 5 মিনিট সময় লাগে।

— ফ্লেক্সো

statমোট ডেটা দিয়ে নয়, মূলত ফাইলের সংখ্যার (মূলত আমার অভিজ্ঞতার সাথে) আরএসসিএন রিস্টার্ট সময়ের স্কেলগুলি । আমি কোন উল্লেখযোগ্য অপেক্ষার প্রত্যাশা করব (বেশিরভাগ মিনিট) যদিও আরএসসিএনসি নিয়ে আমার অভিজ্ঞতাটি 5TB এর নিচে সামান্য উপরে রয়েছে।

— ডার্বোবার্ট

Answer 3

অবশ্যই রিঙ্ক

কমপক্ষে আপনি বিরতির পরে যেকোন সময় চালিয়ে যেতে পারেন এবং এটি কোনও ব্যথা ছাড়াই।

Comments

100+ ব্যবহারের অনুলিপি করতে 3+ মাস। দুঃখিত, তবে এটি এত বেশি ডেটা স্থানান্তর করার একটি ভয়ঙ্কর উপায়।

— ক্রিস এস

আমাকে @ ক্রিসিসের সাথে একমত হতে হবে, rsyncকেবলমাত্র বড় ফাইলগুলি অনুলিপি করা কার্যকর নয়। আমার স্টাফের জন্য আমি প্রথম স্থানান্তর ব্যবহার tarকরে netcatবা ব্যবহার করে শেষ করেছি ssh। এটি অনেক দ্রুত এবং অবিলম্বে স্থানান্তর শুরু করে, যখন rsyncসমস্ত ফাইল প্রথমে সময় লাগে তা স্ক্যান করবে scan এটি যদি বাধা পায় তবে আপনি rsyncপরে ব্যবহার করতে পারেন । প্রকৃতপক্ষে, tarসমস্ত অনুমতি, সকেট ফাইল, ইত্যাদি সঠিক কিনা তা নিশ্চিত করার জন্য আমি কখনও কখনও এটি করি ।

— মার্টিন Scharrer

ওপি সংশোধন করার পরে যে তিনি ১১ এমবি নয়, ১০০ মিলিয়ন ডলারের সংযোগ পেয়েছেন, আরএসএনসি আরও অনেক কিছু বোঝায়। প্রথম এটি উল্লেখ করার জন্য +1।

— ক্রিস এস

Answer 4

টেপগুলি পূর্ণ কোনও স্টেশন ওয়াগনের ব্যান্ডউইথকে কখনই হ্রাস করবেন না

- ট্রেড

আপনার ক্ষেত্রে, কুরিয়ার দ্বারা প্রেরিত ডিস্ক বা টেপগুলি, তবে নীতিটি এখনও প্রয়োগ হয়। আপনি যদি বিলম্বের বিষয়ে উদ্বিগ্ন না হন, তবে কোনও ব্যয়বহুল দৈর্ঘ্যে 10TB ডেটা স্থানান্তর করার জন্য এটি নেটওয়ার্ক ব্যান্ডউইদথের তুলনায় অত্যন্ত সস্তা।

Comments

জেফ আতউড

— নাম্বারটি

Answer 5

আপনার rsync ব্যবহার করা উচিত। এটি ডেটা সংকুচিত করবে এবং প্রেরণের আগে এটি ডি-সদৃশ করবে। এটি আংশিক স্থানান্তরও আবার শুরু করতে পারে, এটি কোনও বৃহত স্থানান্তরের জন্য খুব গুরুত্বপূর্ণ।

এটি সম্ভবত 10 টিবি স্থানান্তরিত করে না; যদি এটি লগ এবং পাঠ্য এবং এ জাতীয় 1 টিবির নীচে থাকতে পারে; সম্ভবত 1 টিবি নীচে।

এমন সরঞ্জাম রয়েছে যা আরএসসিএনসি এর চেয়ে কমপ্রেসের আরও ভাল কাজ করে এবং সম্ভবত আরও মিল খুঁজে পায়। আপনি ব্যবহার করতে পারেন lrzip, ইত্যাদি।

নির্দিষ্ট ধরণের ডেটা রয়েছে যা ভালভাবে সংকোচিত হয় না এবং এতে আক্ষরিক দ্বৈতগুলি থাকে না - উদাহরণস্বরূপ ভিডিও এবং অন্যান্য মিডিয়া। এই ক্ষেত্রে, এফটিপি এবং আরএসএনসি একই চেষ্টা করছে।

Comments

আরএসআইঙ্ক ডেটা সদৃশ? আমি মনে করি এটি কেবল ফাইল স্তরে এটি করে, অর্থ হ'ল এই ক্ষেত্রে প্রতিলিপি বেশিরভাগ অকেজো।

— devicenull

Answer 6

আমি জানি এটি ইতিমধ্যে গৃহীত হয়েছে তবে আপনি কি আপনার ডিস্কগুলিকে কোনও ডেটা সেন্টার / সরবরাহকারী / হোস্টে নিয়ে যাওয়ার বিষয়ে বিবেচনা করেছেন যেখানে আপনি আরও ব্যান্ডউইথ পাবেন? এটির জন্য সম্ভবত আপনার কিছু অর্থ ব্যয় করতে হবে তবে ব্যাকআপ ডিস্কগুলিতে 10240Gb অনুলিপি করা এবং প্রেরণে সময় এবং অর্থ উভয়ই ব্যয় করতে হবে (2 x টাকা)।

এছাড়াও আপনি নিশ্চিত হবেন যে আপনার ডিস্কগুলি পরিবহণে ভাঙ্গবে না।

Comments

এই উত্তর গৃহীত উত্তর থেকে আলাদা কীভাবে?

— ক্রিস এস

@ ক্রিস এই উত্তরটি একই মহাদেশের ডিস্কগুলি বৃহত্তর পাইপে স্থানান্তরিত করার পরামর্শ দেয়।

— অ্যালেক্স জেসমিন

Answer 7

11Mbps? এটি আপনার এখানে বেশ সীমাবদ্ধতা। আপনার পরিস্থিতিতে আমি সহজভাবে বলতে চাই:

• ডেটা ক্লোন করুন
• এটি সংকুচিত
• কমপক্ষে 10 গুণ বেশি ব্যান্ডউইথ (একই ডেটা সেন্টারে বা আপনার কাছের কোনও ডেটা সেন্টারে আপনার শেষ প্রান্তে) দিয়ে উভয় প্রান্তে সার্ভারগুলি ভাড়া করুন।
• ফাইলগুলি স্থানান্তর করুন
• নতুন সার্ভারে ডেটা প্রয়োগ করুন।

আপনার যদি সত্যিই ব্যান্ডউইথথ বাড়ানোর কোনও সমাধান না করে ... তবে একটি ফিজিকাল ড্রাইভ শিপিংয়ের কাজটি দ্রুততর হবে।

আমার বেদনাদায়ক অভিজ্ঞতা থেকে হার্ড ড্রাইভগুলি মেল ভাঙার প্রবণতা দেখায় ... ইউএসবি ফ্ল্যাশ ড্রাইভগুলি ঘন ঘন ডেটা স্থানান্তরের জন্য আরও ভাল সমাধান। আপনার ক্ষেত্রে এটির কয়েকটি দরকার হবে :) সুতরাং একাধিক হার্ড ড্রাইভে আপনার ডেটার 2 কপি প্রেরণ করুন।

আপনার ড্রাইভের প্লাগ ইন করার জন্য যদি আপনার পাশের একই হার্ডওয়্যার / সফ্টওয়্যারটি থাকে তবে আপনার যে পরিমাণ ডেটা রয়েছে তা বিবেচনা করে আপনি একটি RAID 5 বা RAID 6 অ্যারে থেকেও ড্রাইভ পাঠাতে পারবেন But তবে সেই ক্ষেত্রে আপনার ড্রাইভের ক্রমটি চিহ্নিত করতে ভুলবেন না এবং তাদের ক্রমিক সংখ্যা তাই পুনরুদ্ধার করার সময় তারা মিশ্রিত হয় না।

Comments

দুঃখিত, 11 এমবিপিএস একটি ভুল টাইপ ছিল, এটি 11 এমবি / গুলি ... আমি উপরের মন্তব্যের একটিতে উল্লেখ করেছি।

— পল হিনেট

Answer 8

এই ক্ষেত্রে আমাকে "হার্ডড্রাইভ ব্যবহার করে এটি চালান" উত্তরের সাথে একমত হতে হবে, এখানে যখন প্রথমবারের জন্য আমাকে প্রচুর পরিমাণে ফাইল অনুলিপি করতে হয় তখন আমি একটি অনুলিপি সমাধান ব্যবহার করি:

যদিও rsyncভালো সুসংগত দুটি ডেটা স্টোরেজ রাখা, এটা প্রাথমিক স্থানান্তরের জন্য অপ্রয়োজনীয় ওভারহেড বেশ একটু প্রবর্তন করে। আমি বুঝতে পেরেছি যে দ্রুততম tarপন্থাটি পাইপ হয়ে যায় netcat। রিসিভার সাইটে আপনি এছাড়াও ব্যবহার করতে পারেন netcatমধ্যে শুনতে মোড যা সবধরণের এক্সট্র্যাক্ট করার জন্য পাইপ ইনকামিং তথ্য tar। সুবিধাটি হ'ল tarতাৎক্ষণিকভাবে প্রেরণ শুরু হয়ে যায় এবং netcatকোনও অতিরিক্ত উচ্চ-স্তরের প্রোটোকল ওভারহেড ছাড়াই প্লেইন টিসিপি স্ট্রিম হিসাবে প্রেরণ করে। এটি যত তাড়াতাড়ি দ্রুত হওয়া উচিত। তবে শেষ অবস্থানে বাধা স্থানান্তর পুনরায় চালু করা সহজ নয়।

সঠিক tarবিকল্পগুলি ব্যবহার করে ট্রান্সফারের জন্য ডেটা সংকোচিত করা বা পাইপগুলিতে একটি সংকোচনের সরঞ্জাম যুক্ত করা খুব সহজেই সম্ভব । নোট করুন যে netcatতারিখটি এনক্রিপ্ট না করা প্রেরণ করে। যে ক্ষেত্রে এটি কোনও বিকল্প নয়, sshতার পরিবর্তে একটি এনক্রিপ্ট করা সংযোগ ব্যবহার করা যেতে পারে ( tar <options> | ssh <target> -c 'tar -x <options>')।

যদি সমস্ত ডেটা স্থানান্তরিত rsyncহয় তবে তা নিশ্চিত করতে ব্যবহার করা যেতে পারে যে এর মধ্যে আপডেট হওয়া সমস্ত ফাইল সিঙ্ক্রোনাইজ হয়েছে। এছাড়াও আইআইআরসি tarসকেট তৈরি করে না যা অন্যথায় হারিয়ে যাবে, তবে সেগুলি সত্যই যাইহোক ডেটাসেন্টার ডেটার জন্য ব্যবহৃত হয় না।

Comments

খারাপ দিকটি হ'ল এটি হস্তক্ষেপের ক্ষেত্রে সহনীয় নয়

— জোয়েল কোয়েল

Answer 9

আপনি আইপিওএসি বিবেচনা করেছেন ?

একটি একক পায়রা প্রায় এক ঘন্টার মধ্যে দশগিগা ডেটা বহন করতে সক্ষম হতে পারে, যা হারানো ড্রাইভের জন্য অ্যাকাউন্টিংয়ের পরেও গড় ব্যান্ডউইথ ভিত্তিতে বর্তমান এডিএসএল মানগুলির সাথে খুব অনুকূলভাবে তুলনা করে।

Comments

কবুতরগুলি ওপি দ্বারা বর্ণিত দূরত্বে সংকেত ক্ষতির সম্মুখীন হবে।

— রায় টিঙ্কার

উইন্ডোটিং প্রক্রিয়া ব্যবহার করে রয়ইটিংকার ক্লিয়ার আইপিওএসি প্রয়োগ করা দরকার।

— জেমসবার্নেট

Answer 10

আবার, প্রথম পরামর্শটি হ'ল ড্রাইভগুলি শিপ করা।

দ্বিতীয় পরামর্শটি হল এসএসএইচ-র চেয়ে নয়, আরএসসিএনসিডি-তে rsync ব্যবহার করা। আমি অনেক কিছুই চেষ্টা করেছি এবং এটি সাধারণত দ্রুততম। সংক্ষেপণ চালু করতে ভুলবেন না। এছাড়াও, অনুকূল ট্রান্সফার রেট পেতে rsync বাফার আকার বাড়ানো বা হ্রাস করে দেখুন । এটি আপনার এমটিইউ আকার বাড়াতে সহায়তা করতে পারে । রাউটারে রাউটারগুলি যদিও আপনার প্যাকেটগুলিকে টুকরো টুকরো টুকরো টুকরো টুকরো টুকরো টুকরো টুকরো না করে তবে এটি কেবলমাত্র সহায়তা করে। তারা তা করে কিনা তা নির্ধারণ করার উপায় রয়েছে।

দুর্ভাগ্যক্রমে এমন কোনও সেটিংস নেই যা সর্বদা সেরা। আপনার পরিস্থিতিতে কোনটি সবচেয়ে ভাল কাজ করে তা জানতে আপনাকে পরীক্ষা করতে হবে।

Answer 11

আপনি উল্লেখ করেছেন যে সার্ভারগুলি উইন্ডোজ 2008 চলছে running মাইক্রোসফ্ট ডিএফএস কি উপযুক্ত হবে? নীচের প্রান্তে এমন কিছু জাদু রয়েছে যা সংযোগ থেকে যতটা ব্যান্ডউইদথকে পজিবল হিসাবে বের করার চেষ্টা করে এবং এতে সংক্ষেপণ এবং ডি-ডুপ্লিকেশন (আইআইআরসি) রয়েছে।

আপনার মনে রাখবেন, হার্ড ড্রাইভ, ডিভিডি বা ব্লুরেজ আরও দ্রুত হবে ... আমার গণনা সম্পূর্ণ 11 এমবি / সেকেন্ডে 11 ​​দিন ...

Answer 12

আপনি এটির জন্য টরেন্ট ব্যবহার করতে পারেন।

এক প্রান্তে একটি ব্যক্তিগত টরেন্ট তৈরি করুন এবং অন্যদিকে ক্লায়েন্টটি ব্যবহার করুন।

যদিও জায়গায় এনক্রিপশন রয়েছে আপনাকে অবশ্যই আপনার প্রয়োজনীয়তাগুলি পরীক্ষা করে দেখতে হবে।

Comments

একটি 1 থেকে 1 টরেন্ট সম্পর্ক 1 থেকে 1 ফাইল স্থানান্তরের চেয়ে ভাল নয়। দুটি সাইটের মধ্যে যদি সীমিত পাইপ থাকে তবে আপনার আলাদা পাইপগুলিতে একাধিক বীজ প্রয়োজন, আদর্শভাবে ভৌগোলিকভাবে বিতরণ করা।

— জেরেমি

@ জেরেমি - থ্রুপুটের ক্ষেত্রে এটি এর চেয়ে ভাল বা খারাপ আর কিছু নয়। নির্ভরযোগ্যতার দিক থেকে এটি আরও ভাল হতে পারে (সহজ বিরতি / পুনঃসূচনা), যা এই আকারের এক্সফারটির জন্য গুরুত্বপূর্ণ হতে পারে

— জোয়েল কোয়েল