উচ্চ-গতির, উচ্চ-বিলম্বিত WAN লিঙ্কের মাধ্যমে একটি একক বৃহত ফাইল স্থানান্তর করার সর্বোত্তম উপায় কী?


21

বিষয়ক এই সৌন্দর্য এই এক , কিন্তু এটা কিছুটা আলাদা।

দুটি কোম্পানির সাইটের মধ্যে এই WAN লিঙ্ক রয়েছে এবং আমাদের একটি খুব বড় ফাইল (ওরাকল ডাম্প, ~ 160 গিগাবাইট) স্থানান্তর করতে হবে।

আমরা পূর্ণ 100 এমবিপিএস ব্যান্ডউইদথ (পরীক্ষিত) পেয়েছি, তবে টিসিপি কীভাবে কাজ করে (এসি, ইত্যাদি) এর কারণে একক টিসিপি সংযোগ কেবল এটি সরিয়ে নিতে পারে না বলে মনে হচ্ছে। আমরা আইপিএফের সাথে লিঙ্কটি পরীক্ষা করেছি এবং টিসিপি উইন্ডো আকার বাড়ানোর সময় ফলাফলগুলি নাটকীয়ভাবে পরিবর্তিত হয়: বেস সেটিংস সহ আমরা M 5 এমবিপিএস থ্রুপুট পাই, একটি বড় ডাব্লুএস এর সাথে আমরা 45 ডলার এমবিপিএস পেতে পারি, তবে এর চেয়ে বেশি কিছু নয়। নেটওয়ার্কের বিলম্বতা প্রায় 10 এমএস।

কৌতূহলবশত, আমরা একক সংযোগের চেয়ে বেশি ব্যবহার করে আইপিএফ্প চালিয়েছিলাম এবং আমরা দেখতে পেয়েছি যে, তাদের চারটি চালানোর সময়, তারা প্রতিটি উপলব্ধ ব্যান্ডউইদথ পূরণ করে অবশ্যই প্রতিটি 25 এমবিপিএস গতি অর্জন করবে; সুতরাং কী একাধিক যুগপত স্থানান্তর চলমান বলে মনে হচ্ছে।

এফটিপি সহ, জিনিসগুলি আরও খারাপ হয়: এমনকি অনুকূল টিসিপি সেটিংস (উচ্চ উইন্ডো আকার, সর্বোচ্চ এমটিইউ, ইত্যাদি) সহ আমরা একক স্থানান্তরে 20 এমবিপিএসের বেশি পেতে পারি না। আমরা একই সাথে কয়েকটি বড় ফাইল এফটিপি করার চেষ্টা করেছি এবং প্রকৃতপক্ষে কোনও একক স্থানান্তর করার চেয়ে বিষয়গুলি আরও অনেক ভাল হয়েছে; তবে তারপরেই অপরাধী ডিস্ক আই / ও হয়ে যায়, কারণ একই ডিস্কের বাধা থেকে খুব শীঘ্রই চারটি বড় ফাইল পড়া এবং লেখা; এছাড়াও, আমরা মনে করি না যে আমরা এই একক বৃহত ফাইলটিকে ছোট ছোট করে ভাগ করে ফেলি এবং তারপরে এটি আবার একত্রিত করতে পারি, কমপক্ষে গ্রহণযোগ্য সময়ে নয় (স্পষ্টতই আমরা সেই ফাইলটির সাথে তুলনীয় সময় স্প্লিকিং / মার্জ করতে ব্যয় করতে পারি না) এটি স্থানান্তর করা)।

এখানে আদর্শ সমাধানটি একটি মাল্টিথ্রেডেড সরঞ্জাম হবে যা একই সাথে ফাইলের বিভিন্ন অংশ স্থানান্তর করতে পারে; পিয়ার-টু-পিয়ার প্রোগ্রামের মতো ই এমুল বা বিটরেন্টের মতো সাজান যেমন ইতিমধ্যে করে তবে একক উত্স থেকে একক গন্তব্যে। আদর্শভাবে, সরঞ্জামটি আপনাকে কতগুলি সমান্তরাল সংযোগগুলি ব্যবহার করতে হবে তা চয়ন করার অনুমতি দেয় এবং অবশ্যই ফাইলের বিভিন্ন বিভাগের মধ্যে পাগলভাবে ঝাঁপিয়ে পড়ার জন্য ডিস্ক আই / ওকে অনুকূলিত করে তোলে।

কেউ কি এমন একটি সরঞ্জাম জানেন?

বা, কেউ কি আরও ভাল সমাধান এবং / বা এমন কিছু প্রস্তাব করতে পারেন যা আমরা ইতিমধ্যে চেষ্টা করে নি?

PS আমরা ইতিমধ্যে টেপ / ডিস্কটিকে সমর্থন করে এবং এটি শারীরিকভাবে গন্তব্যে প্রেরণ করার কথা ভেবেছিলাম; এটি আমাদের চূড়ান্ত পরিমাপ হবে যদি WAN কেবল এটি না কেটে, তবে যেমন AS তানেনবাউম বলেছিলেন, "হাইওয়েতে আঘাতকারী টেপগুলি পূর্ণ কোনও স্টেশন ওয়াগনের ব্যান্ডউইথকে কখনই হ্রাস করবেন না।"


1
কৌতূহলের বাইরে, সময়টি কি সত্যই যে সমালোচনামূলক লাগে? এছাড়াও, 160 জিবি স্থানান্তরের সময়কালের জন্য লিঙ্কটি স্যাচারিং করা আপনার নেটওয়ার্কের বাকী অংশে প্রভাব ফেলবে না?
ব্রায়ান

6
আমার মনে আছে কিছু 'ডিএলটি অটোলোডার এবং কয়েক শতাধিক কার্তুজ '99 এ ফিরে এসেছিল গ্রাহকের কাছে। আমরা আমার গাড়ী ডাব্লু / এর প্রায় 200 ডিএলটি আইভি কার্টিজ (প্রায় 35 জিবি কাঁচা ক্ষমতা) প্রায় 6.3TB এ লোড করা কাঁচা ক্ষমতা গণনা করেছি। আমি প্রায় 55 টি মিন্টে আমাদের অফিস থেকে গ্রাহকের সাইটে পৌঁছে দিয়েছিলাম, "আন্তঃসেটের মতো পাগলের মতো একটি জিও মেট্রোতে গাড়ি চালানো" ব্যাকআপ পরিবহন প্রক্রিয়াটি প্রায় 118 গিগাবাইট / মিনিটের কার্যকর থ্রুটপুট সরবরাহ করে। ভাল থ্রুপুট, তবে অলসতা হত্যাকারী ...> হাসি <
ইভান অ্যান্ডারসন

ব্রায়ান: হ্যাঁ, সময়টি সমালোচনামূলক (এটি স্ট্যান্ডার্ড এফটিপি এবং স্ট্যান্ডার্ড নেটওয়ার্ক সেটিংস সহ প্রায় দ্বিগুণ সময় লাগে), এবং না, লিঙ্কটি স্যাচুটারেটিংয়ে কোনও সমস্যা হবে না, কারণ স্থানান্তরটি কার্য-সময়ে নির্ধারিত হবে।
ম্যাসিমো

ইভান: এটাই আমি বোঝাতে চেয়েছিলাম ;-)
ম্যাসিমো

আমি একই ধরণের পরিস্থিতি নিয়ে been 200 গিগাবাইট এসকিউএল .বাকের সাথে ডিল করেছি, কেবলমাত্র ওয়েং লিঙ্কটি স্যাটারেটেড করার পক্ষে আমি এফটিটিপি'র সাথে থাকতে পারি। আমি এটিকে 512 এমবি খণ্ডে ভাঙতে শূন্য সংক্ষেপণের সাথে 7-জিপ ব্যবহার করে শেষ করেছি। "সংক্ষেপণ" এবং "ডেকম্প্রেশন" সময়গুলি সম্মতভাবে সংক্ষিপ্ত ছিল; সারাদেশে শারীরিক প্রচারমাধ্যমের চেয়ে অনেক ভাল। (সাইটগুলি মার্কিন যুক্তরাষ্ট্রের বিপরীত উপকূলে রয়েছে)
অ্যাড্রিয়েন

উত্তর:


15

"হাই লেটেন্সি ফাইল ট্রান্সফার" অনুসন্ধান করা অনেক আকর্ষণীয় হিট নিয়ে আসে। স্পষ্টতই, এটি একটি সমস্যা যা উভয়ই কমপিএসসি সম্প্রদায় এবং বাণিজ্যিক সম্প্রদায় প্রবেশ করেছে।

কয়েকটি বাণিজ্যিক অফার যা বিলটির সাথে মানানসই বলে মনে হচ্ছে:

  • ফাইলকিলেস্টের এমন পণ্য রয়েছে যা ইউডিপি বা একাধিক টিসিপি স্ট্রিম ব্যবহার করে উচ্চ-ল্যাটেন্সি নেটওয়ার্কগুলিতে ডেটা স্ট্রিম করতে পারে। তারা প্রচুর অন্যান্য বৈশিষ্ট্য পেয়েছে (খুব সহজেই ফ্লাই-এর সংকোচনে, বদ্বীপ স্থানান্তর ইত্যাদি)।

  • Fasp Aspera- র থেকে ফাইল ট্রান্সফার "প্রযুক্তি" কি আপনি যা খুঁজছেন পাশাপাশি জন্য বিল মাপসই বলে মনে হচ্ছে।

উন্মুক্ত উত্স বিশ্বে uftp প্রকল্পটি আশাব্যঞ্জক বলে মনে হচ্ছে। আপনার বিশেষত এর মাল্টিকাস্ট ক্ষমতাগুলির দরকার নেই, তবে রিসিভারদের কাছে কোনও ফাইল ব্লাস্ট করে ফেলা, স্থানান্তর শেষে মিস ব্লকগুলির জন্য এনএকে পাওয়া এবং তারপরে নাক'র ব্লকগুলি বের করে দেওয়া (লাথার, ধুয়ে ফেলা, পুনরাবৃত্তি) করার প্রাথমিক ধারণাটি আপনার নেই idea মনে হচ্ছে এটি আপনার যা প্রয়োজন তা করবে, যেহেতু একবার ফাইল ট্রান্সফার শেষ না হওয়া পর্যন্ত রিসিভারের কাছ থেকে কোনও ACK'ing (বা NAK'ing) নেই। ধরে নেওয়া নেটওয়ার্কটি কেবল সুপ্ত, এবং ক্ষতিগ্রস্থ নয়, এটি আপনার যা প্রয়োজন তা করতে পারে।


ইউএফটিপি সত্যিই প্রতিশ্রুতিবদ্ধ বলে মনে হচ্ছে, আমি দুটি ডেস্কটপ কম্পিউটারের মধ্যে 30 এমবিপিএস অর্জন করতে সক্ষম হয়েছি (যা ডিস্কের কার্য সম্পাদনে অবশ্যই দুর্দান্ত নয়); আমি শীঘ্রই এটি "আসল" সার্ভারে পরীক্ষা করব। রেজিস্ট্রেশন ফর্মের কিছু ত্রুটির কারণে আমি একটি ফাইলগ্যাসিলেস্ট ডেমো লাইসেন্স পেতে সক্ষম হইনি (এটি অনুরোধের সংখ্যাটি ইতিমধ্যে ব্যবহৃত হয়েছে) এবং ফাস্টপ কেবল তাদের প্রস্তাব দেয় না।
ম্যাসিমো

যথাযথ ডিস্ক এবং একটি বড় রিসিভ বাফার সহ দুটি কম্পিউটারের মধ্যে 60 এমবিপিএস। গ্রেট!
ম্যাসিমো

আমি ফ্রি / ওপেন সোর্স সফটওয়্যার পছন্দ করি! > হাসি <আমি অবশ্যই কিছু জিনিস যা করছি তার সাথে ইউএফটিপি চেষ্টা করে যাচ্ছি। আমি ভাবছিলাম যে এটি লিনাক্স-ভিত্তিক মাল্টিকাস্ট ডিস্ক-ইমেজিং সমাধানে কী করবে যা আমি কয়েক বছর আগে "udpcast" ব্যবহার করে একসাথে রেখেছিলাম।
ইভান অ্যান্ডারসন

কিছুক্ষণ আগে আমি সার্ভারফল্ট / প্রশ্নগুলি / ১ .৩35৩৮/multicast-file- transfers জিজ্ঞাসা করেছি অবশেষে আমি এই সিদ্ধান্তে পৌঁছেছি যে uftp এবং mrsync ছিল পছন্দের সরঞ্জাম। আপনি যদি ইউএফটিপি দিয়ে কোনও কার্যকর কিছু করেন তবে দয়া করে সেখানে মন্তব্যগুলিতে পোস্ট করুন, কারণ আমি এই বছর আবার একটি বা অন্যটি ব্যবহার করব (একটি সম্মেলনের জন্য প্রস্তুত)।
জেড ড্যানিয়েলস

2
আমি যখন ইউএফটিপি, ইউডিটি এবং সুনামি ইউডিপি-র সাথে কাজ করছিলাম, তখন ইউএফটিপি তিনটির মধ্যে সবচেয়ে খারাপ পারফরম্যান্স ছিল। অবশ্যই এটি সম্ভবত সবচেয়ে পরিপক্ক প্রোটোকল। ইউডিটি কেবল একটি সহজ ট্রান্সফার প্রোটোকল সরবরাহ করে এবং কাস্টম সফ্টওয়্যারটি বিকাশের জন্য একটি গ্রন্থাগার হিসাবে কাজ করার জন্য ডিজাইন করা হয়েছিল এবং সুনামির লেখক আসলে ইউডিটির দিকে আমাদের ইঙ্গিত করেছিলেন যেহেতু সময়ের অভাবের কারণে সুনামি সম্প্রতি সক্রিয়ভাবে বিকশিত হয়নি।
থমাস ওভেনস

9

সত্যিই অদ্ভুত প্রস্তাবটি এইটি .. আপনার নেটওয়ার্কে ফাইলটি হোস্ট করার জন্য একটি সাধারণ ওয়েব সার্ভার সেট আপ করুন (আমি ঘটনাক্রমে এনজিনেক্সের পরামর্শ দিই), অন্য প্রান্তে ফায়ারফক্সের সাথে একটি পিসি সেটআপ করুন এবং ডাউনথেমএল এক্সটেনশনটি ইনস্টল করুন ।

এটি ডাউনলোড ডাউনলোডের এবং এটি পুনরায় সমাবেশকে সমর্থন করে।
আপনি পুনরায় সমাবেশের জন্য প্রতিটি ডাউনলোডকে 10 টি ভাগে ভাঙতে পারেন এবং এটি আসলে জিনিসগুলিকে আরও দ্রুত করে তোলে!

(সতর্কবাণী: আমি এটি 160 গিগাবাইটের মতো বৃহত্তর কোনও কিছুর জন্য চেষ্টা করে দেখিনি, তবে এটি 20 জিবি আইসো ফাইলগুলির সাথে ভালভাবে কাজ করে)


একই কম্পিউটারের মধ্যে 40 এমবিপিএস। দেখতেও অনেক ভাল লাগছে।
ম্যাসিমো

1
axel.alioth.debian.org এর সাথে ফায়ারফক্স প্রতিস্থাপন করুন এবং এটি কোনও পরামর্শের মতো খারাপ নয়।
জাস্টিন

7

UDT পরিবহন সম্ভবত উচ্চ অদৃশ্যতা যোগাযোগের জন্য সবচেয়ে জনপ্রিয় পরিবহন হয়। এটি তাদের অন্যান্য সফ্টওয়্যারকে সেক্টর / স্ফিয়ারের দিকে নিয়ে যায় যা "হাই পারফরম্যান্স ডিস্ট্রিবিউটড ফাইল সিস্টেম এবং প্যারালাল ডেটা প্রসেসিং ইঞ্জিন" বলে থাকে যা দেখে নেওয়া উপযুক্ত হবে।


1
হাই-ল্যাটেন্সি এবং উচ্চ-প্যাকেটের ক্ষতি সহ নেটওয়ার্কগুলিতে স্থানান্তর করার জন্য আমি ইউডিটির সাথে কিছু কাজ করেছি। টিসিপি ভিত্তিক প্রোটোকলগুলির তুলনায় ইউডিটি ল্যাটেন্সি এবং প্যাকেট ক্ষতির পক্ষে অনেক বেশি স্থিতিস্থাপক, বিশেষত একবার আপনার নেটওয়ার্ক টপোগ্রাফির জন্য উপযুক্ত কনজেশন কন্ট্রোল অ্যালগরিদম পরিবর্তন করতে।
টমাস

এমনকি ইউডিটি অন্তর্নির্মিত সহ আরএসইএনসি-র একটি সংস্করণ রয়েছে, একে "ইউডিআর" বলা হয়। github.com/LabAdvComp/UDR
ম্যাক্স

5

আমার উত্তরটি কিছুটা দেরীতে, তবে আমি দ্রুত এই সন্ধানটি পেয়েছি fas সেই অনুসন্ধানের সময় আমি এটিও পেয়েছি: http://tsunami-udp.sourceforge.net/ , "সুনামি ইউডিপি প্রোটোকল"।

তাদের ওয়েবসাইট থেকে:

একই নেটওয়ার্কগুলির উপর টিসিপি দিয়ে আরও বেশি থ্রুটপুট সরবরাহ করার জন্য ডিজাইন করা খুব দ্রুত গতির দীর্ঘ দূরত্বের নেটওয়ার্কের (≥ 1 জিবিপিএস এবং এমনকি 10 জিই) টিসিপি নিয়ন্ত্রণ এবং ইউডিপি ডেটা ব্যবহার করে এমন একটি দ্রুত ব্যবহারকারী-স্থান ফাইল স্থানান্তর প্রোটোকল। নেটওয়ার্ক।

গতি যতদূর যায়, পৃষ্ঠায় এই ফলাফলটির উল্লেখ করা হয়েছে (হেলসিঙ্কি, ফিনল্যান্ডের বনান থেকে জার্মানি, 1 জিবিটির লিঙ্কের মাধ্যমে একটি লিঙ্ক ব্যবহার করে:

চিত্র 1 - ইন্টারনেটের মাধ্যমে আন্তর্জাতিক স্থানান্তর, গড়ে 800 এমবিট / সেকেন্ড

আপনি যদি ডাউনলোড এক্সিলারেটরটি ব্যবহার করতে চান তবে lftp এ একবার দেখুন, এটি কেবলমাত্র ডাউনলোড এক্সিলারেটর যা আমি যতদুর জানি, পুনরাবৃত্ত আয়নাটি করতে পারে।


1
প্রকল্পটিতে আমি স্টিভ-ও-এর উত্তরে এর আগে মন্তব্য করেছি, আমরা ইউডিটি, সুনামি ইউডিপি এবং ইউএফটিপিকে বেঞ্চমার্ক করেছি। আমরা দেখতে পেলাম যে ল্যাটেন্সি কর্মক্ষমতাটিতে বিশাল প্রভাব ফেলেছে, যখন প্যাকেটের ক্ষতি হয়নি (সুনামির নথির বিপরীতে)। পরীক্ষার নেটওয়ার্কে 100 মাইলস বিলম্বিতা সুনামির পারফরম্যান্স প্রায় 250 এমবিট / সেকেন্ড থেকে প্রায় 50 এমবিট / সেকেন্ডে নামিয়ে দেওয়া (আমি বিশ্বাস করি আমার কাছে আমার সংখ্যা এবং ইউনিট ঠিক আছে - এটি একটি সময় হয়েছে, তবে এটি একটি বিশাল ড্রপ ছিল)। অন্যদিকে, 10% প্যাকেট ক্ষতির কোনও ন্যূনতম বিলম্ব না হওয়া নেটওয়ার্ক যুক্ত করা, কেবল 250 এমবিট / সেকেন্ড থেকে প্রায় 90 এমবিট / সেকেন্ডে কর্মক্ষমতা হ্রাস পায়।
থমাস ওনস

4

Bbcp খুব প্রাসঙ্গিক পাতা থেকে উপযোগ 'কিভাবে নেটওয়ার্কের মাধ্যমে বিপুল পরিমাণ ডেটা স্থানান্তর করতে' সহজ সমাধান বলে মনে হয়।


আমি মনে করি না যে বিবিসিপি উচ্চ বিলম্বের জন্য অনুকূলিত হয়েছে। আমি এই মুহুর্তে ডিফল্ট সেটিংসের সাথে ট্রান্সঅ্যাটল্যান্টিক লিঙ্কের মাধ্যমে 20 এমবি / সেকেন্ড পাচ্ছি।
সর্বোচ্চ
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.