মহাদেশগুলির মধ্যে প্রচুর পরিমাণে ডেটা স্থানান্তর করা [নকল]

12

সম্ভাব্য সদৃশ:
বড় ফাইলগুলি ইন্টারনেটে ভাগ করার বিনামূল্যে উপায়?
ইন্টারনেট ব্যবহার না করে বড় ফাইল স্থানান্তর করার জন্য কয়েকটি বিকল্প কী কী?

আমার স্ত্রীর ল্যাব মার্কিন যুক্তরাষ্ট্রে সিঙ্গাপুরে সহযোগীদের সাথে একটি প্রকল্প করছে। তাদের মাঝে মাঝে মহাদেশ জুড়ে প্রচুর পরিমাণে উচ্চ-মাত্রিক চিত্র ডেটা (~ 10 গিগাবাইট কমপ্রেসড) স্থানান্তর করা প্রয়োজন। বর্তমান প্রযুক্তিগুলির সাথে, এই ব্যবহারের দৃশ্যের জন্য কী ভাল সমাধান হতে পারে?

আমি কয়েকটি সম্পর্কে ভাবতে পারি তবে সেগুলির কোনওটিই আদর্শ বলে মনে হয় না:

ইন্টারনেটের মাধ্যমে সরাসরি সংযোগ: ট্রান্সফার রেট প্রায় 500KB / গুলি, ত্রুটিগুলি / পুনঃস্থাপনগুলি পরিচালনা করার জন্য একটি সরঞ্জামও নেই।
একটি সাধারণ সার্ভার বা পরিষেবাতে আপলোড করুন যেমন ড্রপবক্স: মার্কিন-অ-সহযোগী হিসাবে আপলোড করা কষ্টদায়ক।
ডিস্ক বার্ন করা বা এইচডিগুলিতে অনুলিপি করা এবং কুরিয়ারের মাধ্যমে শিপিং: বিলম্বিতা তাত্পর্যপূর্ণ এবং এর সাথে স্থানীয় অনুলিপি তৈরির অতিরিক্ত কাজ।

কোনও পরামর্শ?

আপডেট: সহযোগিতার কোনও পক্ষই প্রযুক্তি-বুদ্ধিমান ব্যবহারকারী নয়।

data-transfer

— অকপট
সূত্র

ছবি হিসাবে ছবি, বা একটি ডিভিডি উপস্থাপন একটি ফাইল হিসাবে চিত্র?

— ড্যানিয়েল বেক

মাইক্রোস্কোপগুলি দ্বারা উত্পন্ন উচ্চ মাত্রিক চিত্র images

— ফ্রাঙ্ক

1

সুতরাং এটি বেশ কয়েকটি খুব বড় ফাইল? আপনি কি ফাইল গণনা, স্বতন্ত্র ফাইলের আকার এবং স্থানান্তরগুলির মধ্যে এইগুলির মধ্যে কতগুলি সম্পর্কিত আরও তথ্য দিতে পারেন? এগুলি কি সমস্ত, কিছু কিছু ইত্যাদি?

— ড্যানিয়েল বেক

1

কিছু ডিএনএ সিকোয়েন্সার সিদ্ধান্ত নিয়েছে যে বিশ্বজুড়ে তাদের নিষিদ্ধ পরিমাণে ডেটা প্রেরণের দ্রুততম উপায় ফেডেক্স ।

— জোশুয়াহেল্ডুন্ড

স্নিকার্নেট বা আইপিওএসি- র কাজের মতো মনে হচ্ছে ।

— নাফটুলি কে

20

আমি আপনাকে আরএসসিএনসি ব্যবহার করার পরামর্শ দিচ্ছি । রাইকিঙ্ক ডেল্টা-ট্রান্সফার অ্যালগরিদমকে সমর্থন করে, সুতরাং যদি আপনার ফাইলগুলি কেবলমাত্র আংশিকভাবে পরিবর্তিত হয় বা পূর্ববর্তী স্থানান্তরটি অস্বাভাবিকভাবে বন্ধ হয়ে যায় তবে Rsync কেবল নতুন / পরিবর্তিত পরিবর্তনগুলি সিঙ্ক করার জন্য যথেষ্ট স্মার্ট।

উইন্ডোজ এবং অন্যান্য অ-ইউনিক্স-সামঞ্জস্যপূর্ণ সিস্টেমগুলিতে বিনামূল্যে এবং অ-মুক্ত, মূল রাইকিঙ্কের বেশ কয়েকটি বন্দর রয়েছে। বিশদ জন্য দয়া করে Rsync উইকিপিডিয়া নিবন্ধ দেখুন।

এসএসএইচ-র উপরে Rsync খুব ব্যাপকভাবে ব্যবহৃত হয়, এবং ভালভাবে কাজ করে। 10 জিবি হ'ল আজকের দিনে তুলনামূলকভাবে অল্প পরিমাণে ডেটা, এবং আপনি "মাঝে মধ্যে" অর্থ কী তা নির্দিষ্ট করেননি। সপ্তাহের? দৈনিক? প্রতি ঘণ্টায়? 500 কেবি / সেকেন্ড ট্রান্সফার রেট সহ এটি প্রায় দীর্ঘ সময় নয়, প্রায় 6 ঘন্টা সময় নেবে। আপনার যদি ঘন ঘন ডেটা স্থানান্তর করতে হয় তবে স্বয়ংক্রিয়ভাবে আরএসআইএনসি শুরু করার জন্য ক্রোন টাস্কটি তৈরি করা ভাল।

— haimg
সূত্র

না rsyncবদ্বীপ জন্য নিজস্ব প্রোটোকল প্রয়োজন, অন্যান্য প্রান্তে একটি সক্ষম সহযোগীর সিস্টেম প্রয়োজন?

— ড্যানিয়েল বেক

@ ড্যানিয়েলবেক: ডক্সে এমন কোনও কিছুই নেই যা বলে যে এসএসএইচ-এর উপর আরএসএনসিটি ডেল্টাকপি ব্যবহার করতে পারে না ... মূলত আরএসসিএন ক্লায়েন্ট এসএসএসের মাধ্যমে সার্ভারে অন্য আরএসসিএনসি কপিটি কার্যকর করে, তাই কেন এটি কাজ করবে না আমি তা দেখতে পাচ্ছি না।

— হাইমগ

+1 আপনার একটি পয়েন্ট আছে। যে সার্ভারে লিনাক্স প্রয়োজনীয়তা ছেড়ে দেয়?

— ড্যানিয়েল বেক

rsyncবাইনারি সংক্ষেপিত ডেটা ( .zipবা .jpg) স্থানান্তর করার সময় কি ডেল্টা-অ্যালগোরিদম কাজ করে ?

— আদিত্য

@ ড্যানিয়েলবেক: আমি বেশ কয়েকটি উইন্ডোজ আরএসএনসি পোর্টের সাথে উইকিপিডিয়া নিবন্ধে একটি লিঙ্ক যুক্ত করেছি। স্পষ্টত তাদের মধ্যে কমপক্ষে কিছু ssh সহ সার্ভার হিসাবে কাজ করে। যদিও আমি তাদের কোনটিই ব্যবহার করি নি।

— 21

12

ইন্টারনেট জুড়ে সংযোগ একটি কার্যকর বিকল্প হতে পারে এবং বিটোরেন্টের মতো একটি প্রোগ্রাম ঠিক এই উদ্দেশ্যে উপযুক্ত হয় কারণ এটি ফাইলগুলি অন্য প্রান্তে পুনর্গঠনের জন্য ইন্টারনেটে প্রেরণে লজিকাল টুকরো টুকরো টুকরো টুকরো টুকরো টুকরো টুকরো করে ফেলবে

বিটোরেন্ট আপনাকে স্বয়ংক্রিয় ত্রুটি সংশোধন, ক্ষতিগ্রস্থ টুকরোগুলি মেরামত করতে এবং আরও বেশি লোকের যদি ফাইলের প্রয়োজন হয় তবে তারা ইতিমধ্যে ফাইল ডাউনলোড করা যতগুলি উত্স (অংশগুলির) থেকে ফাইল সরবরাহ করার সুযোগ পাবে তার সুবিধা পাবে।

মঞ্জুরিপ্রাপ্ত লোকেরা চলচ্চিত্র এবং এ জাতীয় ডাউনলোড করার দুর্দান্ত উপায় হিসাবে দেখেন তবে এতে আরও অনেক আইনী ব্যবহার রয়েছে।

প্রচুর বিটোরেন্ট ক্লায়েন্টও ট্র্যাকারগুলিতে তৈরি করেছে যাতে আপনার ফাইলগুলি হোস্ট করার জন্য কোনও ডেডিকেটেড সার্ভার থাকতে হবে না।

— মকুবাই
সূত্র

2

ইনপুট জন্য ধন্যবাদ। একাডেমিক নেটওয়ার্কগুলির মধ্যে বিটরেন্টের ব্যবহার তাদের প্রশাসকদেরকে উদ্বিগ্ন করতে পারে। এছাড়াও, একজন গড় কম্পিউটার কম্পিউটার ব্যবহারকারীর জন্য ট্র্যাকার সার্ভার সেট আপ এবং রক্ষণাবেক্ষণ এত সহজ নাও হতে পারে।

— ফ্র্যাঙ্ক

2

এটি একটি ভাল বিষয়, অনেক কর্পোরেট এবং একাডেমিক নেটওয়ার্কগুলিতে বিটোরেন্ট সক্রিয়ভাবে নিষিদ্ধ। যথাযথ প্রশাসনের মাধ্যমে আপনি ব্যবহারকারী বা মেশিনগুলির বিটোরেন্ট ব্যবহারের মঞ্জুরিপ্রাপ্ত নেটওয়ার্কগুলির মধ্যে একটি সাদা তালিকা তৈরি করতে পারেন, যদিও এর অর্থ সঠিকভাবে কাজ করার জন্য সম্পর্কিত আইটি বিভাগগুলির সাথে খুব ঘনিষ্ঠ সম্পর্ক রয়েছে। যেমনটি আমি উল্লেখ করেছি যে আপনার অবশ্যই কোনও ডেডিকেটেড সার্ভার থাকা দরকার না কারণ এটি অনেক ক্লায়েন্ট প্রোগ্রামগুলিতে তৈরি হতে পারে। এটি যদি আপনার পরিস্থিতির জন্য উপযুক্ত না তবে তবুও কোনও উদ্বেগ নেই, কেবল আপনার প্রয়োজনীয়তা বিবেচনা করেই আমার কাছে যুক্তিযুক্ত বলে মনে হয়েছিল।

— মকুবাই

আপনি bitorrent ব্যবহার করা হয়েছে, এছাড়াও একটি চালাক ধারণা মত একটি webseed শব্দসমূহ ব্যবহার যদি

— মজুর গিক

(উত্তরে উল্লিখিত 'আরও আইনী ব্যবহারের' উদাহরণ হিসাবে, ফেসবুক হাজার হাজার প্রোডাকশন সার্ভারগুলিতে তাদের সাইট, 1 গিগাবাইট বাইনারি স্থাপন করার জন্য বিটোরেন্টকে ব্যবহার করে How যে প্রযুক্তিটি বেশিরভাগ তার ব্যবহারের কারণে ফেলে দেওয়া হয়, তা কত দুর্ভাগ্যজনক))

— আন্তন স্ট্রোগনফ

6

ফাইলটি উদাহরণস্বরূপ 50MB (যেমন ব্যবহার করে split) এর অংশগুলিতে বিভক্ত করুন । তাদের সবার জন্য চেকসমগুলি গণনা করুন (উদাঃ md5sum)। lftpলিনাক্সের মতো এফটিপি এবং ত্রুটি-সহনশীল এফটিপি ক্লায়েন্ট ব্যবহার করে সরাসরি আপলোড করুন । সমস্ত অংশ এবং সমস্ত চেকসামযুক্ত একটি ফাইল স্থানান্তর করুন।

দূরবর্তী সাইটে, যাচাই করে নিন যে সমস্ত অংশগুলির কাঙ্ক্ষিত চেকসাম রয়েছে, যা ব্যর্থ হয়েছে তাদের পুনরায় আপলোড করুন এবং তাদের মূল ফাইলে পুনরায় সংযুক্ত করুন (যেমন ব্যবহার করে cat)।

সার্ভারের অবস্থানটি ফিরিয়ে দিন (গন্তব্যের সাইটটি সার্ভার সরবরাহ করেছে এবং এই ফাইলগুলি প্রস্তুত হওয়ার সময় আপনি স্থানীয়ভাবে স্থানান্তর শুরু করবেন এই ধারণার অধীনে পোস্ট করেছি) প্রয়োজনীয় হিসাবে। আপনার এফটিপি ক্লায়েন্টের যত্ন নেওয়া উচিত নয়।

আমি অতীতেও একই রকম সমস্যা পেয়েছি এবং একটি ত্রুটি-সহনশীল এফটিপি ক্লায়েন্ট ব্যবহার করে কাজ করেছি। কোনও বিট কখনও ফ্লিপ করা হয়নি, কেবল নিয়মিত সংযোগ বাতিল হয়, তাই আমি খণ্ডগুলি তৈরি করতে এড়াতে পারি এবং কেবল ফাইল আপলোড করতে পারি। আমরা এখনও সম্পূর্ণ ক্ষেত্রে পুরো ফাইলের জন্য একটি চেকসাম সরবরাহ করেছি।

— ড্যানিয়েল বেক
সূত্র

3

আপনার সচেতন হওয়া দরকার যদিও এটি কোনও কারণে কোনওlftp স্থানান্তর অগ্রগতি বাতিল করে না । গন্তব্য সাইটে আপনার কাছে সর্বদা পর্যাপ্ত ফ্রি ডিস্কের জায়গা রয়েছে তা নিশ্চিত করুন।

— ড্যানিয়েল বেক

3

ড্যানিয়েল বেকের উত্তরের একটি ভিন্নতা হ'ল 50MB থেকে 200MB ক্রমানুসারে ফাইলগুলি অংশে বিভক্ত করা এবং পুরো সেটটির জন্য প্যারিটি ফাইল তৈরি করা।

এখন আপনি এফটিপি, এসসিপি বা অন্য কোনও কিছু দিয়ে ফাইলগুলি (প্যারিটি ফাইল সহ) স্থানান্তর করতে পারবেন এবং রিমোট সাইটটিতে গিয়ে পরীক্ষা করতে পারেন এবং পুরো সেট আসার পরে একটি চেক করতে পারেন। এখন যদি কিছু অংশ ক্ষতিগ্রস্থ হয় তবে পর্যাপ্ত ব্লক থাকলে প্যারিটি ফাইলগুলি দ্বারা এটি ঠিক করা যেতে পারে। এটি কতগুলি ফাইল ক্ষতিগ্রস্থ হয়েছে এবং আপনি কতটা প্যারিটি ফাইল তৈরি করেছেন তা কমবেশি নির্ভর করে।

বড় ফাইলগুলি প্রেরণের জন্য ইউজনেটে প্যারিটি ফাইলগুলি প্রচুর ব্যবহৃত হয়। বেশিরভাগ সময় তারা তখন আরআর সংরক্ষণাগার হিসাবে বিভক্ত হয়। এভাবে 50 থেকে 60 জিবি পর্যন্ত ডেটা প্রেরণ করা অস্বাভাবিক নয়।

আপনার অবশ্যই প্রথম লিঙ্কটি পরীক্ষা করে নেওয়া উচিত এবং আপনি কুইকপ্যারটিও দেখতে পারেন , এটি এমন একটি সরঞ্জাম যা প্যারিটি ফাইলগুলি তৈরি করতে ব্যবহার করা যেতে পারে, আপনার ডাউনলোড করা ফাইলগুলি যাচাই করে এবং এমনকি প্রদত্ত প্যারিটি ফাইলগুলির মাধ্যমে ক্ষতিগ্রস্থ ফাইলগুলি পুনরুদ্ধার করতে পারে।

— মার্তিজন বি
সূত্র

+1 - এই পদ্ধতির ইউজনেটে ভাল কাজ করে এবং প্যারিটি ফাইলগুলি আশ্চর্যজনক পরিমাণ হারানো ডেটা মেরামত করতে পারে। প্যারিটি ফাইলগুলি বিভক্ত করা এবং উত্পন্ন করার জন্য এবং পুনরুদ্ধারের পরে প্যারিটি চেক এবং ফাইলগুলি বের করার জন্য প্রসেসিংয়ের সময় হ্রাস করা যায়।

— ডিজনেল

1

এটি কি একটি বড় 10 জিবি ফাইল? এটি সহজেই বিভক্ত করা যেতে পারে?

আমি এটির সাথে খুব বেশি খেলিনি, তবে এটি একটি আকর্ষণীয় এবং অপেক্ষাকৃত সাধারণ ধারণা হিসাবে আমাকে আঘাত করেছে যা এই পরিস্থিতিতে কাজ করতে পারে:

http://sendoid.com/

— ক্রেগ এইচ
সূত্র

সেন্ডয়েড বেশ দুর্দান্ত, তবে দুর্ভাগ্যক্রমে আপলোড করা এখনও বেদনাদায়ক হতে চলেছে। তারপরে, সমস্যাটি সমস্ত ধরণের বিশ্বাস করি যা আমি বিশ্বাস করি, যদি আপনি কোনও এইচডিডি মেল না করেন। এটি ব্যবহার করা সহজ হিসাবে +1।

— ডিএমান

0

এফটিটিপি / HTTP / https / sftp / ftps (লগনের শংসাপত্রগুলির প্রয়োজন) এর মাধ্যমে ডেটা উপলভ্য করুন এবং ক্লায়েন্ট পক্ষের যে কোনও ডাউনলোড ম্যানেজার ব্যবহার করুন।

ডাউনলোড ম্যানেজারগুলি বিশেষত যে কোনও ত্রুটি হতে পারে তা নির্ধারণ করে ডেটা পুনরুদ্ধার করার জন্য ডিজাইন করা হয়েছে যাতে তারা আদর্শভাবে আপনার কাজটি ফিট করে।

সার্ভার হিসাবে, একটি এফটিপি সার্ভার সাধারণত সেটআপ করা সবচেয়ে সহজ। আপনি উইকিপিডিয়ায় একটি তালিকার সাথে পরামর্শ করতে পারেন । এইচটিটিপিএস, এসএফটিপি এবং এফটিপিএস এনক্রিপশনের অনুমতি দেয় (খাঁটি এফটিপি / এইচটিটিপিতে, পাসওয়ার্ড স্পষ্ট পাঠ্যে প্রেরণ করা হয়) তবে এসএফটিপি / এফটিপিএস কম ক্লায়েন্ট সফ্টওয়্যার দ্বারা সমর্থিত এবং HTTP / HTTPS সার্ভার সেটআপটি জটিল।

— ivan_pozdeev
সূত্র

1

HTTP বা ftp ব্যবহার করে সমস্যাটি হ'ল কোনও সংক্রমণ ত্রুটি রয়েছে, আপনাকে আবার পুরো জিনিসটি প্রেরণ করতে হবে। আরএসআইএনসি, বিটোরেন্ট এবং অন্যান্য প্রোটোকলগুলি যাচাই করতে পারে যে ফাইলগুলি মেলে এবং কেবল ক্ষতিগ্রস্থ টুকরো পুনরায় স্থানান্তর করতে পারে। কুইকপিয়ারের মতো প্যারিটি ডেটাও সহায়তা করতে পারে।

— আফরাজায়

এফটিপি এবং এইচটিটিপি উভয়ই একটি alচ্ছিক এক্সটেনশন হিসাবে একটি ট্রান্সফার পুনরায় শুরু করার ক্ষমতা অন্তর্ভুক্ত করে যা বেশিরভাগ সার্ভার এবং কার্যত সমস্ত ডাউনলোড ম্যানেজার দ্বারা সমর্থিত।

— আইভান_পোজদেদেভ

এগুলি আবার শুরু হতে পারে এবং তাত্ত্বিকভাবে টিসিপি নিশ্চিত করে যে ডেটা যথাযথভাবে এসেছে এবং একটি বৈধ চেকসাম রয়েছে। তবে, যার কাছে একটি বৃহত এইচটিটিপি বা এফটিপি স্থানান্তর দূষিত হয়েছে তিনি আরও দৃust় প্রোটোকল বা কোনও ধরণের ইসিসির মান শিখেছেন।

— আফ্রাজিয়ার