প্রচুর ফাইল স্থানান্তরিত করার দ্রুত এবং সবচেয়ে নির্ভরযোগ্য উপায় কী?

Question

আমি প্রায় 90 কেবি প্রায় 100 কে ফাইল স্থানান্তর করার চেষ্টা করছি। এই মুহুর্তে আমি rsync ডেমন ব্যবহার করছি তবে এর ধীরগতি 3.4mb / s এবং আমার এটি বেশ কয়েকবার করতে হবে। আমি ভাবছি যে আমার কাছে কী বিকল্প রয়েছে যা ইন্টারনেটে 100 মিমি সংযোগ স্থাপন করবে এবং খুব নির্ভরযোগ্য হবে?

Comments

আপনি আপনার সংযোগের প্রায় এক তৃতীয়াংশ পাচ্ছেন - এটি সম্মানজনক, তবে দুর্দান্ত নয়। বৈদ্যুতিন উড়ে যাওয়ার সাথে সাথে ফাইলগুলি স্থানান্তরিত হচ্ছে?

— শেন ম্যাডেন

দুটি সার্ভারের মধ্যে 50 মাইলের বিলম্ব।

— ছদ্মবেশী 2

আমি একবার ফাইলের একটি দর্শন দেখেছি hyperboleandahalf.blogspot.com/2010/04/...

— এবার Smudge

আপনি যদি rsync ডেমন ব্যবহার করছেন, কোনও ssh জড়িত নেই, তাই না? তারপরে ব্যাখ্যাটি সম্ভবত হোস্টগুলির মধ্যে অবকাঠামো। হোস্টগুলির মধ্যে গতি পরীক্ষা করার জন্য আপনি নেটপারফ বা আইপিআরএম বা ফ্লোগ্রাইন্ড চেষ্টা করতে পারেন। এই পরীক্ষাটি আপনি একটি উচ্চ ট্রান্সফার রেট দেয়, তাহলে আপনি কিভাবে rsync জিনিষ ধীর করছে তাকান উচিত: পড়া I / O সার্ভারে ধীর, লেখা I / O ক্লায়েন্টের অনেক ছোট ফাইল, ফাইল সিস্টেম ইত্যাদি ..

— AndreasM

দুটি সার্ভারের মধ্যে কীভাবে প্রচুর পরিমাণে ফাইলগুলি অনুলিপি করা যায় তার

— স্কট প্যাক

Answer 1

আপনি স্নিকার্নেট বিবেচনা করেছেন ? বড় ডেটা সেট করে রাতারাতি শিপিং প্রায়শই ইন্টারনেটের মাধ্যমে স্থানান্তরিত করার চেয়ে দ্রুত এবং সস্তার হতে চলেছে।

Comments

"কখনও হাইওয়েতে ব্যথিত টেপ ভরা স্টেশন ওয়াগনের ব্যান্ডউইদথটিকে কখনই হ্রাস করবেন না।" - এএসটি

— 29'11 এ ভোরেটাক 7

ভাল, গিগাবিট ল্যান হার্ডওয়ারের সাশ্রয়ী মূল্যের ভিত্তিতে যদি এটির ল্যান ট্রান্সফার হয় তবে ইএসটিএ মাধ্যমে একটি স্পিন্ডলে লেখার সময়টি এতটা আকর্ষণীয় নয়।

— memnoch_proxy

Answer 2

কিভাবে? বা টিএল; ডিআর

দ্রুততম পদ্ধতি আমি পেয়েছি তার সংমিশ্রণ tar, mbufferএবং ssh।

উদাহরণ:

tar zcf - bigfile.m4p | mbuffer -s 1K -m 512 | ssh otherhost "tar zxf -"

এটি ব্যবহার করে আমি 1 জিবি লিঙ্কগুলিতে 950 এমবি / সেকেন্ডেরও বেশি স্থায়ী স্থানীয় নেটওয়ার্ক ট্রান্সফার অর্জন করেছি। আপনি যেটি স্থানান্তর করছেন তার উপযুক্ত হওয়ার জন্য প্রতিটি টার কমান্ডের পাথগুলি প্রতিস্থাপন করুন।

কেন? mbuffer!

কোনও নেটওয়ার্কের মাধ্যমে বড় ফাইলগুলি স্থানান্তর করার বৃহত্তম বাধা হ'ল দূর থেকে, ডিস্ক আই / ও। তার উত্তর হ'ল mbufferবা buffer। এগুলি বেশিরভাগ ক্ষেত্রে একই রকম তবে mbufferএর কিছু সুবিধা রয়েছে। ডিফল্ট বাফার আকারটি 2MB এর জন্য mbufferএবং 1MB এর জন্য buffer। বড় বাফারগুলি কখনও খালি না হওয়ার সম্ভাবনা বেশি। লক্ষ্য এবং গন্তব্য ফাইল সিস্টেমে উভয় নেটিভ ব্লক আকারের মধ্যে সর্বনিম্ন সাধারণ একাধিক যা একটি ব্লকের আকার চয়ন করা সর্বোত্তম কর্মক্ষমতা দেয়।

বাফারিং হ'ল জিনিসটি যা সমস্ত পার্থক্য তৈরি করে! এটি থাকলে তা ব্যবহার করুন! যদি আপনার কাছে না থাকে, এটি পান! (m}?bufferপ্লাস কিছু ব্যবহার করা যেকোনো কিছু থেকে নিজের থেকে ভাল। ধীরে ধীরে নেটওয়ার্ক ফাইল স্থানান্তরের জন্য এটি প্রায় আক্ষরিক অর্থেই একটি প্যানাসিয়া।

আপনি যদি একাধিক ফাইলগুলিকে tarএকসাথে ডেটা স্ট্রিমের সাথে "গলিত" করতে ব্যবহার করেন। যদি এটি একক ফাইল হয় তবে আপনি catবা I / O পুনঃনির্দেশ ব্যবহার করতে পারেন । এর মাথার উপরে tarবনাম catপরিসংখ্যানগত তুচ্ছ তাই আমি সবসময় ব্যবহার করেন tar(অথবা zfs -sendযেখানে আমি করতে পারেন) যদি না তা ইতিমধ্যে একটি এর tarball রূপে । এগুলির কোনওটিই আপনাকে মেটাটাটা দেওয়ার গ্যারান্টিযুক্ত নয় (এবং বিশেষত তা catকরবে না)। আপনি যদি মেটাটাটা চান, আমি এটি আপনার জন্য অনুশীলন হিসাবে ছেড়ে দেব।

অবশেষে, sshপরিবহন ব্যবস্থার জন্য ব্যবহার করা উভয়ই সুরক্ষিত এবং খুব সামান্য ওভারহেড বহন করে। আবার, ওভারহেড sshবনাম ncপরিসংখ্যানগত নগণ্য।

Comments

কখনও কখনও পরিবহন হিসাবে এসএসএইচ ব্যবহার করার ক্ষেত্রে এনক্রিপশন ওভারহেড থাকে। দেখুন: এনক্রিপশন ছাড়াই শক্তিশালী প্রমাণীকরণের সাথে লিনাক্স মেশিনগুলির মধ্যে ফাইলগুলি অনুলিপি করা হচ্ছে

— ew white

আপনার প্রয়োজন হলে আপনি দ্রুত এনক্রিপশন প্রক্রিয়া ব্যবহার করতে পারেন। তবে আপনার অবশ্যই এই এসএসএসের মাধ্যমে পাইপ দেওয়ার দরকার নেই। আমি উভয় পক্ষের এমফার উপর -O এবং -I বন্দর স্থাপন করতে পছন্দ করি। এমনকি এটি এখন দুটি কমান্ড, আপনি এনক্রিপশনটি এড়িয়ে যান এবং উভয় প্রান্তে বাফার করে নেটওয়ার্ক ব্যান্ডউইথকে সর্বাধিক করে তোলেন। আমি আমার স্থানীয় ল্যানে 720 + এমবিপিএসে একটি টার স্ট্রিম প্রেরণ করছিtar -cf - .|mbuffer -m128k -s 256M -I 9090 & mbuffer -m128k -s 256M -O host:9090 | tar -xf -

— স্মারক_প্রক্সি

@ মেমনচ_প্রক্সি: এটি একটি ভাল পরামর্শ (যা আমি ভোট দিয়েছি) তবে এই দিন এবং যুগে যেখানে এনএসএ এমনকি তথ্য কেন্দ্রের (যেমন, গুগল এবং ইয়াহু) এনক্রিপশন, আইএমও ব্যবহার করে প্রাইভেট ডেটা লাইনগুলি ট্যাপ করে চলেছে তা সর্বদা একটি ভাল অভ্যাস । ব্যবহার করা sshসহজ করে তোলে। ব্যবহার stunnel, socatবা opensslখুব কাজ করে, কিন্তু তারা আরো সহজ স্থানান্তর সেটআপ করার জন্য জটিল করছি।

— বাহামা

@ বাহমত আমাকে আবারও প্রশ্নটি দেখার জন্য ধন্যবাদ। আমার পরামর্শটি কেবল তখনই উপযুক্ত মনে হয় যদি কোনও ভিপিএন-এর মাধ্যমে স্থানান্তর ঘটতে পারে। একটি ইন্টারনেট স্থানান্তর জন্য, আমি অবশ্যই ssh ব্যবহার করতে হবে।

— memnoch_proxy

Answer 3

আপনি "rsync" উল্লেখ করেছেন, সুতরাং আমি ধরে নিই যে আপনি লিনাক্স ব্যবহার করছেন:

আপনি কেন একটি tar বা tar.gz ফাইল তৈরি করবেন না? একটি বড় ফাইলের নেটওয়ার্ক ট্রান্সফার সময়টি অনেক ছোট ফাইলের চেয়ে দ্রুত। এমনকি আপনি যদি এটি চান সংক্ষেপ করতে পারে ...

কোনও সংকোচনের সাথে তার:

উত্স সার্ভারে:

tar -cf file.tar /path/to/files/

তারপরে প্রাপ্তি শেষে:

cd /path/to/files/
tar -xf /path/to/file.tar

সংকোচনের সাথে টার:

উত্স সার্ভারে:

tar -czf file.tar.gz /path/to/files/

তারপরে প্রাপ্তি শেষে:

cd /path/to/files/
tar -xzf /path/to/file.tar.gz

আপনি কেবলমাত্র (ট্যারি | টর.gz) ফাইলের প্রকৃত স্থানান্তর করতে আরএসসিএনসি ব্যবহার করবেন।

Comments

কেবলমাত্র সংরক্ষণাগার সংরক্ষণের জন্য উপলভ্য স্থান যদি সেখানে থাকে ..

— তেব

Answer 4

আপনি এখানে বর্ণিত কৌশল tarএবং sshকৌশল চেষ্টা করতে পারেন :

tar cvzf - /wwwdata | ssh root@192.168.1.201 "dd of=/backup/wwwdata.tar.gz"

এই উচিত করতে রিরাইটএবল হতে নিম্নলিখিত :

tar cvzf - /wwwdata | ssh root@192.168.1.201 "tar xvf -"

যদিও আপনি প্রক্রিয়াটির --partialবৈশিষ্ট্যগুলি হারাবেন rsync। যদি ফাইলগুলি খুব ঘন ঘন পরিবর্তিত হয় না, তবে আস্তে আস্তে প্রাথমিকভাবে জীবনযাপন rsyncকরা সার্থক হতে পারে কারণ এটি ভবিষ্যতে আরও দ্রুত যেতে পারে ।

Answer 5

আপনি rsync এর বিভিন্ন সংকোচন বিকল্পগুলি ব্যবহার করতে পারেন।

-z, --compress              compress file data during the transfer
     --compress-level=NUM    explicitly set compression level
     --skip-compress=LIST    skip compressing files with suffix in LIST

বাইনারি ফাইলগুলির জন্য সংক্ষেপণ অনুপাত খুব কম, সুতরাং আপনি --স্কিপ-সংক্ষেপণ যেমন আইসো, ইতিমধ্যে সংরক্ষণাগারভুক্ত এবং সংক্ষেপিত টার্বল ইত্যাদি ব্যবহার করে সেই ফাইলগুলি এড়িয়ে যেতে পারেন

Answer 6

আমি এসএফটিপি-র একটি বড় অনুরাগী। আমি আমার প্রধান কম্পিউটার থেকে আমার সার্ভারে মিডিয়া স্থানান্তর করতে এসএফটিপি ব্যবহার করি। ল্যানের চেয়েও ভাল গতি পাই।

এসএফটিপি নির্ভরযোগ্য, আমি এটি একটি শট দিতে পারি, কারণ এটি সেটআপ করা সহজ, এবং এটি কিছু ক্ষেত্রে দ্রুত হতে পারে be

Comments

এফটিপি মারা যেতে হবে। এটি এনক্রিপ্ট করা হয়েছে, এটি বাধা ভালভাবে পরিচালনা করে না এবং এর জন্য কমপক্ষে অর্ধ ডজন কার্যকর বিকল্প রয়েছে যা পুরোপুরি চুষে না।

— MDMarra

কখনও কি এসএফটিপি শুনছেন?

— টিলম্যান 32

হ্যাঁ, আছে? নাম এবং সত্য যে এটি ফাইলগুলি প্রায় সরানো ব্যতীত এফটিপি প্রোটোকলের সাথে কোনওভাবেই সম্পর্কিত নয়।

— MDMarra

ফায়ারওয়ালগুলি ট্র্যাভার করার সময় এফটিপিও কুখ্যাতভাবে বিশ্বাসযোগ্য নয় (এটি যখন আপনার ক্লায়েন্টকে ব্যাক-সংযোগগুলি গ্রহণ করার জন্য একটি এলোমেলো বন্দর খোলার আগে এটি ফায়ারওয়ালের আগে ছিল তখন দুর্দান্ত ছিল, এবং এই সীমাবদ্ধতার চারপাশে কাজ করার জন্য প্যাসিভ এবং বর্ধিত প্যাসিভ এফটিপি হ্যাকারিটি কেবল এটিই ছিল: হ্যাকারি)

— voretaq7