উচ্চ বিলম্বিত নেটওয়ার্কে এসএফটিপি আপলোডগুলি গতি বাড়িয়ে দেবে?


27

আমি আন্তর্জাতিকভাবে এসএফটিপি ব্যবহার করে বড় বড় ফাইলের একটি সেট স্থানান্তর করার চেষ্টা করছি, তবে আমি খুঁজে পাচ্ছি যে আমার আন্তর্জাতিক অংশীদার উভয় পক্ষের খুব ভাল সংযোগ থাকা সত্ত্বেও আপলোডের গতি k 50k এর উপরে পেতে পারে না। আমরা এই গতিতে একাধিক সংযোগ আপলোড পেতে পারি (তাই ব্যান্ডউইথ নয়?), তবে কোনও একক আপলোড গতিতে উন্নতি করতে পারে না, এটি একটি সমস্যা কারণ অনেকগুলি ফাইলের আকার বিভিন্ন গিগাবাইট।

এসএফটিপি স্ট্যান্ডার্ড অ্যাপল ওএসএক্স "রিমোট লগইন" এসএফটিপি সিস্টেম ব্যবহার করে হোস্ট করা হচ্ছে।

আপলোডের গতি উন্নত করার কোনও উপায় আছে, বা অন্য কোনও এসএফটিপি হোস্ট আছে যা সহায়তা করবে? এটি কনফিগারেশন সমস্যা বা প্রোটোকলের অন্তর্নিহিত সীমাবদ্ধতা কিনা তা আমার কাছে স্পষ্ট নয়।

(সুরক্ষার কারণে আমাকে শেষ-থেকে-শেষ এনক্রিপ্ট করা পিয়ার-টু-পিয়ার সংযোগ ব্যবহার করতে হবে - কোনও ক্লাউড পরিষেবা নেই)।


আপনার যদি বাজেট থাকে, এমন বাণিজ্যিক সমাধান রয়েছে যা এসপিটিপি-র মতো টিসিপি-ভিত্তিক ফাইল স্থানান্তর সিস্টেমের চেয়ে অনেক ভাল সম্পাদন করে।
কেনস্টার

4
এটি যদি এক সময়ের-বহু-জিবি স্থানান্তর হয় তবে কেন ইন্টারনেটের বিকল্প চেষ্টা করবেন না ।
vasin1987

1
এন rsyncট্রান্সফার শুরু করার জন্য একটি সাধারণ শেল স্ক্রিপ্ট সহজেই আপনার প্রয়োজনীয়তা অর্জন করবে 1. নিরাপদ স্থানান্তর এবং 2. আপনার ব্যান্ডউইথকে সর্বাধিক করে তোলা। কীভাবে এন rsyncট্রান্সফারগুলি স্ট্যাকওভারফ্লো.com
ট্রেভর বয়ড স্মিথ

2
অথবা কেবল uftp-multicast.sourceforge.net ইচ্ছাকে এনক্রিপ্ট করবে এবং ম্যাক আপনার ব্যান্ডউইদথটি ব্যবহার করবে th
ট্রেভর বয়েড স্মিথ

4
আপনার শেষ বাক্যটির বিপরীতে, ক্লাউড পরিষেবাটি ঠিক আছে যদি আপনি ফাইলটি স্থানীয়ভাবে এনক্রিপ্ট করেন, এটি মেঘের মাধ্যমে স্থানান্তর করেন, তবে স্থানীয়ভাবে ডিক্রিপ্ট করুন অন্য প্রান্তে 8), যার অর্থ এখনও শেষে থেকে শেষের এনক্রিপশন হবে। (আপনি সফল সংবর্ধনা সম্পর্কে কিছু সংক্ষিপ্ত প্রতিক্রিয়া যোগ করতে চাইতে পারেন)। আপনার সমস্ত ট্র্যাফিক স্নিগ্ধ করতে সক্ষম এমন কোনও ব্যক্তির আক্রমণ প্রতিরোধ করতে আপনি sftp এনক্রিপশন ব্যবহার করেন। সুতরাং কেবল তাদের এনক্রিপ্ট করা ডেটা দেওয়া তারা যেভাবেই পেতে পারে তা অনুমান করার চেয়ে খারাপ নয়।
হেগেন ভন ইটজেন

উত্তর:


29

সঙ্গে OpenSSH- র sftpক্লায়েন্ট (যা আপনার ব্যবহারের জন্য মনে), আপনি ব্যবহার করতে পারেন:

শুরু করার জন্য, উভয়ই দ্বিগুণ করার চেষ্টা করুন:

sftp -R 128 -B 65536 user@host

এটি সম্ভবত খুব বেশি কিছু যায় আসে না, আপনি তাদের মধ্যে কোনটি বৃদ্ধি করেন।

হয় বাড়াতে আপনার উচ্চ-বিলম্বিত সংযোগটি পরিপূর্ণ করতে সহায়তা করা উচিত। উপরের সেটিংসের সাহায্যে এটি পাইপটিতে 8 এমবি মূল্যমানের ডেটা যে কোনও সময় প্রবাহিত করবে (128 * 64 কে = 8 এম)।

মনে রাখবেন এটি কেবল বড় ফাইল স্থানান্তরে সহায়তা করে। অনেকগুলি ছোট ফাইল স্থানান্তর করার সময় এর কোনও প্রভাব থাকবে না।


অন্যান্য ব্যাকগ্রাউন্ড এবং অন্যান্য (জিইউআই) এসএফটিপি ক্লায়েন্টদের সম্পর্কে আলোচনার জন্য, ফাইল জিলা এসএফটিপি ফাইল স্থানান্তর সর্বাধিক উপলব্ধ ব্যান্ডউইদথের পরিবর্তনের পরিবর্তে 1.3MiB / সেকেন্ডে কেন ক্যাপিড করা আছে তার আমার উত্তরটির "নেটওয়ার্ক বিলম্ব / বিলম্ব" বিভাগটি দেখুন ? আরএসআইএনসি এবং উইনসিসিপি আরও ধীর


4

আপনি চেষ্টা করতে এবং সংক্ষেপণ সক্ষম করতে পারেন, এবং দেখুন যে এটি সাহায্য করে কিনা।

থেকে man sftp:

-C সংক্ষেপণ সক্ষম করে (ssh এর -C পতাকা মাধ্যমে)।

এবং থেকে man ssh:

-C সমস্ত ডেটা (স্টিডিন, স্টডআউট, স্টেডার এবং ফরওয়ার্ডড এক্স 11, টিসিপি এবং ইউএনআইএক্স-ডোমেন সংযোগের জন্য ডেটা সহ) কে সংক্ষেপণের অনুরোধ করে। কম্প্রেশন অ্যালগরিদম জিজিপ (1) দ্বারা একই ব্যবহৃত, এবং "স্তর" প্রোটোকল সংস্করণ ১ এর জন্য কমপ্রেশন লেভেল বিকল্প দ্বারা নিয়ন্ত্রণ করা যেতে পারে। মডেম লাইন এবং অন্যান্য ধীর সংযোগে সংক্ষেপণ আকাঙ্ক্ষিত, তবে কেবল দ্রুত নেটওয়ার্কগুলিতে জিনিসগুলি ধীর করে দেবে । ডিফল্ট মানটি কনফিগারেশন ফাইলগুলিতে হোস্ট-বাই-হোস্ট ভিত্তিতে সেট করা যেতে পারে; সংক্ষেপণ বিকল্পটি দেখুন।

এটি বরং শোনাচ্ছে যদিও সংযোগটি তার পথ বরাবর কোনও সময়ে সীমাবদ্ধ হতে পারে (বা বরং এটি আমার কাছে সংযোগপ্রতি আপনার 50 কেবি / সেকেন্ডের সহজ ব্যাখ্যা, তবে একাধিক এ জাতীয় সংযোগগুলি সম্ভব হচ্ছে) যদিও এটি একটি নাও হতে পারে দুপাশের ডিস্কগুলি কোনও উপাদান নয় তা নিশ্চিত করার জন্য খারাপ ধারণা।

কোনও 'সুস্পষ্ট' সমস্যা আছে কিনা তা দেখার জন্য আপনি দ্রুত পিসিপি চালাতে পারেন (যেমন বিপুল সংখ্যক retransmits) - তবে যদি আপনার কিছুটা আত্মবিশ্বাস না থাকে তবে আপনি এটিকে মোকাবেলা করতে সক্ষম হবেন, আমি সম্ভবত দেখব সংক্ষেপণ সক্ষম করে কিনা সহায়তা।


ধন্যবাদ! দুর্ভাগ্যক্রমে ফাইলগুলি প্রাক-সংকুচিত, তাই আমি সন্দেহ করি যে কিছু করা হবে ...: /
নিক_ইউ

সংক্ষিপ্তকরণ এখানে জিনিসগুলিকে গতি দেয় না যদিও ডেটা সংকুচিত হয় না। এটি সিপিইউ সময়ের অনেক বড় ওভারহেড (এবং বিলম্ব) তাই এই দিনগুলিতে এটি বোঝা যায় না।
জাকুজে

1
যদি বাটলনাক নেটওয়ার্ক হয় তবে উভয় পক্ষের আরও কিছুটা সিপিইউ @ জাকুজে কিছুটা কমিয়ে দেবে না, যদি না বাক্সটি 50kB / s তে সংক্ষেপে অক্ষম হয়, যা কোনও সমস্যা নয়।
বেন

@ বেন প্রশ্নটি পরিষ্কারভাবে জানিয়েছে যে নেটওয়ার্কটি কোনও বাধা নয়।
জাকুজে

4

আমি আন্তর্জাতিকভাবে এসএফটিপি ব্যবহার করে একটি বড় ফাইলের সেট স্থানান্তর করার চেষ্টা করছি

এটি এখনও একটি উত্তর হিসাবে উল্লেখ করা হয় নি, কিন্তু একটি উচ্চ-ল্যাটেন্সি লিঙ্কের মাধ্যমে একাধিক ফাইল স্থানান্তর করার সময়, আরও ভাল পারফরম্যান্স পাওয়ার জন্য এখানে একটি সহজ সমাধান রয়েছে:

সমান্তরালে একাধিক ফাইল স্থানান্তর করুন।

এবং এটি এমন একটি সমাধান যা আপনি এমনকি আপনার প্রশ্নের মধ্যে উল্লেখ করেছেন। এটা ব্যবহার করো.

মূলত, টিসিপি প্রোটোকল একটি বৃহত ব্যান্ডউইথ-বিলম্ব পণ্য খুব ভালভাবে সংযোগগুলি পরিচালনা করে না - একটি একক সংযোগ কোনও পর্যায়ে কোনও সময় চলমান রাখতে পারে না। Https://en.wikedia.org/wiki/TCP_tuning দেখুন

যেহেতু প্রতিটি সংযোগ টিসিপি প্রোটোকল দ্বারা সীমাবদ্ধ তাই কেবল আরও সংযোগ ব্যবহার করুন।


1
এখানে কীভাবে এসএফটিপি স্থানান্তরকে সমান্তরাল করা যায়: সার্ভারসফল্ট
প্রশ্ন

3

Sftp স্থানান্তর গতি বাড়ান

আপনার সমস্যাগুলি নেটওয়ার্ক টিউনিং এবং / বা প্রতি টিসিপি সংযোগে থ্রোটলিং বলে মনে করছেন, lftp মিরর সাবসিস্টেমটি ব্যবহার করে sftp দেখুন

প্রতিটি প্রান্তে নেটওয়ার্ক টিউন করা অনেক বড় বিষয় এবং এটি সার্ভারফল্টের আওতার বাইরে টেক্সটকে সামনে এগিয়ে নিয়ে যাওয়ার দরকার হবে require স্বতন্ত্র সংযোগগুলির জন্য, আইওয়াসেটেনবাইগ্রু দ্বারা উল্লিখিত সংক্ষেপণটি যে কোনও উপায়ে সহায়তা করতে পারে। এটি ধরে নেয় দূরবর্তী প্রান্তটি সংকোচনের অনুমতি দেয়।


3

(আপনি প্রশ্নের শিরোনামে "উচ্চ মাত্রায়" উল্লেখ করেছেন, তবে বডি টেক্সটে নয় you আপনি কি আসল লেটেন্সিটি পরিমাপ করেছেন এবং ফলাফলগুলি কী?)

ওপেনএসএসএইচে একটি প্যাচ রয়েছে যা উচ্চ-ল্যাটেন্সি নেটওয়ার্ক লিঙ্কে স্পষ্টভাবে থ্রুপুট উন্নত করে: এইচপিএন-এসএসএইচ : (জোর দেওয়া খনি)

ওপেনএসএসএইচে এসসিপি এবং অন্তর্নিহিত এসএসএইচ 2 প্রোটোকল বাস্তবায়ন হ'ল স্থিরভাবে সংজ্ঞায়িত অভ্যন্তরীণ প্রবাহ নিয়ন্ত্রণ বাফারগুলির দ্বারা নেটওয়ার্ক কার্য সম্পাদন সীমিত। এই বাফারগুলি প্রায়শই এসসিপির নেটওয়ার্ক থ্রুটপুট, বিশেষত দীর্ঘ এবং উচ্চতর ব্যান্ডউইথ নেটওয়ার্ক লিঙ্কগুলিতে বাধা হিসাবে কাজ করে। রান টাইমে বাফারগুলি সংজ্ঞায়িত করার অনুমতি দেওয়ার জন্য এসএসএস কোডটি সংশোধন করা এই বাধাটি দূর করে। আমরা একটি প্যাচ তৈরি করেছি যা ওপেনএসএসএইচে বাধাগুলি সরিয়ে দেবে এবং অন্যান্য সার্ভার এবং ক্লায়েন্টদের সাথে পুরোপুরি ইন্টারঅ্যাপেবল। এছাড়াও এইচপিএন ক্লায়েন্টগুলি নন এইচপিএন সার্ভারগুলি থেকে দ্রুত ডাউনলোড করতে সক্ষম হবে এবং এইচপিএন সার্ভারগুলি নন এইচপিএন ক্লায়েন্টদের কাছ থেকে দ্রুত আপলোডগুলি গ্রহণ করতে সক্ষম হবে।

সুতরাং, গ্রাহক পক্ষ থেকে এইচপিএন-এসএসএইচ সংকলন এবং ব্যবহার করার চেষ্টা করুন এবং দেখুন এটি আপনার স্থানান্তর গতির উন্নতি করে কিনা।


ধন্যবাদ! আমি প্রকৃতপক্ষে পরিমাপ করিনি, আমি এখন স্বীকার করতে বিব্রত বোধ করছি, তবে আমি বিশ্বজুড়ে অর্ধেক পথ এত ইন্টারনেট নিয়ে একটি দেশে চলে যাচ্ছি, তাই অনুমান করছি আমি ঠিক আছি। :) প্যাচ খুব দরকারী শোনায়!
নিক_ইউ

@ নিক_ইউ আমি উপাখ্যান দেখেছি যে বিজ্ঞানীরা আটলান্টিক জুড়ে বিপুল পরিমাণে বৈজ্ঞানিক ডেটা স্থানান্তর করতে এইচপিএন-এসএসএইচ ব্যবহার করবেন। এটি আপনার ব্যবহারের ক্ষেত্রে উপযুক্ত হওয়া উচিত বলে মনে হচ্ছে।
টুইটারয়েড রাষ্ট্রদূত

0

এটি আপনার পক্ষে কোনও বিকল্প কিনা তা নিশ্চিত নন, তবে আপনি কী কোনও ডেটা আন্তর্জাতিক সাইটে ঠেলে বনাম টানতে চেষ্টা করেছেন? পাশাপাশি হয় বিভিন্ন সময়ে দেখার জন্য এটি যদি নেটওয়ার্ক সংস্থানগুলির জন্য বিতর্কযুক্ত কোন সমস্যা?


দুর্দান্ত ধারণা, চেষ্টা করবে।
নিক_ইউ

0

আমরা এই গতিতে একাধিক সংযোগ আপলোড পেতে পারি (তাই ব্যান্ডউইথ নয়?)

এটি কনফিগারেশনের সমস্যার মতো শোনাচ্ছে - ইচ্ছাকৃতভাবে (অতিরিক্ত কোনও ব্যবস্থা না করেই পরিষেবা সরবরাহের উপায় হিসাবে) বা দুর্ঘটনাক্রমে (যেমন ভাঙা উইন্ডো স্কেলিং বা অতিমাত্রায় ট্র্যাফিক নিয়ন্ত্রণ)। আপনি যখন স্থানান্তরকে সমান্তরাল করতে পারেন তবে আপনি আমাদের সংযোগের অন্য প্রান্তে কী আছে বা ফাইলগুলির শারডিং / পুনর্গঠন পরিচালনা করতে কিছু সাধারণ স্ক্রিপ্টগুলি বিকাশ করতে পারে সে সম্পর্কে কিছুই জানাননি।

কিউনের আকার এবং সংক্ষেপণের টিউনিংয়ের কোনও তাত্পর্যপূর্ণ প্রভাব পড়ার সম্ভাবনা নেই , যদি না কারণ খুব খারাপভাবে লেখা সফ্টওয়্যার (এবং ওপেনএসএসএইচ এই বিভাগে আসে না - দীর্ঘ অনুরোধ সারি / বৃহত্তর ব্লক আকারের সাথে ওপেনশ ব্যবহার করার ক্ষেত্রে বেশি বিন্দু না থাকে যদি না বিলম্ব হয়) 250 মিলিয়ন সেকেন্ডেরও বেশি You আপনি সার্ভারের সাথে সমস্যাটি সমাধান করার জন্য বিভিন্ন অবস্থানের বিভিন্ন ক্লায়েন্টের সাথে চেষ্টা করার কথা বিবেচনা করতে পারেন।

আমার প্রথম কলটি হ'ল সমস্যাটির জন্য কোন সরবরাহকারী দোষী তা চিহ্নিত করা, তাদের সমস্যাটি সমাধান করতে বলুন বা অন্য সরবরাহকারীর কাছে স্যুইচ করুন।


দুঃখিত, আরও পরিষ্কার হওয়া উচিত ছিল। কোনও "সরবরাহকারী" নেই - আমি আমার নিজস্ব ডেস্কটপে হোস্টিং করছি এবং একজন সহকর্মী তাদের কম্পিউটার থেকে সংযোগ দেওয়ার চেষ্টা করছেন। সহকর্মী কেবল একটি ssh অধিবেশন খুলছেন (প্রোটোকলের বিষয়ে নিশ্চিত নয় তবে চেক করতে পারেন) এবং ব্যবহার করছেনput
nick_eu

@ নিক_ইউ তিনি ইন্টারনেট সরবরাহকারীদের সম্পর্কে কথা বলছেন।
ডিউরিস

এটি কোনও কনফিগারেশন সমস্যা নয় বলে মনে হচ্ছে এটি কোনও কনফিগারেশন সমস্যা নয়। টিসিপি প্রোটোকল নিজেই বড় ব্যান্ডউইথ-বিলম্বিত পণ্যের সাথে সংযোগগুলিতে ভাল সম্পাদন করে না। মূলত, সংযোগটি যদি এমন হয় যে একসাথে প্রচুর ডেটা ফ্লাইটে যেতে পারে, তবে টিসিপি প্রোটোকল নিজেই যে কোনও মুহুর্তে এতটা ডেটা চলতে পারে না। যে কারণে সমান্তরাল টিসিপি সংযোগগুলি ডেটা স্থানান্তর হারগুলিকে উন্নত করতে কাজ করে।
অ্যান্ড্রু হেনেল

"বড় ব্যান্ডউইথ-বিলম্বিত পণ্যের সাথে সংযোগগুলিতে ভাল অভিনয় করে না" - দয়া করে আরএফসি 1323 (1992 থেকে) এবং 7323 (2014 সালে 1323 প্রতিস্থাপন) পড়ুন
সিমকিয়ান

@ সাইমসিবিয়ান তারপরে ওপি'র ব্যাখ্যাটি আমরা এই গতিতে একাধিক সংযোগ আপলোড করতে পারি (তাই ব্যান্ডউইথ নয়?), তবে কোনও একক আপলোড গতিতে উন্নতি করতে পারে না এটি চূড়ান্তভাবে বিলম্বের সাথে সংযোগ নিয়ে টিসিপির একটি দুর্দান্ত লক্ষণ - সমস্ত টিসিপি এক্সটেনশানগুলি হ্রাস করতে পারে কিছুটা সমস্যা হওয়ায় তারা প্রোটোকল দিয়েই মূল সমস্যাগুলি সমাধান করতে পারে না। এবং কোন প্রদানকারী সমস্যার জন্য দোষী তা সনাক্ত করার জন্য সৌভাগ্য , "আন্তর্জাতিকভাবে বড় ফাইলগুলির একটি সেট স্থানান্তর করার" চেষ্টা করার সময় তাদের সমস্যার সমাধান করতে বলুন
অ্যান্ড্রু হেনেল
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.