বড় ফাইলগুলিকে 500+ কম্পিউটারে ঠেলাচ্ছি


24

আমি বার্ষিক সম্মেলনের জন্য 500-600 ভাড়া নেওয়া উইন্ডোজ 7 কম্পিউটার পরিচালনা করতে একটি দলের সাথে কাজ করি। আমাদের কাছে প্রচুর পরিমাণে ডেটা রয়েছে যা 1 টি টিবি পর্যন্ত এই কম্পিউটারগুলিতে সিঙ্ক করতে হবে। কম্পিউটারগুলি কক্ষগুলিতে বিভক্ত এবং অব্যবহৃত গিগাবিট সুইচগুলির মাধ্যমে সংযুক্ত রয়েছে। আমরা উইন্ডোজ ইনস্টলেশন এবং কনফিগারেশনের সাথে আমরা এই কম্পিউটারগুলি সময়ের আগে প্রস্তুত করি, ভাড়া সংস্থার প্রতিলিপি তৈরির জন্য বেস ইমেজটি প্রেরণ করার আগে আমাদের কাছে উপলব্ধ যে কোনও ফাইল। প্রতিবছর, আমাদের উপস্থাপকদের কাছে সাইটে তথ্য উপাত্ত রয়েছে যা তারা যে ঘরে উপস্থাপন করবে সেদিকে ধাক্কা দিতে হবে Sometimes কখনও কখনও তাদের কাছে কেবল কয়েকটি ফাইল থাকে যা ছোট আকারের, যেমন একটি স্লাইড পিডিএফ, তবে পারে কখনও কখনও অনেক বড় হতে হবে> 5 জিআইবি।

এই ফাইলগুলিকে ঠেলে দেওয়ার জন্য আমাদের বর্তমান কৌশলটি ব্যাচ স্ক্রিপ্ট এবং রোবকপি ব্যবহার করছে। বড় ধাক্কা দেওয়ার জন্য, আমরা টরেন্ট ফাইল তৈরি করার জন্য একটি বিটটরেন্ট ক্লায়েন্ট ব্যবহার করি এবং তারপরে আমরা ইনস্টলড বিটি ক্লায়েন্ট দ্বারা নিরীক্ষণ করা দূরবর্তী মেশিনগুলির একটি ফোল্ডারে টরেন্টটি চাপতে ব্যাচ-রোবকপি ব্যবহার করি। প্রায়শই, এই ডেটাটিকে তাত্ক্ষণিকভাবে একটি ছোট সময় উইন্ডো দিয়ে চাপানো প্রয়োজন। আমাদের কাছে একটি কন্ট্রোল রুমে বেশ কয়েকটি মেশিন রয়েছে যা মেঝেতে থাকা এই মেশিনগুলির সাথে আমরা একই ধরণের these

আমাদের মাঝে মাঝে দূরবর্তী যন্ত্রগুলিতে একটি প্রোগ্রাম চালানোর প্রয়োজন হয় এবং আমরা বর্তমানে এই কার্যটি পরিচালনা করতে ব্যাচ এবং পিএসেক্সেক ব্যবহার করি।

আমরা "দুঃখিত, আপনার নিজের দোষ" দিয়ে এই শেষ মুহুর্তের দিকে ধাক্কা দিয়ে সাড়া দিতে সক্ষম হতে চাই তবে তা হবে না। বিটি পদ্ধতিটি আমাদের আরও দ্রুত প্রতিক্রিয়া সময় দেওয়ার অনুমতি দিয়েছে, তবে একাধিক কাজ ঠেকানোর সময় পুরো ব্যাচ প্রক্রিয়াটি অগোছালো হতে পারে। আমরা অন্যান্য প্রক্রিয়াগুলির জন্য এন্টারপ্রাইজ ঘোস্ট ব্যবহার করি এবং এটি বৃহত্তর স্কেলটিতে ভালভাবে কাজ করে না, প্লাস এটি বছরের মতো একবারের জন্য এটি বেশ ব্যয়বহুল।

সম্পাদনা: মেঝেতে থাকা রিমোট মেশিনগুলি উইন্ডোজ চালিত করার একটি কঠোর প্রয়োজন। নিয়ন্ত্রণ মেশিনগুলির একটি হার্ড ওএসের প্রয়োজনীয়তা নেই। আপ স্ট্রিম রাউটারগুলির জটিলতার কারণে আমি সত্যিই মাল্টিকাস্ট থেকে দূরে থাকতে চাই। মাল্টিকাস্ট বা বিটটরেন্ট কি এটির আরও ভাল উপায়? এমন আরও একটি প্রোটোকল রয়েছে যা আরও ভালভাবে কাজ করতে পারে?


3
একটি ভাল লিখিত প্রশ্ন হিসাবে এটি আমাকে কষ্ট দেয় যে শপিং প্রশ্নগুলি স্ট্যাক এক্সচেঞ্জের যে কোনও সাইটে অফ-টপিক । দেখুন প্রশ্নোত্তর কঠোর, আরও তথ্যের জন্য শপিং এবং এফএকিউ যেতে দিন
ক্রিস এস

I would really like to stay away from Multicast because of complications with upstream routers.কেন আপনি বিস্তারিত বলতে পারেন?
জোরেডেচে

2
আপনার বাড়ির উত্সাহিত বিটটোরেন্ট এবং পিএসইেক্সেক প্রক্রিয়াটি আপনি করতে পারেন এমন সেরাগুলির মতো শোনাচ্ছে এমন কোনও মাল্টিকাস্ট সমাধানটি খোলার পক্ষে সত্য aside সুন্দর / অটোমেশন স্বার্থে আপনি এর চারপাশে কিছু পাওয়ারশেল
গুটিয়ে

@ জোরেদাছে- সত্য, এটি আংশিক কারণ মাল্টিকাস্টের সাথে আমার যথেষ্ট অভিজ্ঞতা নেই। আমি ঘোস্ট এবং মাল্টিকাস্টের সাথে ডিল করেছি এবং সত্যিই খুব ভাল ফলাফল নিয়ে আসিনি। উজানের সরঞ্জামগুলি সেই সুবিধার সাথে সম্পর্কিত যার সাথে আমরা চুক্তি করি এবং আমরা কয়েকটি স্থানে কয়েকটি জটিল আইটি গ্রুপ নিয়ে কাজ করেছি। আমি তাদের কোনও কর্মচারী এমনকি মাল্টিকাস্ট কী তা জেনে আশা করি না।
ডাব্লুএমআইএফ

@ ভোরেটাক 7- আমি আমাদের কাঠামোর উপরে একটি ইন্টারফেস রাখার বিষয়টি বিবেচনা করেছি, তবে পাওয়ারশেলের মাধ্যমে এটি করতে আমার খুব কষ্ট হবে। পিএস শেখা আমার পক্ষে বেদনাদায়ক হয়ে উঠেছে, বেশিরভাগ কারণ এটি আরও কাঠামোগত ভাষা থেকে খুব আলাদা আচরণ different যদি আমি এটির উপরে একটি ইন্টারফেস রাখি তবে এটি সম্ভবত সি # তে থাকবে।
ডাব্লুএমআইএফ

উত্তর:


12

আপনি সত্যিই একটি মাল্টিকাস্ট ফাইল ট্রান্সফার প্রোগ্রাম চান: ইউএফটিপি , NAT / রাউটার ট্র্যাভারসালের জন্যও শালীন ডকুমেন্টেশন এবং প্রক্স্ট -স্টাইল এক্সটেনশান সহ।


আপনি যে লিঙ্কটি দিয়েছিলেন তার জন্য আমি এখনও ডকুমেন্টেশন সন্ধান করছি, তবে নীচের স্তরের মাল্টিকাস্টের স্টাফগুলির কোনও উল্লেখ আমি এখনও দেখছি না। তার মানে আমার, এটি এখনও কোনও কোনও রাউটার আপ চেইনে প্রতিষ্ঠিত হওয়ার জন্য মাল্টিকাস্ট রেন্ডেজভাস পয়েন্টের উপর নির্ভর করে? আমি আমার গেটওয়ে সরবরাহ করার জন্য অবস্থানের উপর নির্ভর করছি, সুতরাং আমার নিজস্ব কোনও কেন্দ্রীয় রাউটার নেই যা এই ফাংশনটি সরবরাহ করতে পারে। ইউএফটিপি সফ্টওয়্যার মধ্যে যে অনুকরণ করার কিছু উপায় আছে?
ডাব্লুএমআইএফ

মাল্টিকাস্টের সাথে ডিল করার সময় আমি প্রায়শই এই জাতীয় ফলাফল পাই এবং কেন আমি বলেছিলাম যে আমি এ থেকে দূরে থাকতে চাই। serverfault.com/questions/56487/…
ডাব্লুএমআইএফ

আমি এই প্রশ্নের সফ্টওয়্যার বা হার্ডওয়্যার সাথে পরিচিত নই, তবে আমার সেটআপগুলিতে আমি এর মতো সমস্যাগুলির অভিজ্ঞতা পাইনি। মাল্টিকাস্ট সবচেয়ে ধীর ক্লায়েন্টের হারে চলবে, সুতরাং আপনার যদি ক্লায়েন্টের গতির আলাদা "স্ট্র্যাট" থাকে তবে আপনি প্রতিটি স্তরের জন্য একাধিক মাল্টিকাস্ট সেশন চালানোর ইচ্ছা করতে পারেন (যদিও চূড়ান্ত সমাপ্তির সময়টিকে প্রভাবিত করে না, কেবল দ্রুত কম্পিউটারগুলি শেষ করার অনুমতি দেয় শুভস্য). মধ্যবর্তী সুইচ এবং রাউটারগুলিকে মাল্টিকাস্ট সমর্থন করতে হবে, প্রক্সিগুলি এটিকে একটি ডিগ্রিতে হ্রাস করতে পারে, তবে আপনি যদি কর্মক্ষমতা চান তবে আপনার একটি নির্ভরযোগ্য / সক্ষম নেটওয়ার্ক অবকাঠামো প্রয়োজন।
ক্রিস এস

এই প্রশ্নের অবকাঠামোর জন্য জড়িত সুইচগুলি সবই নিয়ন্ত্রণহীন। রাউটারগুলি প্রতিটি অবস্থানের জন্য আলাদা হবে এবং আমি গ্যারান্টি দিতে পারি না যে তারা মাল্টিকাস্ট সমর্থন করে। এমন কোনও উপায় আছে যে আমি আমার নিজের রাউটারটি পাশের সাথে ঝুলতে পারি, তবে এখনও এটির মাল্টিকাস্ট অংশের সাথে জড়িত থাকতে পারি? আমি জিজ্ঞাসা করি কারণ এটি সম্ভব বলে আমি মনে করি না।
ডাব্লুএমআইএফ

পরিচালনা সরাসরি মাল্টিকাস্টের জন্য স্যুইচিং সমর্থনকে প্রভাবিত করে না। সমস্ত 1 জিবি ইথারনেট স্যুইচগুলি মাল্টিকাস্টকে সমর্থন করার জন্য প্রয়োজনীয় (যদিও পুরানো এবং বিশেষত সস্তাগুলি এটি সম্প্রচার হিসাবে প্রয়োগ করে, যা কাজটি সম্পাদন করে); পুরানো সুইচগুলি সাধারণত এটি ইতিমধ্যে ঘটেছিল। রাউটার সহায়তার অভাব হ'ল আপনার প্রক্সি সেটআপ (প্রতিটি মাল্টিকাস্ট-বিচ্ছিন্ন নেটওয়ার্ক বিভাগের জন্য একটি) প্রয়োজন need অবশ্যই মাল্টিকাস্ট সমর্থন করে এমন রাউটারগুলি ব্যবহার করা সবচেয়ে সহজ হবে তবে প্রক্সিগুলি কনফিগার করা ভয়াবহ নয় (যদি না তাদের বিশাল পরিমাণ থাকে) unless
ক্রিস এস

5

আপনি খুনের দিকে নজর দিতে চাইবেন

মার্ডার হ'ল বিটোরেন্ট ব্যবহার করে একটি উত্পাদন পরিবেশের মধ্যে প্রচুর পরিমাণে সার্ভারে ফাইল বিতরণ করা। এটি সেন্ট্রালাইজড ডিস্ট্রিবিউশন সিস্টেম অন্যথায় কাজ করবে না যেখানে কয়েক হাজার সার্ভারের কয়েক হাজার পরিবেশে স্কেলযোগ্য এবং দ্রুত মোতায়েনের অনুমতি দেয়

টুইটারে লোকেরা খুন / বিকাশ করেছিল এবং তারা প্রতিদিন এটি ফাইল বিতরণ করতে ব্যবহার করে।


4

একটি নতুন সমাধান উপস্থিত হতে পারে: বিটটোরেন্ট সিঙ্ক

পরে সম্পাদনা করুন: আসলে এই দিনগুলিতে আমি সম্ভবত গিট-এনেক্স সহকারী বা সিঙ্কিংয়ের সুপারিশ করব তবে অনেকগুলি বিকল্প রয়েছে


আমি মনে করি এই ব্যবহারের ক্ষেত্রে কেবল অন্য একজনই নয় তবে খুব ভাল একটি!
আর্জিম্যান

আমি রাজী. আমি এটি / এ পেয়েছি। এবং আমি বর্তমানে কিছু পরীক্ষার দৃশ্যাবলী সেট আপ করছি যা এটি শোনাচ্ছে তত ভাল কাজ করবে কিনা তা দেখার জন্য।
WMIF

আমি মাত্র বিটি সিঙ্কের সাথে একটি বৃহত স্কেল পরীক্ষা করেছি এবং আবিষ্কার করেছি যে এটি মাল্টিকাস্ট সম্প্রচার-ইশ ট্র্যাফিকের জন্য 239.192.0.0 ব্যবহার করে। নেটওয়ার্কের অবকাঠামোতে আমার কোনও নিয়ন্ত্রণ ছিল না তাই আমি সম্পূর্ণ বিশ্লেষণ করতে সক্ষম হলাম না, তবে এটি বহির্মুখী ইন্টারনেট ট্র্যাফিকের মধ্যে লক্ষণীয় বৃদ্ধি পেয়েছিল। কিছু সাধারণ ফাইল সিঙ্ক মেলানো সমস্যাগুলির সাথে একত্রিত হয়েছে এবং এটির কারণে যথেষ্ট সমস্যা হয়েছে যে আমাকে এটি বন্ধ করে দিতে হয়েছিল। দুর্ভাগ্যজনক কারণ এটি 50 টিরও কম কম্পিউটারের চেয়ে কম স্কেলে সুন্দরভাবে কাজ করছে।
ডাব্লুএমআইএফ

1

আমি আপনার জন্য একটি ধারণা থাকতে পারে যা সাহায্য করবে। আমাকে এত ক্ষমা করুন যেহেতু কেন এটি এত জটিল হওয়া দরকার আমি পুরোপুরি বুঝতে পারি না, তবে আপনার প্রয়োজন যদি শেষ ব্যবহারকারীর পক্ষে এটি সহজ রাখা এবং তবুও একটি ল্যানের অভ্যন্তরে ডেটা দ্রুত এবং সহজ করে তোলা হয় তবে সম্ভবত আপনি এটি নিয়ে যেতে পারেন এনএএস ডিভাইস। আমার সিএনোলজি ডিএস 1812 রয়েছে + এটি অন্য সিএনোলজি ড্রাইভ বা বিভিন্ন আরএসওয়াইএনসি সক্ষম ডিভাইসগুলির সাথে আরএসওয়াইএনসি করতে পারে, এটিতে "ডাউনলোড স্টেশন" নামে একটি টরেন্ট সক্ষম অ্যাপ্লিকেশন রয়েছে, আমি জানি আপনি ড্রাইভ উপসাগর থেকে টরেন্ট ফাইলগুলি ডাউনলোড করতে পারেন এবং আমি বিশ্বাস করি আপনি তৈরি করতেও পারেন বা অন্যদের তাদের প্রয়োজনীয় ফাইল ডাউনলোড করার অনুমতি দেওয়ার জন্য সেই অ্যাপ্লিকেশনটির সাথে টরেন্ট ফাইল পোস্ট করুন। এটি অ্যাপল এবং অ্যান্ড্রয়েড উভয়ই মোবাইল ডিভাইসের জন্য অ্যাপস রয়েছে। এটি এফটিপি স্থানান্তরও করতে পারে। এই ড্রাইভ উপসাগর আপনাকে এটিতে দ্রুত কোনও ফাইল প্রেরণ করার ক্ষমতা দিতে পারে তবে এটি দ্রুত এবং সহজেই ল্যানের মধ্যে ছড়িয়ে দেয়। আমি ল্যান ব্যবহারকারীদের জন্য দ্রুত অ্যাক্সেস তৈরি করার জন্য ল্যানের অভ্যন্তরে ডেটা রাখার পরামর্শ দিচ্ছি, তবে এই এনএএস ডিভাইসের সৌন্দর্য হ'ল যতক্ষণ না তাদের কাছে দ্রুত ইন্টারনেট সংযোগ রয়েছে ততক্ষণ আপনি এগুলি যে কোনও জায়গায় অনলাইনে রাখতে পারবেন। সম্ভবত উচ্চতর সিউনোলজি এনএএস ডিভাইসগুলির মধ্যে একটি আপনার প্রয়োজনের জন্য উপযুক্ত হবে।

সিনোলজির একটি ভার্চুয়াল ইন্টারফেস রয়েছে যা আপনি যদি এটি আপনার পক্ষে কার্যকর হয় তবে আপনাকে আরও ভাল ধারণা দেওয়ার জন্য এটি সন্ধান করতে পারেন। আমি নীচের লিঙ্কটি ভার্চুয়াল ইন্টারফেসে পেস্ট করব

http://www.synology.com/products/dsm_livedemo.php?lang=us

এই ডিভাইসটি একটি ওয়েব ইন্টারফেস বা মোবাইল ডিভাইস অ্যাপ্লিকেশনটির মাধ্যমে লোকদের তাদের ডেটা অ্যাক্সেস করার ক্ষমতা দেয়।

আমি আশা করি এটি কার্যকর হবে এবং আমি যেমন বলেছিলাম, আমি যদি প্রশ্নটি সঠিকভাবে বুঝতে না পারি তবে আমাকে ক্ষমা করুন।


1
আমি নিশ্চিত না যে তিনি এখন যা করছেন তার থেকে কীভাবে ভাল। ডাব্লুএমআইএফ ব্যবহারকারীরা নিজেরাই ডেটা পেতে শুরু করতে অপেক্ষা করতে পারে না; তার দলটি মেশিনগুলিতে এটি উপলব্ধ হওয়ার সাথে সাথে ডেটাফাইলে প্রাক-মঞ্চে প্রত্যাশা করবে।
mfinni

@ এমফিন্নি সঠিক। কাজটি হ'ল এটি নিশ্চিত করা যে আমাদের যে ফাইলগুলি দেওয়া হয়েছে সেগুলি কনসেন্ট ফ্লোর কম্পিউটারগুলিতে উপস্থিত লোকেরা ঘরে footুকে পড়ার আগে লোড হয়ে গেছে।
ডাব্লুএমআইএফ
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.