ক্রমবর্ধমান ক্রোন: পরবর্তী সময়সূচীটি কী? [বন্ধ]


30

আমরা যতক্ষণ না আমাদের কাজের সময় নির্ধারণের সমস্ত প্রয়োজনের কথা মনে রাখতে পারি ততক্ষণ আমরা ক্রোন ব্যবহার করে আসছি। স্টোরেজ ক্লোনস / স্ন্যাপশট থেকে শুরু করে ডেটাবেসগুলির বিরুদ্ধে প্রতিবেদনগুলির প্রতিবেদন সিস্টেমের প্রতিবেদনগুলি পর্যবেক্ষণ চেকের জন্য ক্রোনের মাধ্যমে কয়েক শতাধিক সার্ভার জুড়ে নির্ধারিত।

ত্রুটিগুলি বেশ সুস্পষ্ট: চাকরি পরিচালনা করা কঠিন, নির্ভরতা তৈরি করার সহজ উপায় নয় (বিশেষত বিভিন্ন সার্ভার জুড়ে) এবং অবশ্যই এটি অনিবার্য যে কেউ "সাময়িকভাবে" একটি চাকরি এড়িয়ে যায় তবে পরে মন্তব্যটি সরিয়ে দিতে ভুলে যায়।

আমরা একটি বাণিজ্যিক অফার চেষ্টা করেছিলাম, তবে শেষ পর্যন্ত ক্রোন থেকে এক ধাপ উপরে ধরে এটি অত্যন্ত ব্যয়বহুল বলে মনে করা হয়েছিল।

আমি সেখানে অন্যান্য বিকল্পগুলি দেখতে পাচ্ছি, যেমন এসএলআরএম, ওরাকল গ্রিড ইঞ্জিন, টর্ক / মাউই, কোয়ার্টজ, ডিআইইটি, কনডোর যা বৃহত্তর, আরও একজাতীয় ক্লাস্টারের পরিবেশের সাথে কাজ করে যা এই জাতীয় কোনও নোডের সাথে চালিত হবে: গ্রিড কম্পিউটিং এবং পছন্দ. আমাদের পরিবেশটি মোটামুটি মিশ্রিত (বিভিন্ন লিনাক্স, এআইএক্স, এবং ফ্রিবিএসডি), এবং আমাদের বিভিন্ন ধরণের সিস্টেমে নির্ভরতা তৈরি করতে হবে (উদাহরণস্বরূপ, লিনাক্স বাক্সে একটি চাকরি একটি এআইএক্স বাক্সে কোনও কাজ চালানো উচিত কিনা তা নির্ধারণের প্রয়োজন হতে পারে।)

ক্রোন থেকে আরও কেন্দ্রীয়ভাবে পরিচালিত অফারটিতে যাওয়ার কি কারও অভিজ্ঞতা আছে? সফ্টওয়্যারটি বেছে নেওয়ার জন্য কোনও পরামর্শ বা ওপেন সোর্স বা বাণিজ্যিক যেতে ভাল?

উত্তর:


11

কনডর, ওজিই এবং টর্ক সকলেই আপনাকে সেখানে পেতে পারে তবে কেবল কনডোরই এটির ডিএজিএম্যান সরঞ্জাম সহ অন্তর্নিহিত নির্ভরতা পরিচালনা করেছে । DAGMan আপনাকে একটি নির্দেশিত, অ্যাসাইক্লিক গ্রাফ সেট আপ করতে দেয় যা আপনার কাজের প্রবাহকে বর্ণনা করে এবং ব্যবস্থাপক আপনার কর্মপ্রবাহে চাকরিগুলি নিয়ে যাওয়ার এবং প্রবাহের প্রতিটি পদক্ষেপে পাস / ব্যর্থ ফলাফলগুলি মূল্যায়নের যত্ন নেয়। কনডর অপেক্ষাকৃত প্ল্যাটফর্ম অজন্যস্টিক, যার অর্থ ডিএজিমন খুব বেশি, এবং যখন বাবা-মা লিনাক্স বা উইন্ডোজে দৌড়ান তখন আপনি অবশ্যই এআইএক্সে একটি শিশু পদক্ষেপ নিতে পারেন। DAGMan কোথায় কাজ চালায় সে সম্পর্কে উদ্বিগ্ন নয়, কেবলমাত্র প্রস্থান কোডগুলি পাস বা ব্যর্থ হয়।

সফ্টওয়্যারটি বেছে নেওয়ার জন্য কোনও পরামর্শ বা ওপেন সোর্স বা বাণিজ্যিক যেতে ভাল?

কিছু সাবধানতার সাথে আমি মনে করি এই স্থানের নিখরচায় সম্প্রদায়গুলি ভালভাবে দেখার মতো।

ওজিই এখন এক অদ্ভুত জায়গায়। আরাকল-উত্পাদিত জিই ভেরিয়েন্টটি চালানো আর মুক্ত নয় এবং ওরাকল আর জিই এসসিসির কাছে এটি লেখার কোডটি অবদান রাখছে না, তবে কোডের বেশ কয়েকটি কাঁটাচামচ রয়েছে যা মুক্ত, ওপেন সোর্স প্রকল্প হিসাবে সৈন্যের চেষ্টা করছে। বিশেষত ইউনিভা এই চার্জের নেতৃত্ব দিয়েছে , একটি মুক্ত উত্স, অবাধে উপলব্ধ জিই ভেরিয়েন্টে কাজ চালিয়ে যেতে প্রাক্তন সান জিই ডেভস নিয়োগ করে। গ্রিড ইঞ্জিনের দুটি জিনিস এটির জন্য চলছে: এটি সেটআপ করা সহজ it উইন্ডোজের পক্ষে খুব ভাল সমর্থন নেই এমনটি হ'ল এটি বড় ক্ষতি। আমাদের মধ্যে কেউ কেউ বহু বছর আগে সাইগউইনে চালানোর জন্য এটি বন্দর করার জন্য কিছু প্রচেষ্টা রেখেছিল, তবে এটি নেটিভের মতো এতটা নিশ্চিত নয় যে এটি নিশ্চিত।

আপনারা উল্লিখিত তিনটি প্রযুক্তির মধ্যে এখন কনডর আমার প্রিয়। কনডোরের চারপাশে একটি শক্তিশালী সম্প্রদায় রয়েছে এবং সফ্টওয়্যারটি খুব পরিপক্ক (> এখন 20 বছর বয়সী)। নেটিভ উইন্ডোজ এবং পসিক্স ওএস সমর্থন মানে এটি পুরো জায়গা জুড়ে খুব ভালভাবে চলে। পূর্বোক্ত DAGMan কনডোরের সাথে আসা অনেক দুর্দান্ত টুকরোগুলির মধ্যে একটি মাত্র। এটি সেটআপ করা টাচ জটিল হতে পারে, তবে এটি একবার চালিয়ে গেলে এটি শক্ত হয়ে যায়। কাজটি করার জন্য এটির অবিশ্বাস্যরূপে নমনীয় ভাষা রয়েছে <-> মেশিনটি আপনার সংস্থানগুলির জন্য আপনার ব্যবহারের নিয়মগুলি মেলানো এবং গড়তে। এটি মেশিনগুলিতে গতিশীল বিধানকে সমর্থন করে, চাকরীর জন্য তাদের কতগুলি মেশিনের সংস্থান দরকার তা বেছে নিতে এবং তারপরে এখনও উপলব্ধ হিসাবে এই পার্থক্যটির পুনরায় বিজ্ঞাপন দেওয়ার অনুমতি দেয়। এটি গ্লোবাল রিসোর্স কাউন্টারগুলিকে সমর্থন করে যাতে আপনি সফ্টওয়্যার লাইসেন্সের মতো জিনিসগুলির বিরুদ্ধে সীমাবদ্ধ রাখতে পারেন। এবং অবশ্যই, এটিতে DAGMan রয়েছে, যা ওয়ার্কফ্লো পরিচালনার জন্য অবিশ্বাস্যভাবে শক্তিশালী একটি সরঞ্জাম। ডাউনডস টু কনডোর হ'ল স্বল্প-চলমান চাকরির সময়সূচী ওভারহেড বোঝা হতে পারে। আপনি এমন চাকরি চান যা আদর্শভাবে 2 মিনিটেরও বেশি সময় ধরে চলে, অন্যথায় সময়সূচীটি সিস্টেমে কাজের সময়ের একটি বড় অংশ হয়ে উঠতে শুরু করে।

টর্ক কিছুটা কুলুঙ্গি। আমি এ সম্পর্কে কম জানি আমি ভয় করি। এটি কন্ডোরের চেয়ে গ্রিড ইঞ্জিনের সাথে তুলনা করে। @ পেয়েন অ্যাড-অন রয়েছে যা @ ওয়ারেন উল্লেখ করেছেন যে বেসিক, ফ্রি টর্ক কী করতে পারে তা প্রসারিত করতে পারে।

আপনি যদি তিনটি প্রযুক্তি ব্যবহার করে দেখতে চান এবং সেগুলি আপনার নির্দিষ্ট কাজের চাপের সাথে কীভাবে কাজ করে তা দেখতে চান, সাইকেলক্লাউড সুরক্ষিত, ভার্চুয়ালাইজড, পুলগুলি স্পষ্ট করতে পারে যা কনডর, গ্রিডেনজাইন বা টর্কের সাথে প্রাক-কনফিগার করা আছে - সুতরাং সেই জিনিসগুলি বের করার জন্য কোনও সময় ব্যয় করা হয়নি আপনার পক্ষ থেকে প্রতিটি প্রযুক্তির ছোট পুলগুলি স্পিন করতে এবং প্রতিনিধি কাজের চাপ দিয়ে এগুলি চেষ্টা করার জন্য কয়েক ডলার হবে be (অস্বীকৃতি: আমি সাইকেল কম্পিউটিংয়ের জন্য কাজ করি, আমরা সাইকেলক্লাউড তৈরি করি)


তথ্যের জন্য ধন্যবাদ. কোনও বিশেষ কাজ চালাতে সক্ষম সমস্ত মেশিনের বৃহত সংগ্রহের দিকে কন্ডারটি সত্যই প্রস্তুত seems আমার যে সমস্যাটি রয়েছে তা হ'ল একগুচ্ছ চাকরির কাজ যা খুব সুনির্দিষ্ট জায়গাগুলিতে চালিত হয় তবে একটি নির্দিষ্ট ক্রমে চালানোর জন্য আমার একসাথে চাকরির প্রয়োজন। এটি কি কনডর পাশাপাশি কিছু করতে পারে, বা এটি এভাবে কাজ করা কষ্টকর হতে চলেছে?
কেকমক্স

1
কন্ডোর আপনার পরিস্থিতি পরিচালনা করতে পারে। আপনি ডিএজিএস থেকে সমস্ত ধরণের কাজ সীমাবদ্ধ করতে পারেন যাতে তারা আপনার পুলগুলিতে খুব নির্দিষ্ট মেশিন বা হার্ডওয়্যারকে লক্ষ্য করে target
আয়ান সি

6

Chronos খুব আশাব্যঞ্জক দেখাচ্ছে।

ক্রোনস হ'ল এয়ারবিএনবি'র প্রতিস্থাপন ক্রোন। এটি একটি বিতরণ এবং দোষ-সহনশীল শিডিয়ুলার যা অ্যাপাচি মেসোসের শীর্ষে চলে runs আপনি অর্কেস্ট্রেট কাজের ক্ষেত্রে এটি ব্যবহার করতে পারেন। এটি কাস্টম মেসোস এক্সিকিউটারদের পাশাপাশি ডিফল্ট কমান্ড এক্সিকিউটারকে সমর্থন করে। সুতরাং ডিফল্টরূপে ক্রোনস sh (বেশিরভাগ সিস্টেমে ব্যাশ) স্ক্রিপ্টগুলি কার্যকর করে। হ্যাডোপ (Incl। EMR) এর মতো সিস্টেমে ইন্টারঅ্যাক্ট করতে ক্রোনস ব্যবহার করা যেতে পারে, এমনকি যদি মেসোস ক্রীতদাসের উপর মৃত্যুদন্ড কার্যকর হয় তবে হ্যাডোপ ইনস্টল না করা রয়েছে। অন্তর্ভুক্ত মোড়ক স্ক্রিপ্টগুলি ব্যাকগ্রাউন্ডে একটি রিমোট মেশিনে ফাইলগুলি স্থানান্তর করতে এবং এগুলি সম্পাদন করার অনুমতি দেয় এবং কাজ সমাপ্তি বা ব্যর্থতার ক্রোনোজকে অবহিত করার জন্য অ্যাসিঙ্ক্রোনাস কলব্যাকগুলি ব্যবহার করে।

আমি জেনকিন্সকে ক্রোন প্রতিস্থাপন হিসাবে ব্যবহার করে দুর্দান্ত ব্যক্তিগত সাফল্যের মুখোমুখি হয়েছি। এটি রিমোট সার্ভারগুলিতে কাজ খুব সুন্দরভাবে পরিচালনা করে। এটিতে এখানে একটি লিখনআপ রয়েছে: http://www.22ideastreet.com/blog/2014/05/02/replace-local-cron-with-jenkins/


4

বিগত ৪.৫ বছর ধরে, আমি এইচপির (নি অপ্সওয়্যার) সার্ভার অটোমেশন প্ল্যাটফর্ম, এবং বিজনেস টেকনোলজি অপটিমাইজেশন স্যুট (নেটওয়ার্ক অটোমেশন, অপারেশন অর্কেস্টেশন ইত্যাদি) নিয়ে কাজ করেছি।

একটি বৃহত পর্যাপ্ত পরিবেশের জন্য, এসএ এর মাধ্যমে কাজের ব্যবস্থাপনাই একটি অত্যন্ত কার্যকর (এবং পছন্দসই) সরঞ্জাম। ওওর সাথে একযোগে, পরিবর্তনগুলি নিয়ন্ত্রণ পরিচালনা, টিকিটিং ইত্যাদির মাধ্যমে কাজগুলি নিয়ন্ত্রণ করা যায় jobs

এখানে মজাদার নয়: এটি দামি (খুব দামি)। কিছুক্ষণ আগে জিজ্ঞাসা করা অনুরূপ প্রশ্নে আপনি হয়ত কিছু পরামর্শ চেক করতে পারেন: FLOSS সার্ভার পরিচালনা এবং নিরীক্ষণ সরঞ্জাম

আমি আরও বলব যে টর্ক / মাউই / মোয়াব ( অ্যাডাপটিভ কম্পিউটিং থেকে ) খুব দুর্দান্ত: দামের বিষয়ে নিশ্চিত নয়, তবে সেগুলিও অত্যন্ত নমনীয় সরঞ্জাম।


দাবি অস্বীকার - আমি এইচপি বিটিও এবং অ্যাডাপটিভের অংশীদার হয়ে কাজ করি


2

দ্রষ্টব্য সমস্যাটি সম্পূর্ণ ভিন্ন!

ক্রন হয় পুরানো এবং নির্দিষ্ট পদ গুলো একটা বেঢপ।

আপনি যদি সত্যিকারের সময় নির্ধারণের জন্য নতুন উপায়গুলি সন্ধান করছেন তবে আমি একটি বার্তা মিডলওয়্যারের ভিত্তিতে কিছু ইভেন্ট চেষ্টা করব। প্রতিটি সার্ভারে ক্লায়েন্টদের সাথে RabbitMQ ভাবেন Think

আন্তঃ হোস্ট নির্ভরতা "বিজ্ঞপ্তি সারি" দ্বারা সমাধান করা যেতে পারে।

"রিয়েল" সময়ভিত্তিক ইভেন্টগুলি কিছুটা কৌতুকপূর্ণ, ক্রোনটি আসলে এটিই ছিল (এবং কমপক্ষে ছোট পরিবেশের ক্ষেত্রে এটি বেশ ভাল)। যেখানে ধারণাটি ধরে রাখা মুশকিল তা হিকআপগুলি রোধ করা। লাইক ইন: প্রতি রাতে 0100 ঘন্টা স্ন্যাপশট করুন। আপনি সম্ভবত পুরো লোড অবকাঠামোর মাধ্যমে সেই মুহুর্তে কিছু লোড স্পাইক বা প্রচুর ব্যর্থ লগইন দেখতে পাবেন। যদি আপনার পদ্ধতির ভিত্তিতে একটি সারি থাকে তবে আপনি কমপক্ষে কিছুটা বিচ্যুতি নিখরচায় পাবেন (যদিও এটির নিশ্চয়তা নেই - যদি না কিছু যুক্তি প্রয়োগ না করে)।

চারপাশে যাওয়ার বিষয়টি হ'ল রিয়েল টাইম ভিত্তিক চাকুরী ব্যতীত আপনি এই জাতীয় বিষয়ের উপর নির্ভর করতে পারবেন না: হ্যাঁ আমার ব্যাকআপগুলি 0200 ঘন্টা শুরু হবে এবং যদি তারা 0400h তে চালিয়ে যায় তবে কিছু ভুল। কী সহজ কাজ তা নিশ্চিত করে তোলে যে হস্তক্ষেপকারী কোনও 2 টি কাজ একই সময়ে চালিত হয় না। কেবল একটি ব্লকিং এজেন্ট তৈরি করুন যা একবারে কেবল একটি কাজ গ্রাস করবে।

পরিচালনার অংশটি হ'ল একটি দুর্দান্ত ওয়েব ইন্টারফেস হবে যেখানে কাজগুলি অন-চাহিদা অনুসারে জমা দেওয়া যেতে পারে, বা - এখন এটি "ক্রোন" এ ফিরে আসে বা এটির আপনার পছন্দসই বাস্তবায়ন জাভা কোয়ার্টজ শিডিয়ুলারের কয়েক সেকেন্ডে আফ্রিকের গ্রানুলারিটি রয়েছে - সময় ভিত্তিক অংশে কেবল ভাল পুরানো ক্রোন ব্যবহার করুন :)

ওটি হওয়ার কারণে দয়া করে আমাকে হ্রাস করবেন না - এটি একটি মোটামুটি ধারণা কিন্তু প্রশ্নটি অর্থের বিষয়টি অস্বীকার করে না কারণ ব্যয় না করে কিছু তৈরি করে বাড়ির প্রয়োজনীয়তার সঠিক সমাধানের জন্য কেউ অর্থ ব্যয় করতে পারে এমন কিছু কেনার মাধ্যমে অর্থ যেখানে বিক্রেতাকে মনে হয় যে এটি কিছু প্রয়োজনীয়তা পূরণ করে :)


এটি বড় চাকরি বিতরণের জন্য আকর্ষণীয় তবে আমার কাজগুলি অনেক বেশি অস্থায়ী। আমার কিছু কাজ আছে যা এইরকম সারিযুক্ত হতে পারে তবে আমি তাদের জন্য এটি মনে রাখব।
কেকমক্স

1

আমি সিএ থেকে এসপ্রেসো (সাইবারমেশন) ব্যবহার করেছি। তারা এখন এটিকে কী বলছে তা নিশ্চিত নয়। আমি ইউসি 4ও ব্যবহার করেছি। তারা উভয়েই কাজ করে, প্রচুর অর্থ ব্যয় হয় (আমার বোঝার জন্য) এবং এটি বজায় রাখার জন্য ভালুক হতে পারে তবে তারা টিনে যা বলে তা তাই করে। / সম্পাদনা - মিস করেছেন যে আপনি বলেছিলেন যে বাণিজ্যিক অ্যাপ্লিকেশনগুলি খুব ব্যয়বহুল। আমি অবশ্যই সম্মত হতে পারি, তবে কিছু সংস্থার জন্য এটি মূল্যবান, বিশেষত যখন এটি ব্যবসায়িক অ্যাপ্লিকেশনগুলির জন্য হয় যা অর্থ উপার্জন করে।


1

আমি ওপেন সোর্স জব শিডিয়ুলারের সাথে একটি উত্পাদন পরিবেশে 2000+ লাইনের কেন্দ্রীয় ক্রন্টব প্রতিস্থাপনের বিকল্প হিসাবে কাজ করেছি । ক্রোনগুলির সাথে বিষয়গুলি এত জটিল হয়ে উঠল যে ডাউনটাইম উইন্ডোজগুলি কী কী বা আন্ত-সার্ভার নির্ভরতাগুলি কীভাবে মোকাবেলা করতে হয় তা আমরা নির্ধারণ করতে পারি না। এই পণ্যটি সাহায্য করেছে, তবে সেটআপ করা কিছুটা জটিল ছিল।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.