ইসি 2 ব্যবহার করার সময় উদাহরণগুলি বনাম কোরগুলি


12

প্রায়শই "মিডিয়াম ডেটা" প্রকল্পগুলির নামে পরিচিত হতে পারে এমন বিষয়ে কাজ করে, আমি আমার কোডটি (বেশিরভাগই পাইথনের মডেলিং এবং পূর্বাভাসের জন্য) 4 থেকে 32 কোরের যে কোনও জায়গায় একক সিস্টেমে সমান্তরাল করতে সক্ষম হয়েছি। এখন আমি ইসি 2 (সম্ভবত স্টারক্লাস্টার / আইপিথন সহ, তবে অন্যান্য পরামর্শগুলির জন্য উন্মুক্ত) এ ক্লাস্টারগুলি পর্যন্ত স্কেলিংয়ের দিকে তাকিয়ে আছি এবং একটি ক্লাস্টারে উদাহরণস্বরূপ বনাম উদাহরণগুলিতে কীভাবে কোর জুড়ে বিতরণ কাজকে পুনর্মিলন করতে হবে তা নিয়ে আমি বিস্মিত হয়ে পড়েছি।

এটি প্রতিটি উদাহরণে পাশাপাশি কোর জুড়েও সমান্তরাল হওয়া কি বাস্তব? যদি তা হয় তবে, কেউ কি কয়েকটি প্রতি ঘরের সাথে কয়েকটি কোর সহ কয়েকটি দৃষ্টান্ত সহ কয়েকটি দৌড়াদৌড়ি চালানোর বিষয়ে পেশাদারদের পক্ষে ++++++ এর দ্রুত চালনার সুযোগ দিতে পারে? উদাহরণস্বরূপ কোরগুলিতে উদাহরণগুলির সঠিক অনুপাত চয়ন করার জন্য কি থাম্বের নিয়ম রয়েছে?

ব্যান্ডউইথ এবং র‌্যাম আমার প্রকল্পগুলিতে অপ্রয়োজনীয় উদ্বেগ, তবে যখন এটি বাধা এবং পুনরায় সামঞ্জস্য হয় তখন সহজেই স্পষ্ট হওয়া সহজ। বারবার পরীক্ষা না করে উদাহরণস্বরূপ কোরগুলির সঠিক মিশ্রণটি বেনমার্ক করা আমার ধারণা, এটি আরও শক্ত and এবং আমার প্রকল্পগুলি কোনও পরিস্থিতিতে একক পরীক্ষার জন্য সমস্ত পরিস্থিতিতে প্রয়োগ করার ক্ষেত্রে খুব বেশি পরিবর্তিত হয়। অগ্রিম ধন্যবাদ, এবং যদি আমি এইটিকে সঠিকভাবে গুগল করতে ব্যর্থ হই তবে নির্দ্বিধায় আমাকে অন্য কোথাও সঠিক উত্তরের দিকে নির্দেশ করুন!

উত্তর:


11

আইপিথন ব্যবহার করার সময়, আপনাকে প্রায় এটি সম্পর্কে চিন্তা করতে হবে না (দক্ষতার কিছুটা ক্ষতি / বৃহত্তর যোগাযোগের ওভারহেড ব্যয়ে)। স্টারক্লাস্টারের সমান্তরাল আইপিথন প্লাগইনটি প্রতিটি নোডে দৈহিক কোর প্রতি একটি ইঞ্জিন ডিফল্টভাবে শুরু করবে (আমি বিশ্বাস করি এটি কনফিগারযোগ্য তবে এটি কোথায় তা নিশ্চিত নয়)। ডাইরেক্টভিউ এপিআই (মানচিত্র_সঙ্করণ, প্রয়োগ_সংশোধন, ...) বা% পিক্স ম্যাজিক কমান্ড ব্যবহার করে আপনি কেবল সমস্ত ইঞ্জিন জুড়ে যা চালাতে চান। আপনি যদি ইতিমধ্যে একটি মেশিনে সমান্তরালে আইপিথন ব্যবহার করে থাকেন তবে এটি একটি ক্লাস্টারে ব্যবহার করা আলাদা নয় is

আপনার নির্দিষ্ট কিছু প্রশ্নের উদ্দেশ্যে:

"উদাহরণস্বরূপ একটি ক্লাস্টারের উপর উদাহরণস্বরূপ কোর জুড়ে বিতরণ কাজকে কীভাবে সমন্বয় করতে হবে" - আপনি কোর প্রতি কমপক্ষে একটি ইঞ্জিন পাবেন (কমপক্ষে); কাজ সমস্ত কোর এবং সমস্ত দৃষ্টান্তে স্বয়ংক্রিয়ভাবে বিতরণ করা হয়।

"প্রতিটি উদাহরণের পাশাপাশি কোরগুলিতেও সমান্তরাল হওয়া কি বাস্তবসম্মত?" - হ্যাঁ :) আপনি যে কোডটি চালাচ্ছেন তা যদি বিব্রতকরভাবে সমান্তরাল হয় (একাধিক ডেটা সেটগুলিতে হুবহু একই রকম) তবে আপনি বেশিরভাগই উপেক্ষা করতে পারবেন যেখানে কোনও নির্দিষ্ট ইঞ্জিন চলছে ignore ইঞ্জিনের মধ্যে যদি কোরটির প্রচুর যোগাযোগের প্রয়োজন হয় তবে অবশ্যই আপনাকে এটির কাঠামো তৈরি করতে হবে যাতে ইঞ্জিনগুলি প্রাথমিকভাবে একই শারীরিক মেশিনে অন্যান্য ইঞ্জিনের সাথে যোগাযোগ করে; তবে এই জাতীয় সমস্যা আইপিথনের জন্য আদর্শভাবে উপযুক্ত নয় বলে আমি মনে করি।

"যদি তা হয় তবে, কেউ কি কয়েকটি বনাম কয়েকটি কোর সহ অনেকগুলি উদাহরণ সহ অনেকগুলি দৌড়াদৌড়ি সম্পর্কে উপস্থাপনগুলির তাত্ক্ষণিকভাবে একটি দ্রুত গতি রোধ করতে পারে? কয়েকটি কোরের সাথে কয়েকটি দৃষ্টান্ত? উদাহরণস্বরূপ কোরের ক্ষেত্রে উদাহরণগুলির সঠিক অনুপাত বেছে নেওয়ার জন্য কি কোনও থাম্বের নিয়ম রয়েছে? " - কম্পিউট-বাউন্ডের জন্য বৃহত্তম সি 3 ইনস্ট্যান্স এবং মেমরি-ব্যান্ডউইথ-বাউন্ড সমস্যার জন্য সবচেয়ে ছোট ব্যবহার করুন; বার্তা-পাসিং-সীমাবদ্ধ সমস্যার জন্য, সবচেয়ে বড় উদাহরণগুলি ব্যবহার করুন তবে সমস্যাটিকে বিভাজন দেওয়ার চেষ্টা করুন যাতে প্রতিটি পার্টিশন একটি ফিজিকাল মেশিনে চলে এবং বেশিরভাগ বার্তা পাসিং একই পার্টিশনের মধ্যে থাকে। 2N ডাবল সি 3 এর তুলনায় এন চতুর্ভুজ সি 3 উদাহরণগুলিতে ধীর গতিতে চলমান সমস্যাগুলি বিরল (কৃত্রিম উদাহরণে একটি বিশাল সংখ্যক চিত্রের উপর একাধিক সাধারণ ফিল্টার চালানো হতে পারে, যেখানে আপনি সমস্ত ফিল্টারের পরিবর্তে প্রতিটি ফিল্টারের জন্য সমস্ত চিত্রের মধ্য দিয়ে যাচ্ছেন the একই চিত্র)।


1
আমি মনে করি আপনার অবশ্যই লক্ষ্য করা উচিত যে একটি একক মেশিনে প্রক্রিয়াগুলির জন্য আপনি জবলিব / নম্পি দিয়ে মেমরি ভেরিয়েবলগুলি মেমরি করতে পারেন। আপনি বিভিন্ন মেশিনে প্রক্রিয়াগুলির জন্য সেই ক্ষমতাটি হারাবেন।
গ্যালামাইন

11

থাম্বের একটি সাধারণ নিয়ম হল যতক্ষণ না আপনার বিতরণ করা হয়। অর্ধেক ক্ষমতার 2N সার্ভারের তুলনায় একটি নির্দিষ্ট ক্ষমতার এন সার্ভারগুলি রাখা আরও দক্ষ। ডেটা অ্যাক্সেসের বেশিরভাগ স্থানীয় হবে এবং তাই নেটওয়ার্ক জুড়ে ধীরের তুলনায় মেমরির দ্রুত।

একটি নির্দিষ্ট সময়ে, একটি মেশিন স্কেলিং অযৌক্তিক হয়ে যায় কারণ অতিরিক্ত সংস্থানগুলির ব্যয় লিনিয়ারের চেয়ে বেশি স্কেল করে। তবে এই পয়েন্টটি এখনও আশ্চর্যজনকভাবে বেশি।

বিশেষত অ্যামাজনে যদিও, আপনি যদি স্পট মার্কেটের উদাহরণগুলি ব্যবহার করেন তবে প্রতিটি উদাহরণের ধরণের অর্থনীতিতে অনেক পরিবর্তন হতে পারে। কমবেশি ডিফল্ট দামের অর্থ হ'ল উদাহরণের ধরণের নির্বিশেষে একই পরিমাণের সংস্থান হিসাবে একই পরিমাণের সংস্থান ব্যয় হয়, যা অনেক পরিবর্তিত হতে পারে; বড় উদাহরণগুলি ছোটগুলির তুলনায় সস্তা হতে পারে বা এন ছোট ছোট উদাহরণগুলি সমমানের সংস্থান সহ এক বৃহত মেশিনের চেয়ে অনেক কম সস্তা হতে পারে।

এখানে একটি বৃহত্তর বিবেচনা হ'ল আপনি যখন একটি মেশিন থেকে একাধিক মেশিনে চলে যান তখন গণনার দৃষ্টান্তটি যথেষ্ট পরিবর্তন করতে পারে। যোগাযোগের ওভারহেড যে ট্রেড অফগুলি প্ররোচিত করে তা আপনাকে বাধ্য করতে পারে উদাহরণস্বরূপ, স্কেল করার জন্য একটি ডেটা সমান্তরাল দৃষ্টান্ত গ্রহণ করে। তার অর্থ সরঞ্জাম এবং অ্যালগরিদমের আলাদা পছন্দ। উদাহরণস্বরূপ, এসজিডি মানচিত্রের চেয়ে ম্যাপের এবং পাইথনে একেবারে আলাদা দেখায় Map সুতরাং আপনাকে সমান্তরাল করার আগে এটি বিবেচনা করতে হবে।

নির্ভরযোগ্যতার জন্য কোনও একক নোড এবং অ-বিতরণকৃত দৃষ্টান্ত আপনার জন্য কাজ করলেও আপনি একটি ক্লাস্টার জুড়ে কাজ বিতরণ করতে পারেন। যদি একটি নোড ব্যর্থ হয়, আপনি সমস্ত গণনা হারাবেন; একটি বিতরণ করা গণনাটি সম্ভবত গণনার যে অংশটি হারিয়েছিল তার পুনরুদ্ধার এবং সম্পূর্ণ করতে পারে।


6

সমান হিসাবে বিবেচিত সমস্ত জিনিস (ব্যয়, সিপিইউ পারফ, ইত্যাদি) আপনি সবচেয়ে ছোট উদাহরণটি চয়ন করতে পারেন যা আমার সমস্ত ডেটাসেটকে স্মৃতিতে রাখতে এবং স্কেল আউট করতে পারে। ঐ দিকে

  • আপনি নিশ্চিত করেছেন যে নেটওয়ার্ক যোগাযোগের কারণে অপ্রয়োজনীয় বিলম্বিত করতে না পারে এবং
  • আপনি আপনার প্রক্রিয়াগুলির জন্য সামগ্রিক উপলব্ধ মেমরি ব্যান্ডউইদথকে সর্বাধিক করে তোলার ঝোঁক।

ধরে নিই যে আপনি আপনার মডেলটির কিছু মেটা প্যারামিটার অনুকূল করতে কোনও ক্রস-বৈধকরণ স্কিম চালাচ্ছেন , প্রতিটি কোরকে পরীক্ষার জন্য একটি মান নির্ধারণ করুন এবং যতগুলি প্যারামিটারের জায়গাগুলি আপনাকে যথাযথ দেখায় তেমন কয়েকটি রাউন্ডে coverাকতে প্রয়োজনীয় অনেকগুলি উদাহরণ চয়ন করুন।

যদি আপনার ডেটা কোনও সিস্টেমের মেমরির সাথে খাপ খায় না তবে অবশ্যই আপনাকে উদাহরণগুলি জুড়ে বিতরণ করতে হবে। তারপরে এটি নেটওয়ার্ক ল্যাটেন্সির সাথে মেমরি ল্যাটেন্সি (অনেকগুলি উদাহরণের সাথে আরও ভাল) সামঞ্জস্য করার বিষয়টি (কম উদাহরণের সাথে আরও ভাল) তবে ইসি 2 এর প্রকৃতির দিক দিয়ে আমি বেটেছি আপনি প্রায়শই কয়েকটি ফ্যাটযুক্ত উদাহরণ দিয়ে কাজ করতে পছন্দ করবেন prefer

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.