ব্যাক এন্ড নম্বর ক্রঞ্চিংয়ের জন্য এইচপিসি সংস্থান সহ ডেস্কটপ সফটওয়্যার


17

আমাদের ওয়ার্কগ্রুপ একটি ডেস্কটপ অ্যাপ্লিকেশন তৈরি করে যা বিল্ডিং এনার্জি পারফরম্যান্সের অনুকরণ করে। এটি একটি নেট অ্যাপ্লিকেশন এবং যখন ব্যবহারকারী প্রচুর সিমুলেশন চালাচ্ছেন, তারা বেশ সময় সাশ্রয়ী হতে পারেন। সিমুলেশনগুলি সম্পূর্ণরূপে সমান্তরাল, এবং আমাদের কাছে "অফিস" -তে বেশ কয়েকটি উল্লেখযোগ্য এইচপিসি কম্পিউটিং সংস্থান রয়েছে।

একটি ধারণা আমাদের কাছে ছিল তা হ'ল ব্যবহারকারীরা আমাদের জানা সিমুলেশনগুলি অফলোড করার অনুমতি দেয় যা আমাদের জানা খুব দীর্ঘকাল চলবে (যখন প্রতিটি স্বতন্ত্র সিমুলেশন প্রায় 30-120 সেকেন্ড চলবে, প্রচুর সংখ্যক সিমুলেশন চালানো বেশ কয়েক দিন সময় নিতে পারে)। এর আগে কি কেউ এটি করেছে? যদি তা হয় তবে আপনি কাজটি সহজ করার জন্য কোনও লাইব্রেরি ব্যবহার করেছেন? এটা কি মূল্যবান ছিল?

যোগ করতে সম্পাদিত:

সিমুলেশন অফলোড করার জন্য ব্যক্তিগত কাজগুলি হবে

  • একটি ফাইল প্যাকেজিং (প্রায় 5Mb),
  • এটি আমাদের সার্ভারে আপলোড করা হচ্ছে,
  • প্যাকেজটিকে পৃথক সিমুলেশনগুলিতে বিভক্ত করা (প্রতিটি প্রায় 30-120 সেকেন্ড সময় নেয় এবং সম্পূর্ণ সমান্তরাল), সিমুলেশনগুলির সংখ্যাটি ব্যবহারকারী দ্বারা নির্বাচিত বিকল্পগুলির সংখ্যার (ইনসুলেশন, বিল্ডিং ওরিয়েন্টেশন ইত্যাদি) একটি ফাংশন এবং নির্বাচনের সবচেয়ে খারাপ ক্ষেত্রে is প্রতিটি সম্ভাব্য বিকল্পের ফলস্বরূপ প্রায় 1E50 সিমুলেশন হবে। 100 থেকে ~ 1E5 সিমুলেশন চালানো অজানা নয়, তবে বেশিরভাগ ব্যবহারকারীর 10 এর চেয়ে কম চলবে।
  • সমাপ্ত সিমুলেশনগুলি পুনরায় সংশ্লেষ করা এবং এখন আরও বড় ফাইল ডাউনলোড করা।

আমাদের গ্রুপটি এটিতে নতুন হিসাবে কোন ইন্টারফেসটি ব্যবহার করবে তা আমরা নিশ্চিত নই, এবং বাজেট কাটা নিয়ে এটি সময়মতো সম্পন্ন হতে পারে তবে পরবর্তী লোকদের (যদি থাকে) বজায় রাখা সহজ হওয়া দরকার।

এই অ্যাপ্লিকেশনটি ইতিমধ্যে। নেট 4 ব্যবহার করে এবং ব্যবহারকারীর সমস্ত কোর (আমাদের ডেভ মেশিনে 8 টি কোর রয়েছে) ব্যবহার করতে প্রসারিত করতে পারে।


আপনি এখানে যাচ্ছেন ঠিক সে সম্পর্কে আমি পুরোপুরি পরিষ্কার নই - এইচপিসির শেষটি কি সর্বদা আপনার সার্ভার বা অন্যান্য উত্সর্গীকৃত সার্ভারগুলিতে থাকবে? (যদি তা হয় তবে এটি আরও সহজ করা উচিত কারণ আপনি আরও অনেকগুলি সার্ভার-সাইড করতে সক্ষম হতে পারেন))
এসিন

@ আসীন, এইচপিসি শেষটি আমাদের সার্ভারগুলিতে থাকবে, হ্যাঁ। বিদ্যমান অ্যাপ্লিকেশন এবং নতুন সংস্করণ ব্যবহারকারীদের ডেস্কটপে সিমুলেশনগুলি চালায়। বড় ব্যবহারকারীদের জন্য এইচপিসি ব্যবহার করতে সক্ষম হওয়ার জন্য পরবর্তী সংস্করণে কীভাবে চিন্তা করতে হবে সে সম্পর্কে পরামর্শ / সুপারিশের সন্ধান করছি।
টাঙ্গুরেনা

উত্তর:


10

আপনি কনডর: http://research.cs.wisc.edu/condor/ ব্যবহার বিবেচনা করতে পারেন । আপনি কোন ধরণের এইচপিসি সংস্থান সম্পর্কে কথা বলছেন এবং সেগুলি কতটা পরিবর্তিত হবে তার উপর নির্ভর করে এটি ওভারকিল হতে পারে। তবে এটি শুরু করা মোটামুটি সহজ এবং এটি স্বতন্ত্র চাকরী, দোষ সহনশীলতা, ভার ভারসাম্য ইত্যাদি চালু করার যত্ন নেয়

আপনি যদি পৃথক কাজগুলি সম্পর্কে আরও নির্দিষ্ট হন (কতক্ষণ, কতটা অবিচ্ছিন্ন) এবং আপনি ইন্টারফেসের জন্য কোন ইন্টারফেস ব্যবহার করবেন (লঞ্চ প্রক্রিয়া, গ্রন্থাগার, ইত্যাদি) এটি আরও সহায়ক হবে It

ঔজ্বল্যহীন


আমি নিশ্চিত না যদি শকুন সঙ্গে .net (উইন্ডোজ?), কিন্তু আমাদের কাজ গ্রুপ ব্যবহারসমূহ লিনাক্স Condor কাজ করবে এবং আমি তা সুপারিশ করতে পারে জমা দেওয়ার কাজ +1 টি
সেবাস্টিয়ান

কনডোর ফাইল সিস্টেমের মাধ্যমে যোগাযোগ করতে পারে, সুতরাং এটি .NET অনুসরণ করার প্রয়োজন নেই। এটি উইন্ডোতে চলতে পারে।
ম্যাট নিপলি

5

আপনি যদি নেট নেট ওয়ার্ল্ড এ থাকেন, আপনি। নেট 4 এ মাল্টি-থ্রেডিং সাপোর্টের দিকে নজর রেখেছেন; .NET 4.5 এ যুক্ত করা হচ্ছে এমন অ্যাসিঙ্ক্রোনাস বৈশিষ্ট্যগুলি?

মাল্টিথ্রেডিং আপনাকে অন্য মেশিনে অফলোড প্রসেসিংয়ে সহায়তা করে না, তবে আমরা আপনাকে আজকাল যে সমস্ত মাল্টিকোর পিসি ব্যবহার করছি সেগুলি আরও ভালভাবে ব্যবহার করতে দেয়। এই বিষয়ে 4.0 এর কয়েকটি দুর্দান্ত বৈশিষ্ট্য রয়েছে।

4.5 বর্তমানে প্রযুক্তির পূর্বরূপে রয়েছে - সুতরাং এটি সাহায্য করবে কিনা তা দেখার জন্য এটি মূল্যবান। এমএসডিএন-তে একটি নিবন্ধ ছিল গত একমাসে নতুন অ্যাসিনক্রোনাস বৈশিষ্ট্যগুলি প্রবর্তন করার জন্য (অক্টোবর বা নভেম্বরে এবং অবশ্যই সেপ্টেম্বরের চেয়ে আগের কোনও নয়)। দেখে মনে হয়েছিল যে এই বৈশিষ্ট্যগুলিকে traditionতিহ্যগতভাবে কম সমান্তরাল কোডের সমান্তরাল করার উপায় হিসাবে ঠেলাঠেলি করা হচ্ছে তবে আইআইআরসি সেগুলি কিছু মাল্টি-সার্ভার সমর্থনও অন্তর্ভুক্ত করেছে।


4

উত্তরটি আপনার এইচপিসি ব্যাকএন্ড হিসাবে রয়েছে তার উপর নির্ভর করে। প্রশ্নটি এনআরএল ব্যবহারকারীদের জন্য উপলব্ধ বিদ্যমান সংস্থানগুলিকে বোঝায়। উইন্ডোজ কম্পিউট ক্লাস্টার সার্ভারের উপর ভিত্তি করে লিনাক্স ক্লাস্টার এবং একটি উইন্ডোজ ক্লাস্টার রয়েছে।

  1. লিনাক্স ক্লাস্টারটি ব্যবহার করতে লেখকের অবশ্যই সিমুলেশন রুটিন মনো (লিনাক্সের জন্য .NET প্ল্যাটফর্মের প্রয়োগ) চলছে কিনা তা নিশ্চিত করা এবং নোডগুলিতে মনো যে ইনস্টল করা আছে তা নিশ্চিত করা দরকার।

  2. পরবর্তী প্রশ্নটি হ'ল ব্যবহারকারীগণের গণনা ক্লাস্টারে অ্যাকাউন্ট রয়েছে এবং নোডগুলিতে ডেটা পাওয়া যাবে কিনা? সবচেয়ে সহজ কেসটি হল স্থানীয় পিসি এবং নোডগুলি থেকে অ্যাক্সেসযোগ্য একক ফাইল সিস্টেমের সাথে।

    আমি নিশ্চিত নই যে এনআরইএল ব্যবহারকারীদের কাছে এই জাতীয় কোনও ফাইল সিস্টেম পাওয়া যায়, তাই কিছু অনুলিপি জড়িত থাকবে। এটি ইতিমধ্যে বিষয়গুলিকে জটিল করে তুলেছে।

  3. এরপরে অ্যাপ্লিকেশনটিতে একটি কাজের বিবরণী স্ক্রিপ্টটি সংকলন করতে, সংশ্লিষ্ট ক্লাস্টারে জমা দিতে এবং কাজ সারি থেকে সরিয়ে না আসা অবধি সিমুলেশনের রাজ্যের জন্য কুইউিং সিস্টেমটিকে জিজ্ঞাসা করতে সক্ষম হওয়া উচিত।

  4. শেষ পর্যন্ত আবেদনটি ফলাফল পুনরুদ্ধার করতে সক্ষম হওয়া উচিত।

এটি তুচ্ছ না হলেও এগুলি করণীয় এবং এই বিশেষ ল্যাবটির সেটআপের জন্য এটি অত্যন্ত নির্দিষ্ট।

আনসিস বা এমএসসি থেকে বাণিজ্যিক অ্যাপ্লিকেশনগুলি ব্যবহারকারীকে সিমুলেশন কাজের বিবরণ সংরক্ষণ করতে দেয় যা পরে রিমোট ক্লাস্টারে ব্যাচ মোডে চালানো যেতে পারে।

আরও সাধারণ সমাধান হ'ল যদি গ্রিড অবকাঠামো পাওয়া যায় তবে ব্যবহার করা।

এর পরের একটি পরিষেবা ভিত্তিক আর্কিটেকচারের জন্য যেতে পারে যেখানে সিমুলেশন অনুরোধগুলির জন্য অপেক্ষা করতে এবং ক্লাস্টারে তাদের প্রেরণের জন্য কোনও ওয়েব-সার্ভিস কোথাও সেট আপ করা হয়েছে যাতে উপলভ্য সংস্থানগুলির নির্দিষ্টকরণের জ্ঞান থেকে অ্যাপ্লিকেশনটিকে ডিকম্পল করে।

এটি গণ্য জীববিদ্যায় উদাহরণস্বরূপ ব্যবহৃত হয়, যেখানে প্রক্রিয়াজাতকরণের জন্য ওয়েব-পরিষেবা অনুরোধগুলি সম্পূর্ণরূপে সিমুলেশন ওয়ার্কফ্লোগুলি রচনা করার জন্য সরঞ্জামগুলি ব্যবহৃত হয়।

কেবলমাত্র লক্ষণীয় যে রিমোট কম্পিউটিং সংস্থানগুলিতে অফলোডিং কম্পিউটেশনগুলি সাধারণত অ্যান্ড্রয়েডের জন্য গুগল ভয়েস স্বীকৃতির মতো অ্যাপ্লিকেশনগুলিতে ব্যবহৃত হয়।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.