বর্তমান গ্রাহক গ্রেড জিপিইউগুলিতে কোন ধরণের নিউরাল নেটওয়ার্কগুলি প্রশিক্ষণ দেওয়া যেতে পারে? (1060,1070,1080)

Question

সাধারণ গ্রাহক গ্রেড জিপিইউগুলিতে প্রশিক্ষণযোগ্য নিউরাল নেটওয়ার্কগুলির আকার সম্পর্কে থাম্ব অনুমানের নিয়ম দেওয়া কি সম্ভব ? উদাহরণ স্বরূপ:

গতিশক্তি (শক্তিবৃদ্ধি) এর উত্থান কাগজের নিউরোন TANH অ্যাক্টিভেশন ব্যবহার করে একটি নেটওয়ার্ক প্রশিক্ষণ দেয়। তাদের প্ল্যানার ওয়াকারের জন্য 300,200,100 ইউনিট সহ একটি 3 স্তর এনএন রয়েছে । তবে তারা হার্ডওয়্যার এবং সময় রিপোর্ট করে না ...

তবে কি থাম্বের একটি নিয়ম বিকাশ করা যেতে পারে? এছাড়াও কেবল বর্তমান অভিজ্ঞতামূলক ফলাফলের উপর ভিত্তি করে, উদাহরণস্বরূপ:

সিগময়েড অ্যাক্টিভেশন ব্যবহার করে এক্স ইউনিটগুলি 1060 এ প্রতি ঘন্টা Y শিখতে পুনরাবৃত্তি চালাতে পারে।

বা খ এর পরিবর্তে অ্যাক্টিভেশন ফাংশন ব্যবহারের ফলে কর্মক্ষমতা হ্রাস পেতে পারে।

যদি কোনও শিক্ষার্থী / গবেষক / কৌতূহলী মন এই নেটওয়ার্কগুলির সাথে ঘুরে দেখার জন্য একটি জিপিইউ কিনতে চলেছে তবে কী কী পাবে তা আপনি কীভাবে সিদ্ধান্ত নেবেন? একটি 1060 স্পষ্টতই এন্ট্রি স্তরের বাজেটের বিকল্প, তবে আপনি কীভাবে মূল্যায়ন করতে পারেন যদি উচ্চ বিদ্যুতের ডেস্কটপ তৈরির পরিবর্তে কেবল ক্রেপি নেটবুক না পাওয়া এবং অন-ডিমান্ড ক্লাউড অবকাঠামোতে ব্যয় করা।

প্রশ্নের অনুপ্রেরণা: আমি মাত্র একটি 1060 এবং (চতুর, পরে প্রশ্ন জিজ্ঞাসা করার জন্য হু) কিনেছি আশ্চর্য কি আমার যদি কেবল just রাখা উচিত ছিল এবং একটি গুগল ক্লাউড অ্যাকাউন্ট তৈরি করা উচিত। এবং আমি যদি জিপিইউতে আমার মাস্টার থিসিস সিমুলেশন চালাতে পারি।

Answer 1

সাধারণত সমস্যাটি মডেলটিকে ভিডিও র্যামের সাথে ফিট করে। যদি এটি না হয়, আপনি বড় প্রচেষ্টা ছাড়াই আপনার মডেলটিকে মোটেই প্রশিক্ষণ দিতে পারবেন না (যেমন মডেলটির প্রশিক্ষণ অংশগুলি আলাদাভাবে)। যদি তা হয় তবে সময়টাই আপনার একমাত্র সমস্যা। তবে এনভিডিয়া 1080 এর মতো গ্রাহক জিপিইউ এবং এনভিডিয়া কে 80 এর মতো অনেক বেশি ব্যয়বহুল জিপিইউ এক্সিলারগুলির মধ্যে প্রশিক্ষণের সময়ের পার্থক্য খুব বেশি বড় নয়। প্রকৃতপক্ষে সেরা গ্রাহক কার্ডগুলি জিপিইউ এক্সিলারগুলির চেয়ে দ্রুত, তবে ভিআরএএম এর মতো অন্যান্য বৈশিষ্ট্যের অভাব রয়েছে। এলোমেলো তুলনা এবং মাপদণ্ড: http://timdettmers.com/2017/04/09/Wich-gpu-for- ਦੀਪ- বিসর্জন / , https://medium.com/@alexbaldo/a-compistance-between-nvidias-geforce -gtx-1080-এবং-টেসলা-P100-জন্য-গভীর শেখার-81a918d5b2c7

আপনার মডেলগুলি ভিআরএমে ফিট করে কিনা তা গণনা করতে, আপনি ঠিক কতটা ডেটা এবং কোন হাইপারপ্যারামিটারগুলি (ইনপুটস, আউটপুটস, ওজন, স্তরগুলি, ব্যাচের আকার, কোন ডেটাটাইপ এবং এই জাতীয়) তা প্রায় অনুমান করে।

Comments

উত্তম উত্তর, তবে কোন ধরণের মডেল 6/8 জিবি মেমরির সাথে খাপ খায় না? আসুন প্রতিটি ব্যাচের প্রশিক্ষণ ডেটা + মডেল বলি। মডেলটির আকার কীভাবে গণনা করা যায় তা সম্পর্কে আমার কোনও ধারণা নেই তবে আমি কয়েক হাজার নিউরন কল্পনা করতে পারি না এবং তাদের ওজনগুলি গিগা বাইটের মেমোরি পূরণ করতে পারে। গুগলের প্রিট্রেইন ইমেজ স্বীকৃতি মডেল হ'ল কয়েকশ মেগা টেনসরফ্রো.অর্গ / টিউটোরিয়ালস / আইমেজ_সিকগনিশন এবং এটি অন্যান্য বেশিরভাগের চেয়ে বেশি চিহ্নিত করতে পারে। অ্যাপল আইফোনটিতে এটি অন-চিপ পরিচালনা করে তাই মডেলটি নিজেই টি-ডেটার চেয়ে অনেক ছোট হতে হবে। এবং র্যামে ঠিক থাকা দরকার নেই?

— প্যাস্কালহোপ

আমি প্রায়শই এনএলপি মডেল, বেশিরভাগ মাল্টি-লেয়ার আরএনএন নিয়ে কাজ করি এবং শব্দভাণ্ডারের আকার যদি বড় হয় তবে 8 জিবিও যথেষ্ট নাও হতে পারে। মনে রাখবেন প্রশিক্ষণে সাধারণত পূর্বাভাসের চেয়ে বেশি স্থানের প্রয়োজন হয় (গ্রেডিয়েন্টগুলি স্থানও নেয়)।

— সি। ইয়ুডাকোলি

Answer 2

একটি সতর্কতামূলক হিসাবে, আমি আপনাকে পরামর্শ দিচ্ছি যে আপনি মৌলিক প্রযুক্তিগত সীমাবদ্ধতার বিরুদ্ধে চাপ না দিলে, নিউরাল নেটওয়ার্ক আর্কিটেকচারটি বিকাশের সময় গণনার গতি এবং সংস্থানগুলি যৌক্তিক নকশা করার ক্ষেত্রে গৌণ হতে হবে।

এটি বলেছিল যে, এই বছরের গোড়ার দিকে আমি আমার এমএস থিসিসটি শেষ করেছি যা পুরো জিনোম সিকোয়েন্সিং ডেটার সাথে বায়োইনফরম্যাটিক বিশ্লেষণ পাইপলাইনগুলিতে জড়িত ছিল - এই প্রকল্পটি আমাদের ক্লাস্টার জব ম্যানেজারের অনুযায়ী বিকাশ করতে 100,000 ঘন্টা গণনার সময় নিয়েছে। আপনার যখন একটি সময়সীমাতে থাকে, সংস্থানগুলি সত্যিকারের বাধা হতে পারে এবং গতি সমালোচনা করতে পারে।

সুতরাং, আপনার প্রশ্নের উত্তরগুলি যেমন আমি তাদের বুঝি তেমন উত্তর দিতে:

আমি কি মেঘে সময় কেনার জন্য অর্থটি ব্যবহার করা আরও ভাল হত?

সম্ভবত। আপনি 1060 এর জন্য যে কয়েকশো ডলার ব্যয় করেছেন তা আপনাকে মেঘে আপনার মডেল (গুলি) প্রশিক্ষণ দিতে পারে। আরও যতদূর আমি বলতে পারি, আপনার জিপিইউটির 100% সময় ক্র্যাঙ্কিংয়ের প্রয়োজন নেই (আপনি যদি বলতেন, মাইনিং ক্রিপ্টো মুদ্রা)। অবশেষে, মেঘের উদাহরণগুলির সাহায্যে আপনি স্কেল করতে পারবেন, একসাথে একাধিক মডেলকে প্রশিক্ষণ দিয়েছিলেন, যা আপনি স্থায়ীভাবে যে কোনও আর্কিটেকচারের অনুসন্ধান এবং বৈধতার গতি বাড়িয়ে তুলতে পারেন।

প্রদত্ত জিপিইউতে নিউরাল নেটওয়ার্কের গণনা সময়কে গজানোর কোনও উপায় আছে কি?

ঠিক আছে, বিগ ও হলেন একজন অনুমানকারী, তবে মনে হচ্ছে আপনি আরও সঠিক পদ্ধতি চান। আমি নিশ্চিত যে এগুলির উপস্থিত রয়েছে, তবে আমি পাল্টা করেছিলাম যে আপনি যে খামগুলি গণনা করে থ্রেড, মেমরি, কোড পুনরাবৃত্তি ইত্যাদির জন্য সরল পিছনে দিয়ে আপনার হিসাবটি তৈরি করতে পারেন তা কি আপনি সত্যিই জিপিইউ প্রসেসিং পাইপলাইনটিতে খনন করতে চান? 1060? আপনার কোড এবং ধাতবটির মধ্যে ঘটে যাওয়া সমস্ত কিছু বোঝার দ্বারা আপনি খুব ভাল অনুমানের সাথে আসতে সক্ষম হতে পারেন তবে শেষ পর্যন্ত এটি সম্ভবত সময় এবং প্রচেষ্টার পক্ষে মূল্যহীন নয়; এটি সম্ভবত নিশ্চিত করবে যে বিগ ও স্বরলিপি (সরল মডেল, আপনি যদি করেন) গণনা সময়ের মধ্যে বেশিরভাগ প্রকারকে ক্যাপচার করে। আপনি যদি বাধাগুলি লক্ষ করেন তবে আপনি যা করতে পারেন তা হল পারফরম্যান্স প্রোফাইলিং।

Answer 3

এটি আপনার প্রয়োজনের উপর নির্ভর করে। আপনি যে কোনও সংস্থার যেকোন আকারের নেটওয়ার্ককে প্রশিক্ষণ দিতে পারেন। সমস্যা প্রশিক্ষণের সময়। আপনি যদি গড় সিপিইউতে ইনসেপশনকে প্রশিক্ষণ দিতে চান তবে রূপান্তর করতে কয়েক মাস সময় লাগবে। সুতরাং, এটি আপনার নেটওয়ার্কের ভিত্তিতে ফলাফলগুলি দেখার জন্য আপনি কতক্ষণ অপেক্ষা করতে পারবেন তার উপর নির্ভর করে। স্নায়ুবহুল জালগুলির মতো আমাদের কেবল একটি অপারেশন নেই তবে অনেকগুলি (যেমন কনটেনেটেটিং, সর্বাধিক পুলিং, প্যাডিং ইত্যাদি), আপনি যেমন অনুসন্ধান করছেন তেমন অনুমান করা অসম্ভব। কিছু কুখ্যাত নেটওয়ার্ক প্রশিক্ষণ দেওয়া এবং সময়টি পরিমাপ করুন। তারপরে, আপনি যে নেটওয়ার্কগুলির সন্ধান করছেন তা প্রশিক্ষণ দিতে কত সময় লাগবে তা আপনি বিভক্ত করতে পারেন।

Comments

আপনি কি এমন কোনও উত্স সম্পর্কে সচেতন হন যা বিভিন্ন এনএন কাজের জন্য তথ্য সংগ্রহ করে? সুতরাং একটি তালিকা: এনএন টাইপ, ইউনিট গণনা, হাইপারপ্যারামিটার, ডেটাসেট আকার, হার্ডওয়্যার ব্যবহৃত, সময় নেওয়া? এটি থাম্ব অন্তর্দৃষ্টির একটি নিয়ম বিকাশ করতে সহায়তা করবে

— প্যাসকালহোপ