মেশিন লার্নিংয়ের মডেলগুলি প্রশিক্ষণ দেওয়ার সময়, মাঝে মাঝে ব্যাচের আকার 2 এর শক্তিতে রাখাই কেন সুবিধাজনক? আমি ভেবেছিলাম যে আপনার জিপিইউ মেমরি / র্যামের মধ্যে সবচেয়ে বড় ফিট এমন একটি আকার ব্যবহার করা ভাল।
এই উত্তরে দাবি করা হয়েছে যে কিছু প্যাকেজের জন্য ব্যাচের আকার হিসাবে 2 এর শক্তি আরও ভাল। কেউ কি এর বিশদ ব্যাখ্যার জন্য বিশদ বিবরণ / লিঙ্ক সরবরাহ করতে পারেন? সমস্ত অপ্টিমাইজেশন অ্যালগরিদম (গ্রেডিয়েন্ট বংশোদ্ভূত, ব্যাকপ্রোপেশন, ইত্যাদি) বা কেবল তাদের মধ্যে কিছুতে এটি সত্য?
উত্তর:
এটি জিপিইউর ফিজিকাল প্রসেসরের (পিপি) ভার্চুয়াল প্রসেসরের (ভিপি) প্রান্তিককরণের সমস্যা। যেহেতু পিপি সংখ্যাটি প্রায়শই 2 এর শক্তি হয় তাই 2 টির পাওয়ার থেকে আলাদা আলাদা ভিপি ব্যবহার করা দুর্বল কর্মক্ষমতা বাড়ে।
আপনি আকারের টুকরা একটি গাদা যেমন পিপি সম্মুখের VP -র ম্যাপিং দেখতে পারেন পিপি সংখ্যা ।
বলুন আপনি 16 পিপি পেয়েছেন।
আপনি তাদের উপর 16 ভিপি ম্যাপ করতে পারেন: 1 পিপিতে 1 ভিপি ম্যাপ করা হয়েছে।
আপনি তাদের উপর 32 ভিপি মানচিত্র করতে পারেন: 16 ভিপি, 1 পিপি 2 টি টুকরা 2 ভিপি'র জন্য দায়বদ্ধ হবে।
ইত্যাদি কার্যকর করার সময়, প্রতিটি পিপি 1 তম ভিপি এর জন্য দায়বদ্ধ, তারপরে ২ য় ভিপি এর কাজ সম্পাদন করবে,
যদি আপনি 17 ভিপি ব্যবহার করেন, তবে প্রতিটি পিপি তাদের 1 তম পিপি এর কাজ সম্পাদন করবে, তারপরে 1 পিপি করবে 17 তম এবং AND এর কাজটি কার্যকর করুনঅন্যগুলি কিছুই করবে না (নীচে সুনির্দিষ্ট)।
এটি জিপিইউ দ্বারা ব্যবহৃত সিমডি দৃষ্টান্তের ( 70 এর দশকে ভেক্টর নামে পরিচিত ) কারণে । একে প্রায়শই ডেটা প্যারালালিজম বলা হয়: সমস্ত পিপি একই সময়ে একই সাথে বিভিন্ন ডেটা করে। Https://en.wikedia.org/wiki/SIMD দেখুন ।
আরও স্পষ্টভাবে উদাহরণস্বরূপ, 17 ভিপি সহ উদাহরণস্বরূপ, একবার 1 ম স্লাইসের কাজ হয়ে গেলে (সমস্ত পিপি তাদের 1 তম ভিপির কাজ করে), সমস্ত পিপি একই কাজ করবে (২ য় ভিপি), তবে কেবলমাত্র একটিতে কিছু আছে ডেটা কাজ করতে ।
শেখার সাথে কিছু করার নেই। এটি কেবল প্রোগ্রামিং স্টাফ।