কোন স্তর সিএনএন প্রশিক্ষণে বেশি সময় ব্যয় করে? কনভলিউশন স্তর বনাম এফসি স্তরগুলি

11

কনভলিউশনাল নিউরাল নেটওয়ার্কে কোন স্তরটি প্রশিক্ষণে সর্বাধিক সময় ব্যয় করে? কনভলিউশন স্তর বা সম্পূর্ণ সংযুক্ত স্তরগুলি? এটি বুঝতে আমরা আলেকসনেট আর্কিটেকচারটি নিতে পারি। আমি প্রশিক্ষণ প্রক্রিয়া সময়ের ব্রেকআপ দেখতে চাই। আমি একটি আপেক্ষিক সময়ের তুলনা চাই যাতে আমরা কোনও ধ্রুবক জিপিইউ কনফিগারেশন নিতে পারি।

neural-networks deep-learning convolutional-neural-networks

— রুচিত ডালওয়াদী
সূত্র

11

দ্রষ্টব্য: আমি এই গণনাগুলি অনুমানমূলকভাবে করেছি, যাতে কিছু ত্রুটি ঘটতে পারে Please দয়া করে এ জাতীয় কোনও ত্রুটি সম্পর্কে অবহিত করুন যাতে আমি এটি সংশোধন করতে পারি।

যে কোনও সিএনএন সাধারণভাবে প্রশিক্ষণের সর্বাধিক সময় পুরো সংযুক্ত স্তরটিতে ত্রুটির পিছনে প্রচারে যায় (চিত্রের আকারের উপর নির্ভর করে)। এছাড়াও সর্বাধিক স্মৃতিও তাদের দ্বারা দখল করা হয়। ভিজিজি নেট প্যারামিটারগুলি সম্পর্কে স্ট্যানফোর্ডের একটি স্লাইড এখানে:

স্পষ্টতই আপনি দেখতে পারেন সম্পূর্ণ সংযুক্ত স্তরগুলি প্যারামিটারগুলির প্রায় 90% অবদান রাখে। সুতরাং সর্বাধিক স্মৃতি তাদের দখল করে আছে।

$(3*3*3)$ $(3*3*3)$ $224*224$ $224*224*(3*3*3)$ $64$ $224*224$ $64*224*224*(3*3*3) \approx 87*10^6$

$56*56*256$ $56*56$ $(3*3*256)$ $56*56$ $256 * 56 * 56 * (3*3*256) \approx 1850 *10^6$

$stride = 1$

$channels_{output} * (pixelOutput_{height} * pixelOutput_{width}) * (filter_{height} * filter_{width} * channels_{input})$

দ্রুত জিপিইউ'র জন্য ধন্যবাদ আমরা সহজেই এই বিশাল গণনাগুলি পরিচালনা করতে সক্ষম হয়েছি। তবে এফসি স্তরগুলিতে পুরো ম্যাট্রিক্সটি লোড করা দরকার যা মেমরির সমস্যার কারণ হয়ে দাঁড়ায় যা সাধারণত কনভোলজিকাল স্তরগুলির ক্ষেত্রে হয় না, তাই সমঝোতা স্তরগুলির প্রশিক্ষণ এখনও সহজ। এছাড়াও এগুলি সমস্ত নিজেই জিপিইউ মেমরিতে লোড করতে হবে এবং সিপিইউর র্যাম নয়।

এছাড়াও এখানে অ্যালেক্সনেটের প্যারামিটার চার্ট রয়েছে:

এবং এখানে বিভিন্ন সিএনএন আর্কিটেকচারের পারফরম্যান্স তুলনা করা হয়েছে:

আমি আপনাকে সিএনএন আর্কিটেকচারের কুলুঙ্গিগুলি এবং ক্র্যানিজ সম্পর্কে আরও ভাল করে বোঝার জন্য স্ট্যানফোর্ড ইউনিভার্সিটির সিএস 231n লেকচার 9 পরীক্ষা করে দেখার পরামর্শ দিচ্ছি ।

— DuttaA
সূত্র

4

সিএনএন-তে কনভলিউশন অপারেশন রয়েছে তবে ডিএনএন প্রশিক্ষণের জন্য কনস্ট্রাকটিভ ডাইভারজেন ব্যবহার করে। সিএনএন বিগ ও স্বরলিপি হিসাবে আরও জটিল।

রেফারেন্সের জন্য:

1) সিএনএন সময়ের জটিলতা
https://arxiv.org/pdf/1412.1710.pdf

2) সম্পূর্ণরূপে সংযুক্ত স্তরগুলি / ডিপ নিউরাল নেটওয়ার্ক (ডিএনএন) / মাল্টি লেয়ার পারসেপট্রন (এমএলপি) https://www.researchgate.net/post/What_is_t_____pleplexity_of_ মাল্টিলেয়ার_প্রসেপ্ট্র_এমএলপি_আর_আপনার_নুরাল_ নেট ওয়ার্কস

— কেতুল পরীখ
সূত্র