কনভলিউশনাল নেটওয়ার্কগুলিতে পক্ষপাত সম্পর্কে প্রশ্ন


11

আমি সিএনএন এর জন্য কতগুলি ওজন এবং বায়াসের প্রয়োজন তা নির্ধারণ করার চেষ্টা করছি।

বলুন আমার কাছে একটি (3, 32, 32) চিত্র রয়েছে এবং একটি (32, 5, 5) - ফিল্টার প্রয়োগ করতে চাই। প্রতিটি বৈশিষ্ট্যের মানচিত্রের জন্য আমার 5x5 ওজন রয়েছে, সুতরাং আমার 3 x (5x5) x 32 পরামিতি থাকা উচিত। এখন আমার পক্ষপাতদুটি যুক্ত করা দরকার। আমি বিশ্বাস করি যে আমার কাছে কেবল (3 x (5x5) + 1) x 32 প্যারামিটার রয়েছে, তাই কি সমস্ত রং (আরজিবি) জুড়ে পক্ষপাত একই?

এটা কি সঠিক? আমি বিভিন্ন ওজন ব্যবহার করার সময় কি প্রতিটি চিত্রের গভীরতা জুড়ে একই ক্ষেত্রে পক্ষপাত রাখি (এই ক্ষেত্রে 3)? কেন এমন?

উত্তর:


6

বায়াস প্রতি ভার্চুয়াল নিউরনে পরিচালনা করে, সুতরাং যেখানে একক আউটপুট থাকে সেখানে একাধিক পক্ষপাত ইনপুট থাকার কোনও মূল্য নেই - যা কেবলমাত্র একক পক্ষপাত্রে বিভিন্ন পক্ষপাতের ওজন যুক্ত করার সমতুল্য।

বৈশিষ্ট্যযুক্ত মানচিত্রে যা প্রথম লুকানো স্তরের আউটপুট, রঙগুলিকে আর আলাদা রাখা হয় না *। কার্যকরভাবে প্রতিটি বৈশিষ্ট্যের মানচিত্রটি পরবর্তী স্তরের একটি "চ্যানেল", যদিও এগুলি সাধারণত পৃথকভাবে ভিজ্যুয়ালাইজ করা হয় যেখানে ইনপুটটি সংযুক্ত চ্যানেলগুলির সাথে ভিজ্যুয়ালাইজ করা হয়। এ সম্পর্কে চিন্তাভাবনার আরেকটি উপায় হ'ল মূল চিত্রের পৃথক আরজিবি চ্যানেলগুলি ইনপুটটিতে 3 "বৈশিষ্ট্যযুক্ত মানচিত্র" are

আগের স্তরে কতগুলি চ্যানেল বা বৈশিষ্ট্য রয়েছে তা বিবেচনাধীন নয়, পরবর্তী স্তরের প্রতিটি বৈশিষ্ট্য মানচিত্রে আউটপুট সেই মানচিত্রে একক মান। একটি আউটপুট মান একক ভার্চুয়াল নিউরনের সাথে মিলে যায়, একটি পক্ষপাতিত্বের ওজন প্রয়োজন।

সিএনএন-তে, আপনি যেমন প্রশ্নে ব্যাখ্যা করেছেন, আউটপুট বৈশিষ্ট্যের মানচিত্রের প্রতিটি পয়েন্টে একই ওজন (পক্ষপাতের ওজন সহ) ভাগ করা হয়। সুতরাং প্রতিটি বৈশিষ্ট্যের মানচিত্রের নিজস্ব পক্ষপাত ওজন পাশাপাশি previous_layer_num_features x kernel_width x kernel_heightসংযোগ ওজন রয়েছে।

হ্যাঁ, (3 x (5x5) + 1) x 32প্রথম স্তরের মোট ওজনের ফলাফল হিসাবে আপনার উদাহরণটি সিএনএন-এর জন্য প্রথম লুকানো স্তর প্রক্রিয়াকরণ আরজিবি ইনপুট 32 টি পৃথক বৈশিষ্ট্য মানচিত্রে সঠিক।


* আপনি সিএনএন ওজনগুলির ভিজ্যুয়ালাইজেশন দেখে বিভ্রান্ত হয়ে পড়তে পারেন যা তারা চালিত রঙিন চ্যানেলে পৃথক করা যায়।


আমি ভেবেছিলাম ফিল্টার প্রতি একটি পক্ষপাতিত্ব আছে ... আমাদের ভার্চুয়াল নিউরনের বিভিন্ন সংজ্ঞা আছে?
চার্লি পার্কার

@ চর্লিপার্কার প্যারামিটারের সংখ্যার ক্ষেত্রে, ফিল্টার প্রতি একটি পক্ষপাত নিউরনের প্রতি একটি পক্ষপাতের সমান। সিএনএন বৈশিষ্ট্য মানচিত্রের আর্কিটেকচারটি দেখার কয়েকটি সমতুল্য উপায় রয়েছে। একটি হ'ল "সম্পূর্ণ প্রসারিত" স্তর হিসাবে বৃহত সংখ্যক নিউরনের সাথে একই পরামিতিগুলি ভাগ করে নেবে। আরেকটি হ'ল প্রতিটি কনভোলজিনাল ফিল্টারকে একটি একক নিউরনের স্থানীয় সংযোগগুলি বর্ণনা করার মতো মনে করা উচিত এবং স্তরটি বারবার একই নিউরন ব্যবহার করে। সুতরাং আমি মনে করি আমাদের সম্ভবত নিউরনের একই সংজ্ঞা রয়েছে তবে উত্তরটি কেবলমাত্র এক দৃষ্টিকোণ থেকে জিনিসগুলি বর্ণনা করে।
নীল স্লেটার

মজাদার, আমি অনুমান করি আপনি প্রতিটি ফিল্টারটির জন্য প্রতিটি নিউরন সম্পর্কে ভাবেন, আমি প্রতিটি নিউরনের জন্য প্রতিটি অ্যাক্টিভেশন কোনও কারণে ভাবছিলাম, তবে ফিল্টারটি চিত্রের অনেক স্থানে সক্রিয় হয় অবশ্যই অবশ্যই আমার মনে আরও অনেক নিউরন ছিল।
চার্লি পার্কার

1

একই বৈশিষ্ট্য সনাক্ত করতে তারা সিএনএনগুলির সম্পত্তি যা তারা ভাগ করা ওজন এবং বায়াসগুলি (একটি স্তরের সমস্ত লুকানো নিউরনের জন্য একই ওজন এবং পক্ষপাত) ব্যবহার করে। এটি সাধারণ নিউরাল নেটওয়ার্কগুলির তুলনায় আরও গভীর শিক্ষার দিকে পরিচালিত করে। আপনি এটি একটি রেফারেন্স হিসাবে পড়তে পারেন:

http://DPeLear.net/tutorial/lenet.html
http://neuralnetworksandDPlearning.com/chap6.html#introducing_convolutional_networks


আমি অন্য একটি প্রশ্ন জিজ্ঞাসা করছি। আমার প্রশ্ন পক্ষপাত সম্পর্কে। সূত্রটি থেকে, দেখে মনে হচ্ছে যে প্রতিটি বৈশিষ্ট্যের মানচিত্রের জন্য আলাদা আলাদা ওজন রয়েছে তবে সমস্ত বৈশিষ্ট্য মানচিত্র জুড়ে একই পক্ষপাত ব্যবহার করা হয়।
ব্যবহারকারী
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.