ড্রপআউট কীভাবে কনভ্যুশনাল স্তরগুলির সাথে কাজ করে?

ড্রপআউট ( কাগজ , ব্যাখ্যা ) কিছু নিউরনের আউটপুট শূন্যে সেট করে। সুতরাং একটি এমএলপি-র জন্য আপনার আইরিস ফুলের ডেটাসেটের জন্য নিম্নলিখিত স্থাপত্য থাকতে পারে :

4 : 50 (tanh) : dropout (0.5) : 20 (tanh) : 3 (softmax)

এটি এর মতো কাজ করবে:

s o f t m a x (W_{3} \cdot \tanh (W_{2} \cdot mask (D, \tanh (W_{1} \cdot i n p u t_v e c t o r)))

$softmax(W_3 \cdot \tanh(W_2 \cdot \text{mask}(D, \tanh(W_1 \cdot input\_vector)))$

সহ , , , , (সরলতার জন্য পক্ষপাতিত্ব উপেক্ষা করা) $input\_vector \in \mathbb{R}^{4 \times 1}$ $W_1 \in \mathbb{R}^{50 \times 4}$ $D \in \{0, 1\}^{50 \times 1}$ $W_2 \in \mathbb{R}^{20 \times 50}$ $W_3 \in \mathbb{R}^{20 \times 3}$

সঙ্গে এবং $D = (d)_{ij}$

d_{i j} \sim B (1, p = 0.5)

$d_{ij} \sim B(1, p=0.5)$

যেখানে ক্রিয়াকলাপ সাথে পয়েন্ট-ভিত্তিক ( হাদামারড পণ্যটি দেখুন ) গুন করে । $\text{mask}(D, M)$ $D$ $M$

সুতরাং আমরা প্রতিটি সময় ম্যাট্রিক্স নমুনা এবং এইভাবে ড্রপআউট 0 এর সাথে নোডের গুণে পরিণত হয়। $D$

তবে সিএনএন-র ক্ষেত্রে এটি ঠিক কী বাদ পড়েছে তা আমার কাছে পরিষ্কার নয়। আমি তিনটি সম্ভাবনা দেখতে পাচ্ছি:

সম্পূর্ণ বৈশিষ্ট্য মানচিত্র বাদ দেওয়া (অতএব একটি কার্নেল)
কার্নেলের একটি উপাদান বাদ দেওয়া (কার্নেলের একটি উপাদান 0 দ্বারা প্রতিস্থাপন করা)
বৈশিষ্ট্য মানচিত্রের একটি উপাদান বাদ দেওয়া

আপনার উত্তরে একটি রেফারেন্স / উদ্ধৃতি যোগ করুন।

আমার চিন্তা

আমার মনে হয় লাসাগন (3) ( কোড দেখুন ) করেন। এটি কার্যকর করা সহজ হতে পারে। তবে মূল ধারণার কাছাকাছি হতে পারে (1)।

ক্যাফের জন্য অনুরূপ বলে মনে হচ্ছে ( কোড দেখুন )। টেনসরফ্লোর জন্য, ব্যবহারকারীকে সিদ্ধান্ত নিতে হবে ( কোড - noise_shape=Noneপাস করার পরে কী ঘটে তা আমি নিশ্চিত নই )।

কিভাবে এটি করা উচিত

(২) এবং (৩) তেমন কোনও অর্থবোধ করবেন না কারণ এটি নেটওয়ার্ককে স্পেসিয়াল পজিশনে অদম্যতা যোগ করতে পারে, যা সম্ভবত পছন্দসই নয়। সুতরাং (1) একমাত্র বৈকল্পিক যা বোধগম্য হয়। তবে আমি নিশ্চিত নই যে আপনি যদি ডিফল্ট বাস্তবায়ন ব্যবহার করেন তবে কী হয়।

dropout

— মার্টিন থোমা
সূত্র

আমি লাসাগন ব্যবহারকারী গ্রুপেও প্রশ্নটি জিজ্ঞাসা করেছি ।

— মার্টিন থোমা

আমি বন্ধু উল্লেখ করেছি যে (2) এবং (3) ভাল ধারণা নাও হতে পারে কারণ এটি নেটওয়ার্ককে স্থানিকভাবে তথ্য ছড়িয়ে দিতে বাধ্য করতে পারে।

— মার্টিন থোমা

আপনাকে উল্লেখ হিসাবে, মাস্ক ম্যাট্রিক্স নমুনা ও স্তর এই বৈশিষ্ট্যটি মানচিত্রে সক্রিয়করণব্যবস্থা সাথে গুণ করা হয় উত্পাদন করতে ছেড়ে দিয়েছিলেন পরিবর্তিত সক্রিয়করণব্যবস্থা যা তারপর পরবর্তী স্তর এ ফিল্টার convolved হয় । (3) $l$ $W^{(l+1)}$

আরও বিশদগুলির জন্য, আমি মনে করি এই পত্রিকায় বিভাগ 3 আপনাকে সহায়তা করতে পারে: সর্বাধিক-পুলিং এবং কনভোলিউশনাল ড্রপআউট । বিশেষত ৩.২।

যখন আপনি পরীক্ষা করেন আপনি নেটওয়ার্কের সমস্ত নোড ব্যবহার করেন তবে ফিল্টারটির ওজন ধরে রাখার সম্ভাবনাটি ধরে রেখে, যেমন কাগজে বর্ণিত হয়েছে।

দয়া করে আমার উত্তর পরিমার্জন করতে বা সংশোধন করতে দ্বিধা বোধ করবেন।

আশা করি এটি কমপক্ষে কিছুটা সহায়তা করবে।

— লিওনার্ড অকেয়া
সূত্র