কেরাস কনভলিউশন 2 ডি () দ্বারা ব্যবহৃত ডিফল্ট ফিল্টারগুলি কি / হয়?

Question

আমি নিউরাল নেটওয়ার্কগুলিতে বেশ নতুন, তবে আমি লিনিয়ার বীজগণিত এবং সমীকরণের গণিতটি বেশ শালীনভাবে বুঝতে পারি।

অঙ্কগুলি সনাক্ত করতে এমএনআইএসটি ডেটা সহ একটি কেরাস সমাবর্তন এনএন প্রশিক্ষণের জন্য নেটের বিভিন্ন স্থানে আমি যে কোড কোডটি পেয়েছি তা বোঝার চেষ্টা করছি। আমার প্রত্যাশাটি হ'ল আমি যখন কনভ্যুশনাল স্তরটি তৈরি করি তখন ইনপুটটিতে প্রয়োগ করার জন্য আমাকে একটি ফিল্টার বা ফিল্টারগুলির সেট নির্দিষ্ট করতে হবে। তবে আমি যে তিনটি নমুনা পেয়েছি সেগুলি এই জাতীয় একটি কনভ্যুশনাল স্তর তৈরি করে:

model.add(Convolution2D(nb_filter = 32, nb_row = 3, nb_col = 3,
                        border_mode='valid',
                        input_shape=input_shape))

এটি সিএনএন দ্বারা প্রক্রিয়া করা চিত্রগুলিতে মোট 32 3x3 ফিল্টার প্রয়োগ করছে বলে মনে হচ্ছে। কিন্তু সেই ফিল্টারগুলি কী? আমি তাদের গাণিতিকভাবে কীভাবে বর্ণনা করব? কেরাস ডকুমেন্টেশন কোন সাহায্য।

আগাম ধন্যবাদ,

Comments

এটি সিএনএন-এর সমঝোতার অংশটি বোঝার পরে আসে। আপনি এখানে পড়তে পারেন: cs231n.github.io/convolutional- নেট ওয়ার্কস

— খ্রিস্টান সাফকা

Answer 1

ডিফল্টরূপে, $W$ ফিল্টারগুলি glorot_uniformপদ্ধতিটি এলোমেলোভাবে শুরু করা হয় , যা ধনাত্মক এবং নেতিবাচক সীমারেখার সাথে অভিন্ন বিতরণ থেকে মানগুলি আঁকায়:

$$W \sim \mathcal{U}\left(\frac{6}{n_{in} + n_{out}}, \frac{-6}{n_{in} + n_{out}}\right),$$

যেখানে $n_{in}$ হ'ল এই ইউনিটটিতে ফিড দেয় এমন ইউনিটগুলির সংখ্যা এবং $n_{out}$ এই ফলকে যে ইউনিটগুলি খাওয়ানো হয় is

আপনি যখন ভবিষ্যদ্বাণী করতে নেটওয়ার্কটি ব্যবহার করছেন, এই ফিল্টারগুলি নেটওয়ার্কের প্রতিটি স্তরে প্রয়োগ করা হয়। এটি হ'ল প্রতিটি ইনপুট চিত্রের প্রতিটি ফিল্টারের জন্য একটি পৃথক কনভলিউশন সঞ্চালিত হয় এবং এই কনভলিউশনের ফলাফলগুলি কনভোলিউশনের পরবর্তী স্তরে (বা পুরোপুরি সংযুক্ত স্তর বা আপনার যা কিছু থাকতে পারে) খাওয়ানো হয়।

প্রশিক্ষণ চলাকালীন, ফিল্টারগুলির মানগুলি ক্ষতির ক্রিয়াকলাপের সাথে ব্যাকপ্রোগেশন সহ অনুকূলিত হয়। অঙ্কগুলি সনাক্তকরণের মতো শ্রেণিবদ্ধকরণের জন্য সাধারণত ক্রস এনট্রপি ক্ষতি ব্যবহৃত হয়। এখানে প্রথম স্তর (শীর্ষে) এবং ফিল্টারগুলি একটি কনভ্যুশনাল নেটওয়ার্কের দ্বিতীয় স্তর (নীচে) তে শিখেছি এমন কিছু ফিল্টারগুলির দৃশ্যায়ন রয়েছে:

আপনি দেখতে পাচ্ছেন, প্রথম স্তর ফিল্টারগুলি মূলত সমস্ত সাধারণ প্রান্ত সনাক্তকারী হিসাবে কাজ করে, যখন দ্বিতীয় স্তর ফিল্টারগুলি আরও জটিল। আপনি যখন কোনও নেটওয়ার্কের গভীরে যান, ফিল্টারগুলি আরও জটিল আকারগুলি সনাক্ত করতে সক্ষম হয়। যদিও এটি চিত্রিত করা কিছুটা জটিল হয়ে ওঠে, কারণ এই ফিল্টারগুলি এমন চিত্রগুলিতে কাজ করে যা ইতিমধ্যে বহুবার কনভলজ হয়েছে এবং সম্ভবত সম্ভবত প্রাকৃতিক প্রাকৃতিক চিত্রের মতো দেখাচ্ছে না।

Comments

glorot_uniformসাধারণ বিতরণ ব্যবহার করে না। আমার মনে হয় আপনি বর্ণনা glorot_normal। আমি মনে করি না যে উত্তরের পক্ষে গুরুত্ব রয়েছে - মূল পয়েন্টগুলি এলোমেলো সূচনা হয় যার পরে প্রশিক্ষণের প্রভাব হয়। প্রশিক্ষিত ফিল্টারগুলি কীভাবে প্রান্ত / কোণার ফিল্টারগুলির মতো দেখতে পারা যায় (সম্ভবত প্রথম স্তর ফিল্টারগুলির প্রশিক্ষণের আগে / পরে ক্লাসিক চিত্রগুলির একটিতে)।

— নিল স্লেটার

টিম, গণিত সরবরাহ করার জন্য ধন্যবাদ। @ নীল স্লেটার - আপনার অন্তর্দৃষ্টি যে ফিল্টারগুলি, ব্যাকপ্রোপ্যাগেশন প্রশিক্ষণের পরে, প্রান্ত সনাক্তকরণ ইত্যাদির মতো দেখতে পারে, বেশ সহায়ক ছিল। আমার আরও খ্যাতি থাকলে আমি আপনার উভয় অবদানকে +1 করতাম।

— ক্রিসফল 18

@ নীলস্ল্যাটার আপনার মন্তব্যের জন্য ধন্যবাদ - আপনি ঠিক বলেছেন, আমি বিভ্রান্ত হয়ে পড়েছিলাম glorot_normalএবং glorot_uniformএবং এর প্রতিফলনের উত্তর আমি আপডেট করেছি। আপনার পরামর্শ অনুসারে ফিল্টারগুলি কীভাবে শেষ হয় সে সম্পর্কে আমি কিছুটা অতিরিক্ত তথ্যও যুক্ত করেছি।

— টিমলিথার্ট

Answer 2

$A$$F_k$$B_k(i,j)$

$$B_k(i,j) = (F_k * A) (i,j) = \sum_{l=0,1,2}\sum_{m=0,1,2}F_k(l,m)A(i-l,j-m)$$

ট্র্যানড মডেল আপনার ব্যয় কার্যকারিতা অনুযায়ী কার্নেলগুলি প্রশিক্ষণ দেবে এবং শেষ পর্যন্ত এই কার্নেলগুলি আপনার মডেলের ফিল্টার হবে।

Comments

আমি এই গণিতটি বুঝতে পেরেছি তবে আমি নিশ্চিত যে এই থ্রেডের অনেক পাঠক এই চিত্রটি সহায়ক বলে মনে করবেন। সূতরাং ধন্যবাদ!

— ক্রিসফল 18

imghost.in/images/2018/03/06/XvatD.jpg হয়ত ছবি খ-তে কর্ড (0,0) সহ থাকতে হবে?

— vinnitu

@ ভিনিতু হ্যাঁ, সত্যিই। আসলে আমারও B কে Bk (i, j), (i = 0,1,2, j = 0,1,2) এ পরিবর্তন করতে হবে।

— ভাগ্যবান 6Q