কনভলিউশনাল নিউরাল নেটওয়ার্কগুলিতে কীভাবে ফিল্টার এবং অ্যাক্টিভেশন মানচিত্র সংযুক্ত করা হয়?

Question

প্রদত্ত স্তরের অ্যাক্টিভেশন মানচিত্রগুলি কীভাবে সেই স্তরের ফিল্টারগুলির সাথে সংযুক্ত থাকে? আমি কীভাবে ফিল্টার এবং অ্যাক্টিভেশন মানচিত্রের মধ্যে একটি সমঝোতা অপারেশন করব তা জিজ্ঞাসা করছি না, আমি এই দুটি সংযোগের প্রকারের বিষয়ে জিজ্ঞাসা করছি।

উদাহরণস্বরূপ, বলুন আপনি সম্পূর্ণ সংযোগ করতে চেয়েছিলেন। আপনার প্রদত্ত স্তরে ফিল্টার সংখ্যা এবং অ্যাক্টিভেশন মানচিত্রের সংখ্যা রয়েছে। আপনি পরবর্তী স্তরটিতে অ্যাক্টিভেশন মানচিত্রের f * n সংখ্যা পাবেন এবং প্রতিটি নতুন স্তরের সাথে অ্যাক্টিভেশন মানচিত্রের সংখ্যা বাড়বে। এইভাবেই আমি ধরে নিয়েছি এটি সম্পন্ন হয়েছে।

অথবা আপনি বলতে পারবেন যে প্রতিটি ফিল্টার কেবল একটি অ্যাক্টিভেশন মানচিত্রে সংযুক্ত। এই ক্ষেত্রে, ফিল্টারগুলির সংখ্যা অ্যাক্টিভেশন মানচিত্রের সংখ্যার সমান হবে এবং প্রতিটি স্তরের একই সংখ্যক ফিল্টার এবং অ্যাক্টিভেশন মানচিত্র থাকবে। এটি আমার নেটওয়ার্কের বর্তমান আর্কিটেকচার এবং এটি ভাল শিখতে পারে বলে মনে হচ্ছে।

আমার বিভ্রান্তির প্রধান উত্সটি আমি অনলাইনে দেখছি এমন বন্দীদের ডায়াগ্রামগুলি দেখছি। এর মধ্যে কয়েকটিতে ফিল্টার এবং অ্যাক্টিভেশন মানচিত্রের মধ্যে "পূর্ণ সংযোগ" রয়েছে - যেমন প্রথম স্তরটিতে আপনার কাছে 4 টি অ্যাক্টিভেশন মানচিত্র রয়েছে এবং সম্ভবত 2 টি ফিল্টার রয়েছে। প্রতিটি মানচিত্র প্রতিটি ফিল্টারের সাথে মিলিত হয়, যার ফলে পরবর্তী স্তরে 8 টি মানচিত্র থাকে। দুর্দান্ত লাগছে।

তবে এখানে আমাদের কাছে এমন একটি আর্কিটেকচার রয়েছে যা আমার কাছে বোধগম্য নয় - আপনি কীভাবে প্রথম স্তরের 6 টি মানচিত্র থেকে দ্বিতীয়টিতে 16 এ চলে যাবেন? আমি 6 টির মধ্যে 16 টি মানচিত্র পাওয়ার উপায়গুলি সম্পর্কে ভাবতে পারি, তবে তারা কোনও তাৎপর্য বোধ করবে না।

Answer 1

আপনার পোস্ট করা দ্বিতীয় কনভোলিউশনাল নিউরাল নেটওয়ার্ক (সিএনএন) আর্কিটেকচারটি এই কাগজ থেকে এসেছে । কাগজে লেখকরা স্তর এস 2 এবং সি 3 এর মধ্যে কী ঘটে তার একটি বিবরণ দেন। তাদের ব্যাখ্যা যদিও খুব পরিষ্কার নয়। আমি বলব যে এই সিএনএন আর্কিটেকচারটি 'স্ট্যান্ডার্ড' নয়, এবং এটি সিএনএনগুলির জন্য প্রথম উদাহরণ হিসাবে বেশ বিভ্রান্তিকর হতে পারে।

প্রথমত, কীভাবে বৈশিষ্ট্য মানচিত্র তৈরি করা হয় এবং ফিল্টারগুলির সাথে তাদের সম্পর্ক কী তা নিয়ে একটি ব্যাখ্যা প্রয়োজন ation একটি বৈশিষ্ট্য মানচিত্র একটি বৈশিষ্ট্য মানচিত্র সহ একটি ফিল্টার সংশ্লেষ ফলাফল। উদাহরণস্বরূপ স্তরগুলি INPUT এবং C1 নেওয়া যাক। সর্বাধিক সাধারণ ক্ষেত্রে, স্তর সি 1-তে মাপের 6 টি বৈশিষ্ট্যযুক্ত মানচিত্র পেতে আপনার 5 মাপের 6 টি ফিল্টার প্রয়োজন ( আকারের একটি চিত্রের একটি 'বৈধ' কনভলশনের ফলাফল সাথে আকারের ফিল্টার , ধরে ধরে , আকার has$28 \times 28$$5 \times 5$$M \times M$$N \times N$$M \geq N$$(M-N+1) \times (M-N+1)$। আপনি তবে আরও 6 বা তারও কম ফিল্টার দ্বারা উত্পাদিত বৈশিষ্ট্য মানচিত্রের সমন্বয় করে 6 বৈশিষ্ট্য মানচিত্র তৈরি করতে পারেন (উদাহরণস্বরূপ সেগুলি সংক্ষেপ করে)। কাগজে, বাছাইয়ের কোনও কিছুই স্তর C1 এর জন্য নিহিত নয়।

স্তর S2 এবং স্তর সি 3 এর মধ্যে কী ঘটে তা নিম্নলিখিত। লেয়ার সি 2-তে লেয়ার এস 2 এর 6 টি বৈশিষ্ট্য মানচিত্র থেকে উত্পাদিত 16 স্তর বৈশিষ্ট্য মানচিত্র রয়েছে। সি 3 লেয়ারে ফিল্টারগুলির সংখ্যা প্রকৃতপক্ষে সুস্পষ্ট নয়। প্রকৃতপক্ষে, কেবলমাত্র আর্কিটেকচার ডায়াগ্রাম থেকে, এই 16 টি বৈশিষ্ট্যযুক্ত মানচিত্রের ফিল্টারগুলির সঠিক সংখ্যাটি কী তা বিচার করা যায় না। কাগজের লেখকরা নিম্নলিখিত সারণীটি সরবরাহ করেন (পৃষ্ঠা 8):

সারণীর সাহায্যে তারা নিম্নলিখিত ব্যাখ্যা সরবরাহ করে (পৃষ্ঠার 7 নীচে):

লেয়ার সি 3 হল একটি বৈশিষ্ট্যযুক্ত স্তর যা 16 টি বৈশিষ্ট্যযুক্ত মানচিত্র রয়েছে। প্রতিটি বৈশিষ্ট্য মানচিত্রের প্রতিটি ইউনিট এস 2 এর বৈশিষ্ট্য মানচিত্রের উপসেটে অভিন্ন স্থানে বেশ কয়েকটি পাড়ার সাথে সংযুক্ত থাকে ।$5 \times 5$

সারণীতে লেখকরা দেখান যে স্তর সি 3 এর প্রতিটি বৈশিষ্ট্য মানচিত্র 3 বা ততোধিক বৈশিষ্ট্য মানচিত্র (পৃষ্ঠা 8) সংযুক্ত করে উত্পাদিত হয়:

প্রথম ছয়টি সি 3 বৈশিষ্ট্য মানচিত্র এস 2-তে তিনটি বৈশিষ্ট্য মানচিত্রের প্রতিটি সামঞ্জস্যপূর্ণ সাবসেটগুলি থেকে ইনপুট নেয়। পরবর্তী ছয়টি চারটি সংক্ষিপ্ত সাবসেট থেকে ইনপুট নেয়। পরবর্তী তিনটি চারটির কিছু বিচ্ছিন্ন উপগ্রহ থেকে ইনপুট নেয়। অবশেষে, সর্বশেষটি সমস্ত এস 2 বৈশিষ্ট্য মানচিত্র থেকে ইনপুট নেয়।

এখন স্তর C3-তে কতগুলি ফিল্টার রয়েছে? দুর্ভাগ্যক্রমে, তারা এটি ব্যাখ্যা করে না। দুটি সহজ সম্ভাবনা হ'ল:

1. সি 3 বৈশিষ্ট্য মানচিত্রে প্রতি এস 2 বৈশিষ্ট্য মানচিত্রের জন্য একটি ফিল্টার রয়েছে, অর্থাত্ একই সি 3 বৈশিষ্ট্য মানচিত্রের সাথে সম্পর্কিত এস 2 বৈশিষ্ট্য মানচিত্রের মধ্যে কোনও ফিল্টার ভাগ করা নেই।
2. প্রতি সি 3 বৈশিষ্ট্য মানচিত্রের জন্য একটি ফিল্টার রয়েছে, যা স্তর এস 2 এর বৈশিষ্ট্যযুক্ত মানচিত্রের (3 বা ততোধিক) জুড়ে ভাগ করা হয় combined

উভয় ক্ষেত্রেই, 'সংহত' করার অর্থ এই যে S2 বৈশিষ্ট্য মানচিত্র গোষ্ঠী অনুসারে সমঝোতার ফলাফলগুলি, উত্পাদিত C3 বৈশিষ্ট্য মানচিত্রের সাথে একত্রিত হওয়া প্রয়োজন। এটি কীভাবে করা হয় তা লেখক নির্দিষ্ট করে না, তবে সংযোজন একটি সাধারণ পছন্দ (উদাহরণস্বরূপ দেখুন এই পৃষ্ঠার মাঝখানে অ্যানিমেটেড জিআইএফ) ।

লেখকরা যদিও কিছু অতিরিক্ত তথ্য দেন যা আমাদের আর্কিটেকচারটি বোঝাতে সহায়তা করতে পারে। তারা বলে যে 'স্তর সি 3 এর 1,516 প্রশিক্ষণযোগ্য প্যারামিটার রয়েছে' (পৃষ্ঠা 8)। আমরা উপরের কেস (1) এবং (2) এর মধ্যে সিদ্ধান্ত নিতে এই তথ্যটি ব্যবহার করতে পারি।

ক্ষেত্রে (1) আমাদের ফিল্টার রয়েছে। ফিল্টার আকার । এক্ষেত্রে প্রশিক্ষণযোগ্য পরামিতিগুলির সংখ্যা প্রশিক্ষণযোগ্য পরামিতি হবে। যদি আমরা সি 3 বৈশিষ্ট্য ম্যাপের জন্য একটি পক্ষপাতিত্ব ইউনিট ধরে নিই, আমরা পরামিতি পাই , যা লেখকরা তাই বলে। সম্পূর্ণতার জন্য, ক্ষেত্রে (2) আমাদের পরামিতি থাকতে হবে, এটি ক্ষেত্রে নয়।$(6 \times 3) + (9 \times 4) + (1 \times 6) = 60$$(14-10+1) \times (14-10+1) = 5 \times 5$$5 \times 5 \times 60 = 1,500$$1,500 + 16 = 1,516$$(5 \times 5 \times 16) + 16 = 416$

অতএব, যদি আমরা উপরে টেবিল I এর দিকে আবার লক্ষ্য করি তবে প্রতিটি এস 2 বৈশিষ্ট্য মানচিত্রের সাথে 10 টি স্বতন্ত্র সি 3 ফিল্টার যুক্ত রয়েছে (এইভাবে মোট 60 স্বতন্ত্র ফিল্টার)।

লেখকরা এই ধরণের পছন্দ ব্যাখ্যা করেছেন:

বিভিন্ন বৈশিষ্ট্যের মানচিত্র [লেয়ার সি 3 এ] বিভিন্ন (আশায় পরিপূরক) বৈশিষ্ট্যগুলি বের করতে বাধ্য করা হয় কারণ তারা বিভিন্ন সেট ইনপুট পান।

আমি আশা করি এটি পরিস্থিতি পরিষ্কার করে দিয়েছে।

Answer 2

আপনি প্রকৃতই সঠিক যে @ এর আগে মানটি ফিল্টারগুলির পরিমাণ নির্দেশ করে এবং বৈশিষ্ট্য মানচিত্রের পরিমাণ নয় (যদিও প্রথম সমঝোতার স্তরগুলির জন্য এই মানগুলির সাথে মিল রয়েছে)।

আপনার শেষ প্রশ্নটি সম্পর্কে: হ্যাঁ লেয়ার এল এর প্রতিটি বৈশিষ্ট্য মানচিত্র স্তর এল + 1 এ প্রতিটি ফিল্টারের সাথে সংযুক্ত থাকা অর্থপূর্ণ নয়। এর একমাত্র কারণ হ'ল এটি নেটওয়ার্কের অভিব্যক্তি শক্তিটিকে ব্যাপকভাবে বৃদ্ধি করে, কারণ এতে বৈশিষ্ট্য মানচিত্রকে একত্রিত করার আরও উপায় (পাথ) রয়েছে যা এইভাবে ইনপুট চিত্রটিতে যা আছে তা আরও ভালভাবে পার্থক্য করতে দেয়।

শেষ পর্যন্ত আমি জানি না যে আপনি নিজের স্নায়বিক নেটওয়ার্ক দক্ষতাগুলি নিজে প্রয়োগ করে অনুশীলন করছেন কিনা, তবে আপনি যদি কেবল একটি নির্দিষ্ট কার্যে কনভ্যুশনাল নেটওয়ার্কগুলি প্রয়োগ করতে চান তবে ইতিমধ্যে থিয়ানো, ব্রেনস্টর্ম, ক্যাফের মতো বেশ কয়েকটি দুর্দান্ত নিউরাল নেটওয়ার্ক লাইব্রেরি রয়েছে are

Comments

আমি মনে করি আমি যা করব তা হ'ল তাদের তুলনা করার দুটি উপায়। সম্পূর্ণরূপে সংযুক্ত সংস্করণের সাথে এটি প্রশিক্ষণ এবং এর শ্রেণিবিন্যাস দ্রুত গণনা করবে। তবে নির্ভুলতা আরও গুরুত্বপূর্ণ। সম্পূর্ণরূপে সংযুক্ত সংস্করণে, প্রতিটি ফিল্টার আরও সাধারণ টাস্কের পরিবর্তে অনেক বেশি নির্দিষ্ট কার্যে স্থানীয়করণ করা হয়। সম্পূর্ণরূপে সংযুক্ত সংস্করণে, কেবলমাত্র একক প্রকারের বৈশিষ্ট্যের পরিবর্তে পূর্ববর্তী সমস্ত ফিল্টারগুলির জন্য সর্বোত্তম কিসের ভিত্তিতে একটি ফিল্টার আপডেট করা হয়। আমি সি # ব্যবহার করে 100% স্ক্র্যাচ থেকে আমার নেটওয়ার্ক তৈরি করে চলেছি। অবশ্যই জিনিসগুলি করার সহজ উপায় নয় ... তবে এটি আমাকে গভীরতার বিষয়ে শিখিয়েছে

— Frobot

এটি একটি শব্দ পরিকল্পনা মত শোনাচ্ছে। শুভকামনা!

— সোজয়েরড