গ্লোবাল সর্বাধিক পুলিং স্তরটি কী এবং ম্যাক্সপুলিং স্তরের তুলনায় এর সুবিধা কী?

Question

কেউ কী বিশ্বব্যাপী সর্বাধিক পুলিং স্তরটি ব্যাখ্যা করতে পারেন এবং কেন এবং কখন আমরা এটি নিউরাল নেটওয়ার্ক প্রশিক্ষণের জন্য ব্যবহার করি। সাধারণ সর্বোচ্চ পুলিং স্তরের কি তাদের কোনও সুবিধা আছে?

Answer 1

গ্লোবাল সর্বাধিক পুলিং = পুলের আকারের সাথে সাধারণ সর্বাধিক পুলিং স্তরটি ইনপুট আকারের সমান (বিয়োগ ফিল্টার আকার + 1, সুনির্দিষ্ট হতে হবে)। আপনি এটি দেখতে পাচ্ছেন যে MaxPooling1Dএকটি pool_lengthআর্গুমেন্ট গ্রহণ GlobalMaxPooling1Dকরে , যদিও না।

উদাহরণস্বরূপ, সর্বাধিক পুলিং স্তরটির ইনপুট যদি , গ্লোবাল সর্বাধিক পুলিং আউটপুট , তবে পুলের আকারের সাথে সর্বাধিক পুলিং স্তর 3 আউটপুট সমান হয় (ধাপে ধাপ = 1)$0,1,2,2,5,1,2$$5$$2,2,5,5,5$

এটি কোডে দেখা যায় :

class GlobalMaxPooling1D(_GlobalPooling1D):
    """Global max pooling operation for temporal data.
    # Input shape
        3D tensor with shape: `(samples, steps, features)`.
    # Output shape
        2D tensor with shape: `(samples, features)`.
    """

    def call(self, x, mask=None):
        return K.max(x, axis=1)

প্রাকৃতিক ভাষা প্রক্রিয়াজাতকরণের মতো কিছু ডোমেনে গ্লোবাল সর্বাধিক পুলিং ব্যবহার করা সাধারণ। কম্পিউটার দৃষ্টিভঙ্গির মতো কিছু অন্যান্য ডোমেনেও এমন একটি সর্বাধিক পুলিং ব্যবহার করা সাধারণ যা বৈশ্বিক নয়।

Comments

এখানে বিশ্বব্যাপী গড় পুলিং (জিএপি) খুঁজছেন তবে আপনার সাধারণ, তবে খুব কার্যকর উদাহরণ থেকে, আমি মনে করি জিএপি কী করবে আমি অনুমান করতে পারি :)

— জোশ

এই খুব সংক্ষিপ্ত উত্তরের জন্য আপনাকে ধন্যবাদ। +1 টি। আপনি যে ছোট উদাহরণ দিয়েছেন তা হ'ল গ্লোবাল ম্যাক্স পুলিং কী করছে তা সত্যই আমাকে বুঝতে পেরেছিল।

— রায়রিং - মনিকা

Answer 2

এই কাগজে বর্ণিত হিসাবে গ্লোবাল গড় পুলিং (জিএপি) প্রস্তাবিত:

প্রচলিত কনভোলিউশনাল নিউরাল নেটওয়ার্কগুলি নেটওয়ার্কের নীচের স্তরগুলিতে সমাবর্তন সঞ্চালন করে। শ্রেণিবদ্ধকরণের জন্য, সর্বশেষ সংশোধন স্তরটির বৈশিষ্ট্য মানচিত্রগুলি ভেক্টরাইজ করা হয় এবং একটি সফটম্যাক্স লজিস্টিক রিগ্রেশন স্তর অনুসরণ করে সম্পূর্ণ সংযুক্ত স্তরগুলিতে খাওয়ানো হয়। এই কাঠামোটি গতানুগতিক কাঠামোগত .তিহ্যবাহী নেটওয়ার্ক শ্রেণিবদ্ধের সাথে কনভ্যুশনাল কাঠামোটি সেতু করে। এটি কনভোলশনাল স্তরগুলি বৈশিষ্ট্য নিষ্কাশনকারী হিসাবে বিবেচনা করে এবং ফলস্বরূপ বৈশিষ্ট্যটি একটি traditionalতিহ্যগত উপায়ে শ্রেণিবদ্ধ করা হয়।

যাইহোক, সম্পূর্ণ সংযুক্ত স্তরগুলি অত্যধিক মানানসই প্রবণতা, এইভাবে সামগ্রিক নেটওয়ার্কের সাধারণীকরণ ক্ষমতা বাধাগ্রস্ত করে। ড্রপআউটকে নিয়মিত হিসাবে হিন্টন এট দ্বারা প্রস্তাব করা হয় যা প্রশিক্ষণের সময় সম্পূর্ণ সংযুক্ত স্তরগুলিতে এ্যাকটিভেশনের অর্ধেকটি এলোমেলোভাবে সেট করে। এটি সাধারণকরণের দক্ষতা উন্নত করেছে এবং অত্যধিক মানসিক চাপ প্রতিরোধ করে।

এই কাগজটিতে, আমরা সিএনএন-এ traditionalতিহ্যবাহী সম্পূর্ণরূপে সংযুক্ত স্তরগুলি প্রতিস্থাপনের জন্য গ্লোবাল এভারেজ পুলিং নামে আরেকটি কৌশল প্রস্তাব করি। সর্বশেষ mlpconv স্তরটিতে শ্রেণিবিন্যাস কার্যের প্রতিটি সম্পর্কিত বিভাগের জন্য একটি বৈশিষ্ট্য মানচিত্র তৈরি করার ধারণাটি। বৈশিষ্ট্য মানচিত্রের উপরে পুরোপুরি সংযুক্ত স্তরগুলি যুক্ত করার পরিবর্তে আমরা প্রতিটি বৈশিষ্ট্য মানচিত্রের গড় গ্রহণ করি এবং ফলস্বরূপ ভেক্টরটি সরাসরি সফটম্যাক্স স্তরে খাওয়ানো হয়। সম্পূর্ণরূপে সংযুক্ত স্তরগুলির উপরে বিশ্বব্যাপী গড় পুলিংয়ের একটি সুবিধা হ'ল বৈশিষ্ট্য মানচিত্র এবং বিভাগগুলির মধ্যে চিঠিপত্র প্রয়োগ করে এটি কনভোলশন কাঠামোর আরও বেশি স্থানীয়। সুতরাং বৈশিষ্ট্য মানচিত্রগুলি সহজেই বিভাগগুলির আস্থা মানচিত্র হিসাবে ব্যাখ্যা করা যায়। আরেকটি সুবিধা হ'ল গ্লোবাল গড় পুলিংয়ে অনুকূলকরণের জন্য কোনও প্যারামিটার নেই এইভাবে এই স্তরটিতে ওভারফিটিং এড়ানো হয়। Futhermore, বৈশ্বিক গড় পুলিং স্থানিক তথ্যের সমষ্টি করে, সুতরাং এটি ইনপুটটির স্থানিক অনুবাদ করা আরও মজবুত। আমরা স্ট্রাকচারাল নিয়ামক হিসাবে গ্লোবাল গড় পুলিং দেখতে পাই যা স্পষ্টভাবে ধারণার (বিভাগসমূহ) আস্থা মানচিত্র হতে বৈশিষ্ট্য মানচিত্রকে কার্যকর করে। এমএলপকনভ স্তরগুলি দ্বারা এটি সম্ভব হয়েছে, কারণ তারা জিএলএমগুলির চেয়ে আত্মবিশ্বাসের মানচিত্রে আরও ভাল সান্নিধ্য তৈরি করে।

সম্পাদনা: @ ম্যাক্সলাউনবয়ের পরামর্শ অনুসারে, এখানে একই বিষয়ে আরও একটি কাগজ রয়েছে ।

Comments

অল সিএনএন মডেলগুলির আর একটি কাগজ arxiv.org/pdf/1412.6806v3.pdf

— ম্যাক্সিম

ধন্যবাদ @ ম্যাক্সলাউনবয়, আমি এটি যুক্ত করার জন্য উত্তরটি সম্পাদনা করব।

— তিশিলিদজী মুদাউ