ফিল্টার ম্যাট্রিক্সের উপাদানগুলি কীভাবে শুরু করবেন?

Question

আমি পাইথন কোড যা লাইব্রেরিতে নির্ভর করে না (যেমন কনভনেট বা টেনসরফ্লো) এর উপর নির্ভর করে না, এবং আমি কার্নেল ম্যাট্রিক্সের জন্য মানগুলি কীভাবে বেছে নেব সে সম্পর্কে সাহিত্যে আটকে যাচ্ছি, যখন আমি পাইথন কোডটি আরও ভাল করে বোঝার চেষ্টা করছি when একটি ইমেজ উপর একটি সমাবর্তন সঞ্চালন।

আমি সিএনএন এর স্তরগুলি দেখিয়ে নীচের চিত্রের বৈশিষ্ট্য মানচিত্রের মধ্যে ধাপে প্রয়োগের বিশদটি বোঝার চেষ্টা করছি ।

এই চিত্র অনুযায়ী:

কার্নেল ম্যাট্রিক্স কার্নেল চিত্রটির উপরে "পদক্ষেপ" নেয় এবং একটি বৈশিষ্ট্য মানচিত্র তৈরি করে, যেখানে প্রতিটি পিক্সেল হ'ল কার্নেলের প্রতিটি ওজন (বা ফিল্টার ম্যাট্রিক্স) এবং ইনপুট চিত্রের সংশ্লিষ্ট পিক্সেল মানের মধ্যে সমস্ত উপাদান অনুসারে পণ্যগুলির যোগফল।

আমার প্রশ্ন: আমরা কীভাবে কার্নেলের (বা ফিল্টার) ম্যাট্রিক্সের ওজন সূচনা করব?

উপরোক্ত বিক্ষোভে, তারা কেবল 1s এবং 0 এর, তবে আমি ধরে নিই যে এটি চিত্রের খাতিরে সহজ হয়েছে।

এই ওজনগুলি কিছু প্রাক-প্রসেসিং পদক্ষেপে প্রশিক্ষিত হয়? বা ব্যবহারকারীর দ্বারা স্পষ্টভাবে চয়ন?

Answer 1

একটি সাধারণত একটি এলোমেলো বিতরণ থেকে একটি নেটওয়ার্ক সূচনা করে, সাধারণত শূন্য এবং তার ভিন্নতা চয়ন করার ক্ষেত্রে কিছু যত্ন নেওয়া হয়। অপ্টিমাইজেশনের কৌশলগুলির অগ্রগতি (এসজিডি + অন্যান্য পদ্ধতির মধ্যে গতিবেগ) এবং অ্যাক্টিভেশন অরৈখিকতা (রিএলইউস এবং রিলু মত সক্রিয়করণগুলি গ্রেডিয়েন্ট সিগন্যালের আরও ভাল অগ্রগতি এমনকি গভীর নেটওয়ার্কগুলিতেও অনুমতি দেয়), এই শিল্পটি সত্যিকার অর্থে শিল্পের অবস্থা প্রশিক্ষণ দিতে সক্ষম এলোমেলোভাবে সূচনা থেকে নিউরাল নেটওয়ার্ক।

মূল বৈশিষ্ট্যগুলি নিম্নলিখিত:

• এলোমেলো কেন? তাদের সকলকে 0 থেকে শুরু করে না কেন? এখানে একটি গুরুত্বপূর্ণ ধারণা বলা হয় প্রতিসম ব্রেকিং । সমস্ত নিউরনের যদি ওজন একই থাকে তবে তারা একই আউটপুট তৈরি করবে এবং আমরা বিভিন্ন বৈশিষ্ট্য শিখব না। আমরা বিভিন্ন বৈশিষ্ট্যগুলি শিখব না কারণ ব্যাকপ্রসারণের ধাপের সময়, সমস্ত ওজন আপডেটগুলি ঠিক একই রকম হবে। সুতরাং এলোমেলো বিতরণ দিয়ে শুরু করা আমাদের নিউরনকে আলাদা হতে দেয় (খুব উচ্চ সম্ভাবনার সাথে) এবং আমাদের একটি সমৃদ্ধ এবং বৈচিত্র্যযুক্ত বৈশিষ্ট্যক্রমক্রমটি শিখতে দেয়।

• শূন্য মানে কেন? মেশিন লার্নিংয়ের একটি সাধারণ অনুশীলন হ'ল শূন্য-কেন্দ্রে বা ইনপুট ডেটাগুলিকে স্বাভাবিক করা, যেমন কাঁচা ইনপুট বৈশিষ্ট্যগুলি (চিত্রের ডেটার জন্য এইগুলি পিক্সেল হবে) গড় থেকে শূন্য।

  আমরা আমাদের ডেটা শূন্যকেন্দ্রিক করেছি এবং আমরা এলোমেলোভাবে আমাদের নেটওয়ার্কের ওজনগুলি শুরু করব (ম্যাট্রিকগুলি যেমন আপনি তাদের উল্লেখ করেছেন)। আমাদের কোন ধরণের বিতরণ নির্বাচন করা উচিত? আমরা শূন্য-কেন্দ্রিক হওয়ায় আমাদের নেটওয়ার্কে ইনপুট ডেটা বিতরণের অর্থ শূন্য। বলুন আমরা আমাদের পক্ষপাতের শর্তগুলি শূন্য হতে শুরু করি। যখন আমরা আমাদের নেটওয়ার্কটির প্রশিক্ষণ শুরু করি, তখন আমাদের কাছে সমস্ত নিউমরন এলোমেলোভাবে অপরটির চেয়ে বেশি পছন্দ করার কোনও কারণ নেই। একটি অনুশীলনটি এলোমেলোভাবে আমাদের ওজনকে এমনভাবে শুরু করতে হয় যেখানে তাদের সকলের প্রত্যাশায় শূন্য অ্যাক্টিভেশন আউটপুট থাকে। একসাথে এলোমেলো সূচনা হওয়ার কারণে প্রতিযোগিতা ভাঙার সময় অন্য কোনও নিউরনের তুলনায় কোনও নিউরনকে "অ্যাক্টিভেট" (ইতিবাচক আউটপুট মান আছে) হিসাবে পছন্দ করা হয় না। এটি সম্পন্ন করার একটি সহজ উপায় হ'ল গড় শূন্য বিতরণ চয়ন করা।

• আমরা কীভাবে বৈকল্পিকগুলি বেছে নেব? শূন্যের গড় হলেও আপনি বৈচিত্রটি খুব বড় হতে চান না। গভীর জালের ওজনে চূড়ান্ত মানগুলির ফলে অ্যাক্টিভেশন আউটপুটগুলি ঘটতে পারে যা তাত্পর্যপূর্ণভাবে বৃদ্ধি পায় এবং এই সমস্যাটি নেটওয়ার্কের গভীরতার সাথে মিশ্রিত করতে পারে। এটি আমাদের নেটওয়ার্কের প্রশিক্ষণকে ধ্বংস করতে পারে। আপনি এটিকে খুব ছোট হিসাবেও বেছে নিতে চান না কারণ এটি শিখনকে ধীর করতে পারে যেহেতু আমরা খুব ছোট গ্রেডিয়েন্ট মানগুলি গণনা করছি। সুতরাং এখানে একটি ভারসাম্য রয়েছে, বিশেষত যখন এটি গভীর নেটওয়ার্কগুলির বিষয়ে আসে যখন আমরা আমাদের অগ্রবর্তী বা পশ্চাৎ প্রচারগুলি তাত্পর্যপূর্ণভাবে বৃদ্ধি বা গভীরতা হ্রাস করতে চাই না।

  দুটি অত্যন্ত জনপ্রিয় ওজন সূচনা প্রকল্প রয়েছে: গ্লোরোট ইউনিফর্ম ( গভীর ফিডফর্ডার নিউরাল নেটওয়ার্কগুলির প্রশিক্ষণের অসুবিধা বোঝা ) এবং তিনি নরমাল ইনিশিয়ালাইজার ( রেকটিফায়ারে ডেলিভিং ডিপ: ইমেজনেট শ্রেণিবিন্যাসে মানব-স্তরের পারফরম্যান্স ছাড়িয়ে ))

  নীচের মূল নীতিটি মাথায় রেখে গভীর নেটওয়ার্ক প্রশিক্ষণের উদ্দেশ্য নিয়ে এগুলি উভয়ই নির্মিত হয়েছে (উদ্ধৃতিটি ডেলিভিং ডিপার থেকে রেকটিফায়ার নিবন্ধে):

  "একটি সঠিক সূচনা পদ্ধতির তাত্ক্ষণিকভাবে ইনপুট সংকেতগুলির প্রস্থতা হ্রাস বা বৃদ্ধি করা এড়ানো উচিত" "

  মোটামুটিভাবে বলতে গেলে, এই দুটি সূচনা প্রকল্প প্রতিটি স্তরের বৈচিত্রটি সূচনা করে যাতে প্রতিটি নিউরনের আউটপুট বিতরণ একই হয়। রেকটিফায়ারসে ডেলিভিং ডিপের ২.২ সেকশন একটি গভীর-বিশ্লেষণ প্রদান করে।

একটি চূড়ান্ত নোট: কখনও কখনও আপনি দেখতে পাবেন যে সমস্ত স্তরগুলিতে প্রমিত বিচ্যুতির সাথে লোকেরা গসিয়ান ব্যবহার করেন বা সমস্ত স্তরগুলিতে কিছু অন্যান্য "ছোট" মানক বিচ্যুতি equal অন্য সময় আপনি হাতের সাহায্যে রূপগুলি লোকেদের দেখতে পাবেন, মূলত একটি সর্বোত্তম পারফর্মিং কনফিগারেশন সন্ধানের জন্য ক্রস বৈধকরণ সম্পাদন করা।

Comments

তবে উপরের জিআইএফ-এর হলুদ ফিল্টারটির "এক্স" আকৃতি (1 এর দ্বারা তৈরি) কী হবে? আমি বুঝতে পেরেছি এটিই আমি ছবির যে কোনও জায়গায় "এক্স" আকারগুলি সনাক্ত করতে ব্যবহার করতে চাই, তবে কীভাবে আমি জানি যে "এক্স "টি আমার পছন্দ মতো আকার? আমি ছাপে রয়েছি যে ফিল্টার আকারটি স্বয়ংক্রিয়ভাবে শিখে গেছে, তবে কীভাবে তা আমি জানি না। এটাও কি ওপরের প্রশ্ন ছিল?

— ফিলিপ আলমেডা

Answer 2

স্বল্প খ্যাতির কারণে আমি মন্তব্য করতে পারি না এবং তাই ফিলিপ আলমেডার প্রশ্নের জবাবে আমি এটি লিখছি। ইন্ডি এআই এর নিখুঁত উত্তরের পরে, যুক্ত করার মতো খুব বেশি কিছুই নেই। আপনি যদি নির্দিষ্ট আকার (এক্স এর মতো) সনাক্ত করতে চান তবে আপনি একটি নির্দিষ্ট ফিল্টারটি পূর্বনির্ধারিত করতে পারেন, যেমন প্রান্ত সনাক্তকরণের ক্ষেত্রে। তবে এটি গভীর শিক্ষার সৌন্দর্য, এখানে অনেকগুলি স্তর রয়েছে, অনেকগুলি ফিল্টার রয়েছে এবং এতগুলি পুনরাবৃত্তি রয়েছে যেগুলি ফিল্টারগুলি তার নিজেরাই প্রয়োজনীয় প্রতিটি বস্তুর আকার শেখে। সুতরাং তাত্ত্বিকভাবে, যদি কোনও এক্স সনাক্ত করতে হয় তবে ফিল্টারগুলির মধ্যে একটি এক্স সনাক্ত করতে শিখবে (হলুদ ফিল্টার হিসাবে)