কনভোলিউশনাল নিউরাল নেটওয়ার্ক: আউটপুটে কেন্দ্রীয় নিউরনগুলি বেশি প্রতিনিধিত্ব করে না?


30

[এই প্রশ্নটি স্ট্যাক ওভারফ্লোতেও উত্থাপিত হয়েছিল ]

সংক্ষেপে প্রশ্ন

আমি কনভ্যুশনাল নিউরাল নেটওয়ার্কগুলি অধ্যয়ন করছি এবং আমি বিশ্বাস করি যে এই নেটওয়ার্কগুলি প্রতিটি ইনপুট নিউরন (পিক্সেল / পরামিতি) সমতুল্য আচরণ করে না। কল্পনা করুন আমাদের কাছে একটি গভীর নেটওয়ার্ক রয়েছে (অনেকগুলি স্তর) যা কিছু ইনপুট চিত্রে কনভোলশন প্রয়োগ করে। চিত্রের "মাঝের" নিউরনের অনেক গভীর স্তরীয় নিউরনের অনেকগুলি অনন্য পথ রয়েছে যার অর্থ মাঝারি নিউরনের একটি ছোট পরিবর্তনের ফলে আউটপুটটিতে শক্তিশালী প্রভাব পড়ে। যাইহোক, ইমেজ প্রান্ত এ নিউরোন কেবলমাত্র উপায় (সঠিক বাস্তবায়ন উপর নির্ভর করে, আদেশ বা, ) পথ যা তাদের তথ্য গ্রাফ দিয়ে প্রবাহিত। দেখে মনে হচ্ছে এগুলি "নিম্ন-উপস্থাপিত"।111

এজ সম্পর্কে আমি উদ্বিগ্ন, কেননা প্রান্ত নিউরনের এই বৈষম্যটি নেটওয়ার্কের গভীরতা (স্তরগুলির সংখ্যা) দিয়ে তাত্পর্যপূর্ণভাবে স্কেল করে। এমনকি সর্বাধিক-পুলিং স্তর যোগ করা তাত্পর্যপূর্ণ বৃদ্ধি থামবে না, কেবলমাত্র একটি সম্পূর্ণ সংযোগ সমস্ত নিউরনকে সমান পদক্ষেপে নিয়ে আসে। আমি বিশ্বাস করি না যে আমার যুক্তি সঠিক, যদিও আমার প্রশ্নগুলি হ'ল:

  • আমি কি ঠিক বলছি যে গভীর প্রভাবযুক্ত নেটওয়ার্কগুলিতে এই প্রভাবটি ঘটে?
  • এ নিয়ে কি কোন তত্ত্ব আছে, সাহিত্যে কি এর উল্লেখ আছে?
  • এই প্রভাব কাটিয়ে উঠার কী উপায় আছে?

কারণ এটি নিশ্চিত নয় যে এটি পর্যাপ্ত তথ্য দেয় কিনা, তাই আমি সমস্যার বিবৃতিটি সম্পর্কে আরও কিছুটা ব্যাখ্যা করব এবং কেন আমি বিশ্বাস করি এটি উদ্বেগজনক।

আরও বিস্তারিত ব্যাখ্যা

কল্পনা করুন আমাদের কাছে একটি গভীর নিউরাল নেটওয়ার্ক রয়েছে যা একটি চিত্রকে ইনপুট হিসাবে নেয়। ধরে নিই আমরা চিত্রটির উপরে পিক্সেলের একটি কনভোলজিনাল ফিল্টার প্রয়োগ করি , যেখানে আমরা প্রতিবার পিক্সেল দ্বারা কনভলিউশন উইন্ডোটি স্থানান্তর করি । এর অর্থ হ'ল ইনপুটটির প্রতিটি নিউরন এটিকে সক্রিয়করণ প্রেরণ করে লেয়ার নিউরনে । এই নিউরোনগুলির প্রত্যেকটি তাদের সক্রিয়করণটি অন্য তে প্রেরণ করতে পারে যেমন আমাদের শীর্ষস্থানীয় নিউরনটি output আউটপুট নিউরনগুলিতে প্রতিনিধিত্ব করে এবং এই জাতীয় কিছু।4 16 × 16 = 265 2 265 265 264×64416×16=26522652652

এটি প্রান্তে থাকা নিউরনের ক্ষেত্রে সত্য নয়: এগুলি কেবলমাত্র কয়েকটি সংখ্যক কনভলিউশন উইন্ডোতে উপস্থাপিত হতে পারে, যার ফলে তাদের পরবর্তী স্তরটিতে কেবল নিউরন সক্রিয় করা হয় (ক্রম অনুসারে) । প্রান্তগুলি সাথে মিরর করার মতো কৌশল ব্যবহার করা এটিকে সহায়তা করবে না: দ্বিতীয় স্তর-নিউরনগুলি যেগুলি অনুমান করা হবে তা এখনও প্রান্তে রয়েছে, যার অর্থ দ্বিতীয় স্তরের-নিউরনগুলি নিম্নরূপে উপস্থাপিত হবে (এইভাবে এর গুরুত্বকে সীমাবদ্ধ করা হবে) আমাদের প্রান্ত নিউরন পাশাপাশি)। যেমন দেখা যায়, এই তাত্পর্যটি স্তরগুলির সংখ্যার সাথে তাত্পর্যপূর্ণভাবে স্কেল করে।1

আমি সমস্যাটি কল্পনা করার জন্য একটি চিত্র তৈরি করেছি, যা এখানে পাওয়া যাবে (আমাকে পোস্টে ছবিগুলি অন্তর্ভুক্ত করার অনুমতি নেই)। এই নেটওয়ার্কটির আকার টির একটি কনভোলশন উইন্ডো রয়েছে । নিউরনের পাশের সংখ্যাগুলি গভীরতম নিউরনের নিচে যাওয়ার সংখ্যা নির্দেশ করে। চিত্রটি পাস্কেলের ত্রিভুজটির স্মরণ করিয়ে দেয় ।3

https://www.dropbox.com/s/7rbwv7z14j4h0jr/deep_conv_problem_stackxchange.png?dl=0

কেন এটি একটি সমস্যা?

এই প্রভাবটি প্রথম দর্শনে সমস্যা বলে মনে হচ্ছে না: নীতিগতভাবে, ওজনগুলি স্বয়ংক্রিয়ভাবে এমনভাবে সামঞ্জস্য করা উচিত যাতে নেটওয়ার্কটি কাজ করে। তদুপরি, কোনও চিত্রের প্রান্তগুলি চিত্রের স্বীকৃতিতে তত গুরুত্বপূর্ণ নয়। প্রতিদিনের চিত্র সনাক্তকরণ পরীক্ষায় এই প্রভাবটি লক্ষণীয় নাও হতে পারে তবে এটি এখনও দুটি কারণে আমার উদ্বেগ প্রকাশ করে: ১. অন্যান্য অ্যাপ্লিকেশনগুলিতে সাধারণীকরণ এবং ২. খুব গভীর নেটওয়ার্কগুলির ক্ষেত্রে উদ্ভূত সমস্যাগুলি ।

1. অন্যান্য অ্যাপ্লিকেশন থাকতে পারে, যেমন বক্তৃতা বা শব্দ স্বীকৃতি, যেখানে এটি সত্য নয় যে মধ্য-মধ্যের নিউরনগুলি সবচেয়ে গুরুত্বপূর্ণ। সমঝোতার প্রয়োগটি প্রায়শই এই ক্ষেত্রে করা হয়, তবে আমি যে কোনও কাগজপত্র পেয়েছি যা আমি যে প্রভাবটির সাথে সম্পর্কিত সেগুলি উল্লেখ করে।

২. খুব গভীর নেটওয়ার্কগুলি সীমানা নিউরনের বৈষম্যের একটি তাত্পর্যপূর্ণ খারাপ প্রভাব লক্ষ্য করবে , যার অর্থ কেন্দ্রীয় নিউরনগুলি একাধিক আকারের মাত্রার দ্বারা উপস্থাপিত হতে পারে (কল্পনা করুন যে আমাদের স্তর রয়েছে যাতে উপরের উদাহরণটি 265 10 টি কেন্দ্রীয় নিউরনকে দেবে তাদের তথ্য প্রজেক্ট করতে পারেন)। স্তরগুলির সংখ্যা বাড়ার সাথে সাথে কেউ এমন একটি সীমাবদ্ধতায় আবদ্ধ হতে বাধ্য যেখানে ওজন সম্ভবত এই প্রভাবটির জন্য ক্ষতিপূরণ দিতে পারে না।1026510

এখন কল্পনা করুন আমরা সমস্ত নিউরনকে অল্প পরিমাণে আটকাই। প্রান্ত নিউরনের তুলনায় কেন্দ্রীয় নিউরনগুলি আধিপত্যের কয়েকটি আদেশ দ্বারা আউটপুটটিকে আরও দৃ strongly়তার সাথে পরিবর্তিত করবে। আমি বিশ্বাস করি যে সাধারণ অ্যাপ্লিকেশনগুলির জন্য, এবং খুব গভীর নেটওয়ার্কগুলির জন্য, আমার সমস্যার চারপাশের উপায়গুলি সন্ধান করা উচিত?


8
আমি আপনার প্রশ্নের পুরোপুরি উত্তর দিতে পারি না, তবে আমি এই কাগজটি পেয়েছি: cs.utoronto.ca/~kriz/conv-cifar10-aug2010.pdf যা আপনার সমস্যার সমাধান করে। তারা বিভিন্ন সমাধান সম্পর্কে কথা বলে, 1) জিরো সহ ইনপুটগুলির প্রান্তগুলিকে প্যাডিং করা, 2) এলোমেলোভাবে বিশ্বব্যাপী সংযুক্ত উপাদানগুলিতে যুক্ত করা, বা 3) প্রান্তগুলি স্থির করে এবং এগিয়ে প্রচার করা যাতে কোনও প্রান্তের তথ্য হারাতে না পারে। আমি সম্প্রতি একই সমস্যা সম্পর্কে কৌতূহল ছিলাম এবং আপনার প্রশ্নটি পেয়েছি। আমি এখনও সেই কাগজের বিবরণ দিয়ে ঘোরাঘুরি করছি। আশা করি এটা সাহায্য করবে.
nfmcclure

ধন্যবাদ, আমি ঠিক এটিই খুঁজছিলাম! চিত্তাকর্ষক যে এটি 2 টি স্তর হিসাবে কম লক্ষণীয়। এই টিএল এর জন্য; পুরো কাগজটি ডিআর করছে: 1) (শূন্য প্যাডিং) এবং 2) (র্যান্ডম গ্লোবাল সংযোগ) এর সংমিশ্রণটি ব্যবহার করা সবচেয়ে ভাল প্রতিকার হিসাবে পাওয়া গেছে।
কোইন

সম্পর্কিত: অঞ্চল 51.stackexchange.com/proposals/93481/…
কেনারব

আমি কৌতূহলী, একটি নন ওভারল্যাপিং অফসেট ব্যবহার করা কি যথেষ্ট নয়? সুতরাং আপনার উদাহরণে আপনার 64৪xches৪৪ টি প্যাচ রয়েছে এবং আপনি কনভলিউশন প্রয়োগ করার সময় প্রতিবার আপনার 64৪ পিক্সেলের ইনপুটটি সরান। (আপনার 'শিফট' আমার 'অফসেট')। কোনটি, আমার ধারণা, শূন্য প্যাডিংয়ের মতোই?
ভাড়া

1
কিছুক্ষণ সাড়া না দেওয়ার জন্য দুঃখিত, আমি আর এনএন-তে কাজ করছি না। যাইহোক, আমি মনে করি আমি প্রশ্নগুলির উত্তর দিতে পারলাম, যদিও আমি বুঝতে পেরেছি যে আমার বৃহত্তর লক্ষ্যটি হচ্ছে কী চলছে (যা আমি এখনও করি না) তা আরও ভালভাবে বুঝতে হবে। 1) এই প্রভাবটি সত্যই ঘটবে বলে মনে হচ্ছে। 2) উপরের লিঙ্কযুক্ত কাগজ এটি বর্ণনা করে এবং 3) এটি পরাস্ত করার উপায়গুলিও অনুসন্ধান করে। ভাড়াতে: ননওভারল্যাপিং প্যাচগুলি (অফসেট = রূপান্তর আকার চয়ন করা) অবশ্যই আমার সমস্যাটি কাটিয়ে উঠতে হবে, তবে লোকেরা প্রায়শই ওভারল্যাপিং প্যাচগুলি আরও ভালভাবে কাজ করতে পায়। EngrStudent এর জন্য, দুঃখিত, আমি বুটস্ট্র্যাপ পুনঃনির্মাণের সাথে পরিচিত নই।
কোয়েন

উত্তর:


4

শ্রেণিবদ্ধ মডেলগুলিতে বিরল উপস্থাপনা প্রত্যাশিত। সম্ভবত, আপনি যা আবিষ্কার করছেন তা গভীর শিক্ষার মডেলগুলির শ্রেণিবদ্ধ কাঠামোর অভ্যন্তরীণ একটি সমস্যা। আপনি "বিচ্ছিন্ন উপস্থাপনা", বিশেষত স্মৃতিচারণ গবেষণায় বেশ কয়েকটি বৈজ্ঞানিক কাগজপত্র পাবেন।

আমি মনে করি ভিজ্যুয়াল কর্টেক্সে "রিসেপ্টর ক্ষেত্র" সম্পর্কে পড়ে আপনি উপকৃত হবেন। স্তন্যপায়ী মস্তিষ্কে কেবল অন ও অফ কোষই নেই, তবে আরএফ কোষগুলিও চালু এবং বন্ধ উভয় সময়ে আগুন জ্বালিয়ে দেয়। বিশেষত প্রাণীর মডেলগুলিতে দৃষ্টিভঙ্গির বর্তমান স্নায়ুবিজ্ঞান প্রতিবিম্বিত করতে মডেলটি আপডেট করে প্রান্ত / স্পারসিটি সমস্যাটি পরিলক্ষিত হতে পারে।


3

আপনি ঠিক বলেছেন যে এই সমস্যাটি যদি কেবল চিত্র পিক্সেলগুলিতে কাজ করে তবে সমস্যাটি অদৃশ্য হয়ে যাবে যদি আপনি চিত্রগুলি শূন্য-প্যাড করেন (সাধারণভাবে প্রস্তাবিত হিসাবে)। এটি নিশ্চিত করে যে কনভোলশনটি প্রতিটি পিক্সেলটিতে একই সংখ্যক বার ফিল্টার প্রয়োগ করবে।


1
আমি এখনও নিশ্চিত না। জিরো-প্যাডিং কেবলমাত্র "কেন্দ্র" পিক্সেলের আশেপাশে আরও আউটপুট-পিক্সেল তৈরি করবে যা প্যাডিং ছাড়াই পাওয়া যায়। "সেন্টার" পিক্সেলের মানগুলি হুবহু এক, কোনও জিরো-প্যাডিং ব্যবহার করে না কেন।
কোইন

1
n×nn1

এই পৃষ্ঠাটির অর্ধেক উপায়ে সমঝোতার দৃশ্যায়নটি
নেট
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.