সিএনএন-তে স্থানীয় প্রতিক্রিয়া স্বাভাবিকের গুরুত্ব

Question

আমি খুঁজে পেয়েছি যে ইমেজেনেট এবং অন্যান্য বৃহত সিএনএন স্থানীয় প্রতিক্রিয়া সাধারণকরণ স্তরগুলি ব্যবহার করে। যাইহোক, আমি তাদের সম্পর্কে এত তথ্য খুঁজে পাই না। এগুলি কতটা গুরুত্বপূর্ণ এবং কখন তাদের ব্যবহার করা উচিত?

Http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers থেকে :

"স্থানীয় প্রতিক্রিয়া স্বাভাবিককরণ স্তরটি স্থানীয় ইনপুট অঞ্চলগুলিকে স্বাভাবিক করে এক ধরণের" পার্শ্বীয় বাধা "সম্পাদন করে AC ACROSS_CHANNELS মোডে, স্থানীয় অঞ্চলগুলি কাছের চ্যানেলগুলিতে প্রসারিত হয় তবে এর স্থানিক পরিধি থাকে না (যেমন, তারা স্থানীয়_ আকারের আকার 1 x 1) । WITHIN_CHANNEL মোডে, স্থানীয় অঞ্চলগুলি স্থানিকভাবে প্রসারিত হয় তবে পৃথক চ্যানেলে থাকে (যেমন, তাদের আকৃতিটি 1 x স্থানীয়_ আকার x স্থানীয়_ আকার) রয়েছে Each প্রতিটি ইনপুট মান (1+ (α / n) ∑ix2i) by দ্বারা বিভক্ত হয়, যেখানে এন প্রতিটি স্থানীয় অঞ্চলের আকার এবং সমষ্টিটি সেই মানকে কেন্দ্র করে অঞ্চলটির উপরে নেওয়া হয় (যেখানে প্রয়োজন সেখানে শূন্য প্যাডিং যোগ করা হয়) "।

সম্পাদনা:

দেখে মনে হচ্ছে এই ধরণের স্তরগুলির একটি সর্বনিম্ন প্রভাব রয়েছে এবং এটি আর ব্যবহার করা হয় না। মূলত, তাদের ভূমিকা অন্যান্য নিয়মিতকরণ কৌশলগুলি (যেমন ড্রপআউট এবং ব্যাচের সাধারণকরণ), আরও ভাল আরম্ভ এবং প্রশিক্ষণ পদ্ধতি দ্বারা কার্যকর হয়েছে play আরও তথ্যের জন্য নীচে আমার উত্তর দেখুন।

Answer 1

দেখে মনে হচ্ছে এই ধরণের স্তরগুলির একটি সর্বনিম্ন প্রভাব রয়েছে এবং এটি আর ব্যবহার করা হয় না। মূলত, তাদের ভূমিকা অন্যান্য নিয়মিতকরণ কৌশলগুলি (যেমন ড্রপআউট এবং ব্যাচের সাধারণকরণ), আরও ভাল আরম্ভ এবং প্রশিক্ষণ পদ্ধতি দ্বারা কার্যকর হয়েছে play কনভনেটস স্ট্যানফোর্ড কোর্স সিএস 321n এর জন্য বক্তৃতার নোটগুলিতে এটিই লেখা হয়েছে :

সাধারণকরণ স্তর

জৈবিক মস্তিষ্কে পরিলক্ষিত বাধা স্কিমগুলি বাস্তবায়নের অভিপ্রায় নিয়ে, কখনও কখনও কনভনেট আর্কিটেকচারগুলিতে ব্যবহারের জন্য অনেক ধরণের সাধারণকরণ স্তরগুলির প্রস্তাব দেওয়া হয়েছিল। যাইহোক, এই স্তরগুলি সম্প্রতি পক্ষপাতদুষ্ট হয়ে পড়েছে কারণ বাস্তবে তাদের অবদানটি ন্যূনতম, যদি কোনওভাবেই দেখানো হয়েছে। বিভিন্ন ধরণের সাধারণকরণের জন্য, অ্যালেক্স ক্রিজেভস্কির চুদা-কনভেট লাইব্রেরি এপিআইতে আলোচনাটি দেখুন।

Answer 2

প্রকৃতপক্ষে, কোনও জায়গায় কোনও ভাল ব্যাখ্যা বলে মনে হচ্ছে না। নিবন্ধগুলি যেখান থেকে আসে সেগুলি পড়াই ভাল:

মূল অ্যালেক্সনেট নিবন্ধটি 3.3 বিভাগে কিছুটা ব্যাখ্যা করেছে:

• ক্রিজেভস্কি, সুটস্কিভার এবং হিন্টন, ডিপ কনভলিউশনাল নিউরাল নেটওয়ার্কস, এনআইপিএস ২০১২ সহ ইমেজনেট শ্রেণিবিন্যাস। পিডিএফ

এটি করার সঠিক উপায়টি প্রস্তাব করা হয়েছিল (তবে এখানে অতিরিক্ত তথ্য নয়):

• কেভিন জারেট, কোরে কাভুক্কুওগলু, মার্ক'আরেলিও রঞ্জাতো এবং ইয়ান লেকুন, অবজেক্ট রিকোনিশনেশনের জন্য সেরা মাল্টি-স্টেজ আর্কিটেকচার কোনটি ?, আইসিসিভি ২০০৯। পিডিএফ

এটি গণনামূলক নিউরোসায়েন্স দ্বারা অনুপ্রাণিত হয়েছিল:

• এস। লিউ এবং ই সিমোনসেলি। বিভাজক নরমালাইজেশন ব্যবহার করে অ-লাইন চিত্রের উপস্থাপনা। সিভিপিআর 2008. পিডিএফ । এই কাগজটি গণিতের আরও গভীরে যায় এবং এটি seanv507 এর উত্তর অনুসারে।
• [২৪] এন পিন্টো, ডিডি কক্স, এবং জেজে ডিকার্লো lo বাস্তব-জগৎ vi- সুল অবজেক্টের স্বীকৃতি কেন শক্ত? পিএলওএস কম্পিউটেশনাল বায়োলজি, ২০০৮।

Answer 3

আমি আমার জ্ঞাত বলে দাবি না করলেও এখানে আমার প্রস্তাবিত উত্তর। রৈখিক মডেলটিতে গ্রেডিয়েন্ট বংশোদ্ভূত করার সময়, ত্রুটি পৃষ্ঠটি দ্বারা নির্ধারিত সহ চতুর্ভুজযুক্ত যেখানে আপনার ইনপুট। এখন গ্রেডিয়েন্ট বংশোদ্ভূত বা গ্রেডিয়েন্ট বংশোদ্ভূত জন্য আদর্শ ত্রুটির পৃষ্ঠের সমস্ত দিক একই বক্রতা রয়েছে (অন্যথায় পদক্ষেপের আকার কিছু দিকের দিক থেকে খুব ছোট এবং অন্যদের মধ্যে খুব বড়)। শূন্যকে বোঝাতে ইনপুটগুলিকে উদ্ধার করে আপনার ইনপুটগুলিকে সাধারণকরণ করুন, ভেরিয়েন্স 1 সাহায্য করে এবং দ্রুত: এখন প্রতিটি মাত্রার বরাবর সমস্ত দিক একই বক্রতা থাকে, যার ফলে বাঁকগুলি অন্য দিকগুলিতে সীমাবদ্ধ করে।$XX_T$$X$

সর্বোত্তম সমাধানটি প্রতিটি নিউরনের ইনপুটগুলিকে গোলকীকরণ / সাদা করা হবে, তবে এটি কম্পিউটেশনালভাবে খুব ব্যয়বহুল। এলসিএনকে প্রতিবেশী পিক্সেল (বা চ্যানেল) এর মধ্যে উচ্চতর ডিগ্রি সম্পর্ক সম্পর্কিত অনুমানের উপর ভিত্তি করে আনুমানিক হোয়াইটিং হিসাবে ন্যায়সঙ্গত করা যায় তাই আমি সুবিধাটি দাবি করব যে ত্রুটি পৃষ্ঠটি এসজিডির জন্য আরও সৌম্য ... একটি একক শিক্ষার হার ভালভাবে কাজ করে ইনপুট মাত্রা জুড়ে (প্রতিটি নিউরনের)

Comments

ব্যাচ স্বাভাবিক: ত্বরক অভ্যন্তরীণ Covariate শিফট সার্জি Ioffe, খ্রিস্টান Szegedy কমিয়ে ডীপ নেটওয়ার্ক প্রশিক্ষণ, arxiv.org/abs/1502.03167 একটি (সাবধানে engineered) না স্নায়ুর ইনপুট rescaling এবং বড় লার্নিং হার ব্যবহার করতে পারবেন হচ্ছে সারগর্ভ speedups অর্জন করে।

— seanv507

আপনার উত্তর পাঠ্যের নীচে সম্পাদনা বোতামটি ব্যবহার করে আপনি এই উত্তরটি আপনার উত্তরে সম্পাদনা করতে পারেন।

— মনিকা

Answer 4

এই উত্তরের সাথে আমি অন্যান্য লেখকদের অবদানের সংক্ষিপ্ত বিবরণ দিতে চাই এবং তাদের জন্য যারা এলআরএন (বা বৈপরীত্যবাদী নরমালাইজেশন) কৌশলটির একক স্থান ব্যাখ্যা সরবরাহ করতে চাই, যারা কেবল এটি কী এবং কীভাবে এটি কাজ করে সে সম্পর্কে সচেতন হতে চান।

অনুপ্রেরণা: ' এই ধরণের প্রতিক্রিয়া নরমালাইজেশন (এলআরএন) বিভিন্ন ধরণের কার্নেল ব্যবহার করে গণ্য করা নিউরন আউটপুটগুলির মধ্যে বড় ক্রিয়াকলাপের জন্য প্রতিযোগিতা তৈরি করে রিয়েল নিউরনে পাওয়া ধরণের দ্বারা অনুপ্রাণিত পার্শ্বীয় বাধা একধরণের প্রয়োগ করে। ' অ্যালেক্সনেট 3.3

অন্য কথায়, এলআরএন আশেপাশের জন্য সমানভাবে বড় প্রতিক্রিয়া হ্রাস করতে দেয় এবং পাড়ার মধ্যে বৃহত্তর অ্যাক্টিভেশনকে আরও স্পষ্ট করে তোলে অর্থাৎ অ্যাক্টিভেশন মানচিত্রে উচ্চতর বিপরীতে তৈরি করে। prateekvjoshi.com বলেছে যে এটি RELU হিসাবে আনবাউন্ডেড অ্যাক্টিভেশন ফাংশনগুলির সাথে বিশেষভাবে কার্যকর।

আসল সূত্র: প্রতিটি নির্দিষ্ট অবস্থানের জন্য (x, y) এবং কার্নেল i যা একক 'পিক্সেল' আউটপুটের সাথে মিলে আমরা একটি 'ফিল্টার' প্রয়োগ করি যা একই পজিশনে প্রয়োগ হওয়া অন্যান্য এন কার্নেলের আউটপুট সম্পর্কিত তথ্য অন্তর্ভুক্ত করে । অ্যাক্টিভেশন ফাংশনের আগে এই নিয়মিতকরণ প্রয়োগ করা হয়। এই নিয়ন্ত্রণটি প্রকৃতপক্ষে কার্নেলের ক্রমের উপর নির্ভর করে যা আমার সেরা জ্ঞানের জন্য, কেবল একটি দুর্ভাগ্যজনক কাকতালীয় ঘটনা।

অনুশীলনে ( ক্যাফে দেখুন ) 2 টি পদ্ধতির ব্যবহার করা যেতে পারে:

1. WITHIN_CHANNEL। একটি একক চ্যানেলের স্থানীয় প্রতিবেশকে সাধারণ করুন (একক কনভোলজিনাল ফিল্টারের সাথে সম্পর্কিত)। অন্য কথায়, নিকটস্থ পিক্সেলের জন্য একই নিউরনের আউটপুট মান অনুযায়ী একক পিক্সেলের একক চ্যানেলের প্রতিক্রিয়া ভাগ করুন।
2. ACROSS_CHANNELS। একক পিক্সেলের জন্য একই পিক্সেলের জন্য সমস্ত চ্যানেলের মান অনুযায়ী প্রতিটি চ্যানেলের মানকে স্বাভাবিক করুন

লেএননেট -5 এর মতো প্রাথমিক কনভেন্টগুলির দিনগুলিতে আসল ব্যবহার এলআরএন বেশি ব্যবহৃত হত। ক্যাফেতে গুগলনেটের (ইনসেপশন) বর্তমান প্রয়োগটি প্রায়শই পুলিং কৌশলগুলির সাথে সম্পর্কিত LRN ব্যবহার করে তবে এটি কেবল এটি করার জন্যই করা হয়েছে বলে মনে হয়। আসল সূচনা / গুগলনেট ( এখানে ) বা নীচের কোনও সংস্করণই কোনওভাবেই এলআরএন উল্লেখ করে না। এছাড়াও, ইনসেপশন (মূল লেখকদের দল দ্বারা সরবরাহিত এবং আপডেট করা) টেনসরফ্লো বাস্তবায়ন নেটওয়ার্ক উপলব্ধ থাকলেও এলআরএন ব্যবহার করে না।

উপসংহার হাইপার-প্যারামিটার মান যুক্তিসঙ্গত হওয়া পর্যন্ত পুলিং স্তরের সাথে এলআরএন প্রয়োগ করা নেটওয়ার্কের কার্যকারিতা ক্ষতিগ্রস্থ করবে না would তবুও, আমি নিউরাল-নেটওয়ার্কে এলআরএন / কনট্রাস্ট নরমালাইজেশন প্রয়োগের সাম্প্রতিক কোনও ন্যায়সঙ্গত সম্পর্কে অবগত নই।

Comments

আমি আরও যোগ করব যে, এলআরএন হ'ল আওরলিয়ানের গেরোন-এর পৃষ্ঠা ৩4৪ অনুসারে, এক ধরণের "প্রতিযোগিতামূলক স্বাভাবিককরণ" । স্কাইকিট-লার্ন এবং টেনসরফ্লো সহ মেশিন লার্নিং: বুদ্ধিমান সিস্টেম তৈরির ধারণা, সরঞ্জাম এবং কৌশল। "ও'রেলি মিডিয়া, ইনক", 2017. । (আমি উল্লেখ করেছি কারণ হিন্টন তার পাঠ্যক্রমের কোর্সে অবজেক্টের স্বীকৃতির জন্য কনভোলিউশনাল জাল ভাষণে কেবল এটিকে "প্রতিযোগিতামূলক নরমালাইজেশন" বলেছেন)

— ওরেন মিলম্যান

Answer 5

আনবাউন্ডেড অ্যাক্টিভেশন (যেমন সংশোধিত রৈখিক নিউরন) সহ নিউরনগুলি ব্যবহার করার সময় স্থানীয় প্রতিক্রিয়া নরমালাইজেশন (এলআরএন) ধরণের স্তরটি কার্যকর হতে দেখা যায়, কারণ এটি একটি বৃহত নিউরনের প্রতিক্রিয়া সহ উচ্চ-ফ্রিকোয়েন্সি বৈশিষ্ট্যগুলি সনাক্ত করার অনুমতি দেয়, যখন একই ধরণের প্রতিক্রিয়াগুলিকে স্যাঁতসেঁতে দেয় amp স্থানীয় পাড়ায় এটি এক ধরণের নিয়ামক যা নিউরনের নিকটবর্তী গ্রুপগুলির মধ্যে বড় ক্রিয়াকলাপের জন্য "প্রতিযোগিতায়" উত্সাহ দেয়।

src- https://code.google.com/p/cuda-convnet/wiki/LayerParams#Local_response_normalization_layer_(same_map)

Answer 6

স্থানীয় প্রতিক্রিয়া নরমালাইজেশন (এলআরএন) প্রতিটি চ্যানেলের জন্য পিক্সেল অনুযায়ী সম্পন্ন করা হয় :$i$

$$x_i = \frac{x_i}{ (k + ( \alpha \sum_j x_j^2 ))^\beta }$$

যেখানে ধ্রুবক। মনে রাখবেন আপনি ও L2 নিয়মমাফিককরণ আপনি সেট , , । κ = 0 α = 1 β = $k, \alpha, \beta \in \mathbb{R}$$\kappa = 0$$\alpha=1$$\beta=\frac{1}{2}$

তবে, "ব্যাচ নরমালাইজেশন" ( কাগজ দেখুন ) নামে একটি আরও নতুন কৌশল রয়েছে যা একইরকম কাজ করে এবং আর এলআরএন ব্যবহার না করার পরামর্শ দেয়। ব্যাচের সাধারণকরণ পিক্সেল-ভিত্তিকও কাজ করে:

$$y = \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} \gamma + \beta$$

যেখানে মানে, হল বৈকল্পিকতা, are ওয়ার্পসিলন একটি ছোট ধ্রুবক, th ম্যাথবিবি এমন শিখনযোগ্য পরামিতি যা নেটকে স্বাভাবিককরণ সরাতে দেয়।σ 2 ε > 0 γ , বিটা ∈ $\mu$$\sigma^2$$\varepsilon > 0$$\gamma, \beta \in \mathbb{R}$

সুতরাং উত্তরটি হল: স্থানীয় প্রতিক্রিয়া সাধারণকরণ আর কোনও গুরুত্বপূর্ণ নয়, কারণ আমাদের এমন কিছু আছে যা আরও ভাল কাজ করে এবং প্রতিস্থাপন এলআরএন: ব্যাচ নরমালাইজেশন।

আরো দেখুন

• লাসাগনে ডকুমেন্টেশন

Comments

আমি মনে করি এটি সঠিক নয়। LRN কার্নেলের আউটপুটটিতে প্রয়োগ করা হয়, ইনপুট নয় (যদিও আলেকসনেট ইনপুট নরমালাইজেশন ব্যবহার করে তবে এটি পৃথক)।

— শীতল শাহ