সিএনএন, কার্নেলগুলি এবং স্কেল / রোটেশন বিভ্রান্তি সম্পর্কে

Question

আমার কাছে বেশ কয়েকটি প্রশ্ন রয়েছে যা আমাকে সিএনএন সম্পর্কে বিভ্রান্ত করছে।
1) সিএনএন ব্যবহার করে প্রাপ্ত বৈশিষ্ট্যগুলি কী স্কেল এবং আবর্তন আক্রমণকারী?
2) আমরা আমাদের ডেটা দিয়ে বোঝাতে কার্নেলগুলি ইতিমধ্যে সাহিত্যে সংজ্ঞায়িত করেছি? এই কার্নেলগুলি কি ধরণের? এটি প্রতিটি অ্যাপ্লিকেশন জন্য পৃথক?

Answer 1

1) সিএনএন ব্যবহার করে প্রাপ্ত বৈশিষ্ট্যগুলি কী স্কেল এবং ঘূর্ণন আক্রমণকারী?

সিএনএন-এ নিজের মধ্যে একটি বৈশিষ্ট্য স্কেল বা ঘূর্ণন আক্রমণকারী নয়। আরও তথ্যের জন্য, দেখুন: গভীর শিক্ষা। ইয়ান গুডফেলো এবং যোশুয়া বেনজিও এবং অ্যারন করভিলি। 2016: http://egrcc.github.io/docs/dl/ ডিপ্লিয়ারিংবুইক-convnets.pdf ; http : //www. ডিপ্লিয়ারিংবুক.org / contents / convnets.html :

রূপান্তর প্রাকৃতিকভাবে অন্য কিছু রূপান্তরগুলির সমতুল্য নয়, যেমন কোনও চিত্রের স্কেল পরিবর্তন বা ঘূর্ণন। এই ধরণের রূপান্তর পরিচালনার জন্য অন্যান্য প্রক্রিয়াগুলি প্রয়োজনীয়।

এটি হ'ল সর্বাধিক পুলিং স্তর যা এই জাতীয় আক্রমণকারীদের পরিচয় করিয়ে দেয়:

2) আমরা আমাদের ডেটা দিয়ে বোঝাতে কার্নেলগুলি ইতিমধ্যে সাহিত্যে সংজ্ঞায়িত করেছি? এই কার্নেলগুলি কি ধরণের? এটি প্রতিটি অ্যাপ্লিকেশন জন্য পৃথক?

কার্নেলগুলি এএনএন প্রশিক্ষণের পর্যায়ে শিখে নেওয়া হয়।

Comments

আমি শিল্পের বর্তমান অবস্থা পরিপ্রেক্ষিতে বিস্তারিত কথা বলতে পারে না, কিন্তু বিন্দু 1 বিষয়ে, আমি দেখেছি এই আকর্ষণীয়।

— জিওম্যাটট 22

@ ফ্র্যাঙ্ক ১) এর অর্থ, আমরা সিস্টেমের আবর্তনকে অবিচ্ছিন্ন করতে কোনও বিশেষ পদক্ষেপ নিই না? এবং স্কেল আক্রমণকারী সম্পর্কে কীভাবে, সর্বাধিক পুলিং থেকে স্কেল ইনভেন্টারেন্ট পাওয়া সম্ভব?

— আদনান ফারুক এ

2) কার্নেলগুলি বৈশিষ্ট্যগুলি। আমি তা পেলাম না। [এখানে] ( wildML.com/2015/11/… ) তারা উল্লেখ করেছে যে "উদাহরণস্বরূপ, চিত্র শ্রেণীবদ্ধে কোনও সিএনএন প্রথম স্তরটিতে কাঁচা পিক্সেল থেকে প্রান্তগুলি সনাক্ত করতে শিখতে পারে, তারপরে সাধারণ আকারগুলি সনাক্ত করতে প্রান্তগুলি ব্যবহার করতে পারে দ্বিতীয় স্তর এবং তারপরে উচ্চ স্তরের বৈশিষ্ট্য যেমন উচ্চ স্তরগুলিতে মুখের আকারগুলি প্রতিরোধ করতে এই আকারগুলি ব্যবহার করুন last শেষ স্তরটি তখন শ্রেণিবদ্ধ যা এই উচ্চ-স্তরের বৈশিষ্ট্যগুলি ব্যবহার করে ""

— আদনান ফারুক এ

আপনি যে পুলিংয়ের কথা বলছেন তা ক্রস-চ্যানেল পুলিং হিসাবে উল্লেখ করা হয় এবং "সর্বাধিক-পুলিং" সম্পর্কে কথা বলার সময় সাধারণত যে পুলিংয়ের কথা বলা হয় তা নয় , যা কেবলমাত্র স্থানিক মাত্রার উপর পুল (বিভিন্ন ইনপুট চ্যানেলের উপর দিয়ে নয়) )।

— সলটিয়াস

এটি কি এমন কোনও মডেলকে বোঝায় যাতে কোনও সর্বাধিক-পুল স্তর নেই (বর্তমানের বেশিরভাগ SOTA আর্কিটেকচার পুলিং ব্যবহার করে না) পুরোপুরি স্কেল নির্ভর?

— shubhamgoel27

Answer 2

আমার মনে হয় কয়েকটি বিষয় আপনাকে বিভ্রান্ত করছে, তাই প্রথমে প্রথমে জিনিস things

$x[n]$$h[n]$$x[n]$$h[n]$$y[n] = (x \star h)[n]$

$$y[n] = \sum_{m=-\infty}^{\infty}x[m] \ h[n-m]$$

উপরেরটি যদি এক-মাত্রিক সংকেতগুলির জন্য হয় তবে চিত্রগুলির জন্য একই কথা বলা যেতে পারে, যা কেবলমাত্র দ্বিমাত্রিক সংকেত। সেক্ষেত্রে সমীকরণটি হয়ে যায়:

$$I_{new}[r,c] = \sum_{u=-\infty}^{\infty}\sum_{v=-\infty}^{\infty} I_{old}[u,v] \ k[r-u, c-v]$$

চিত্রগতভাবে, এটি ঘটছে যা:

যে কোনও হারে, মনে রাখা জিনিসটি হ'ল কার্নেলটি আসলে একটি ডিপ নিউরাল নেটওয়ার্ক (ডিএনএন) প্রশিক্ষণের সময় শিখেছিল । একটি কার্নেল হ'ল যা আপনি নিজের ইনপুটটির সাথে মিলিত করেন। ডিএনএন কার্নেলটি শিখবে, যেমন এটি চিত্রের কিছু দিক (বা পূর্ববর্তী চিত্র) নিয়ে আসে, যা আপনার লক্ষ্য লক্ষ্য হ্রাস কমানোর জন্য ভাল হতে পারে।

এটি বোঝার জন্য এটি প্রথম গুরুত্বপূর্ণ বিষয়: ditionতিহ্যগতভাবে লোকেরা কার্নেলগুলি ডিজাইন করেছে , তবে ডিপ লার্নিংয়ে, আমরা নেটওয়ার্কটি সিদ্ধান্ত নিতে পারি যে সর্বোত্তম কার্নেলটি কী হবে। তবে একটি জিনিস যা আমরা নির্দিষ্ট করি তা হ'ল কার্নেলের মাত্রা। (একে হাইপারপ্রেমিটার বলা হয়, উদাহরণস্বরূপ, 5x5, বা 3x3 ইত্যাদি)।

Comments

সুন্দর ব্যাখ্যা। আপনি দয়া করে প্রশ্নের প্রথম অংশের উত্তর দিতে পারেন? সিএনএন সম্পর্কে স্কেল / রোটেশন ইনভারিয়েন্ট?

— আদনান ফারুক এ

@ আদনানফারুউকা আমি আজ রাতেই এটি করব ight

— তারিন জিয়াআই

Answer 3

জিওফ্রে হিন্টন (যিনি ক্যাপসুল নেট প্রস্তাব করেন) সহ অনেক লেখক সমস্যাটি সমাধান করার চেষ্টা করেছেন তবে গুণগতভাবে। আমরা এই সমস্যাটি পরিমাণগতভাবে সমাধান করার চেষ্টা করি। সমস্ত কনভ্যুশনাল কার্নেলগুলি সিএনএন-তে সমান্তরাল (অর্ডারের 8 ম [ডিহ 4] বা 90-ডিগ্রি বর্ধন ঘূর্ণন প্রতিসম, এবং আল) সমান্তরাল হওয়ার পরে, আমরা প্রতিটি কনভোলশন লুকানো স্তরের ইনপুট ভেক্টর এবং ফলস্বরূপ ভেক্টরের জন্য একটি প্ল্যাটফর্ম সরবরাহ করব hidden একই প্রতিসাম্য বৈশিষ্ট্যের সাথে সমকালীনভাবে (যেমন, ডিহ 4 বা 90-ইনক্রিমেন্ট রোটেশন সমান্তরিত, ইত্যাদি)। তদ্ব্যতীত, প্রথম সমতল স্তরে প্রতিটি ফিল্টারের জন্য (যেমন সম্পূর্ণ সংযুক্ত কিন্তু একই প্রতিসামগ্রী প্যাটার্নের সাথে ভাগ করে নেওয়ার ওজন) একই রকমের প্রতিসম বৈশিষ্ট্য থাকার পরে, প্রতিটি নোডের ফলাফল মান পরিমাণগতভাবে অভিন্ন হবে এবং সিএনএন আউটপুট ভেক্টরকে একই দিকে নিয়ে যাবে যেমন. আমি এটিকে রূপান্তর-অভিন্নত সিএনএন (বা টিআই-সিএনএন -১) বলেছি। অন্যান্য পদ্ধতি রয়েছে যা সিএনএন (টিআই-সিএনএন -২) এর মধ্যে প্রতিসাম্পূর্ণ ইনপুট বা ক্রিয়াকলাপ ব্যবহার করে ট্রান্সফর্মেশন-অভিন্নত সিএনএন তৈরি করতে পারে। টিআই-সিএনএন-এর উপর ভিত্তি করে, একটি গিয়ার্ড রোটেশন-অভিন্ন সিএনএন (জিআরআই-সিএনএন) একাধিক টিআই-সিএনএন দ্বারা নির্মিত হতে পারে একটি ছোট ধাপের কোণ দ্বারা আবর্তিত ইনপুট ভেক্টর দিয়ে। তদ্ব্যতীত, বিভিন্ন রুপান্তরিত ইনপুট ভেক্টরগুলির সাথে একাধিক জিআরআই-সিএনএন সমন্বিত করে একটি সমন্বিত পরিমাণগতভাবে অভিন্ন সিএনএনও তৈরি করা যেতে পারে।

1. "প্রতিসম এলিমেন্ট অপারেটরগুলির মাধ্যমে রূপান্তরিতভাবে আইডেন্টিকাল এবং ইনভেরিয়েন্ট কনভলিউশনাল নিউরাল নেটওয়ার্ক" https://arxiv.org/abs/1806.03636 (জুন 2018)

2. "ট্রান্সফরমেশনালি আইডেন্টিকাল অ্যান্ড ইনভারেন্টেট কনভলিউশনাল নিউরাল নেটওয়ার্কস সমন্বিত সমন্বিত অপারেশনস বা ইনপুট ভেক্টরগুলির মিশ্রণ" https://arxiv.org/abs/1807.11156 (জুলাই 2018)

3. "গিয়ার্ড রোটেশনাল আইডেন্টিকাল এবং ইনভেরিয়েন্ট কনভলিউশনাল নিউরাল নেটওয়ার্ক সিস্টেমস" https://arxiv.org/abs/1808.01280 (আগস্ট 2018)

Answer 4

আমি মনে করি সর্বাধিক পুলিং কেবল অনুবাদ এবং ঘূর্ণনের জন্য স্ট্রাইড আকারের চেয়ে ছোট আকারের জন্য অনুবাদমূলক এবং ঘূর্ণমান আক্রমণগুলি সংরক্ষণ করতে পারে। বৃহত্তর হলে কোনও চালচলন নেই

Comments

আপনি কিছুটা প্রসারিত করতে পারেন? আমরা এই সাইটে উত্তরগুলি এর চেয়ে কিছুটা বেশি বিশদ হতে উত্সাহিত করি (এই মুহুর্তে, এটি একটি মন্তব্যে আরও বেশি দেখাচ্ছে)। ধন্যবাদ!

— এন্টোইন