অযৌক্তিকতার বাইরে নিউরাল নেটওয়ার্কগুলিতে সংশ্লেষের গাণিতিক কারণগুলি রয়েছে কি?

কনভ্যুশনাল নিউরাল নেটওয়ার্কগুলিতে (সিএনএন) প্রতিটি পদক্ষেপে ওজনের ম্যাট্রিক্স কনভলশনটি এগিয়ে যাওয়ার আগে কার্নেল ম্যাট্রিক্স পেতে তার সারি এবং কলামগুলি উল্টে যায়। এটি হুগো লোরোচেলের একটি সিরিজের ভিডিওতে এখানে ব্যাখ্যা করা হয়েছে :

লুকানো মানচিত্রের গণনা করা কার্নেল ম্যাট্রিক্স [...] ব্যবহার করে পূর্ববর্তী স্তর থেকে একটি চ্যানেলের সাথে একটি পৃথক সমঝোতা করার সাথে মিলে যায়, এবং সেই কার্নেলটি গোপন ওজন ম্যাট্রিক্স থেকে গণনা করা হয় $W_{ij}$ , যেখানে আমরা সারিগুলি এবং কলাম.

আমরা যদি অন্য কোন এনএন এর মতো নিয়মিত ম্যাট্রিক্সের গুণনের সাথে একটি কনভলশনের হ্রাস পদক্ষেপগুলি তুলনা করি, তবে সাফল্য একটি স্পষ্ট ব্যাখ্যা হবে । তবে এটি সবচেয়ে উপযুক্ত তুলনা নাও হতে পারে ...

ডিজিটাল ইমেজিং প্রক্রিয়াকরণে একটি চিত্রের একটি ফিল্টারকে বোঝানোর জন্য প্রয়োগ করা ( এটি ব্যবহারিক স্বীকৃতির জন্য একটি দুর্দান্ত ইউটিউব ভিডিও ) সম্পর্কিত বলে মনে হয়:

সমঝোতাটি সহকারী হওয়ার সময় (ক্রস-) পারস্পরিক সম্পর্ক নয় The
চিত্রের ফ্রিকোয়েন্সি ডোমেনে ফিল্টার প্রয়োগ করার সম্ভাবনা গুণ হিসাবে, কারণ সময় ডোমেনে কনভোলশনটি ফ্রিকোয়েন্সি ডোমেনে ( কনভোলিউশন উপপাদ্য ) গুনের সমান ।

এই বিশেষ প্রযুক্তিগত পরিবেশে ডিএসপি পারস্পরিক সম্পর্কের সংজ্ঞা দেওয়া হয়েছে:

F \circ I (x, y) = \sum_{j = - N}^{N} \sum_{i = - N}^{N} F (i, j) I (x + i, y + j)

$F\circ I(x,y)=\sum_{j=-N}^{N}\sum_{i=-N}^N\, F(i,j)\,I(x+i, y+j)$

যা মূলত একটি হাদামারড পণ্যের সমস্ত কক্ষের যোগফল:

F \circ I (x, y) = [\begin{matrix} F [- N, - N] I [x - N, y - N] & \dots & F [- N, 0] I [x - N, y - N] & \dots & F [- N, N] I [x - N, y + N] \\ ⋮ & ⋱ & ⋮ & ⋱ & ⋮ \\ F [0, - N] I [x, y - N] & \dots & F [0, 0] I [x, y] & \dots & F [0, N] I [x, y + N] \\ ⋮ & ⋱ & ⋮ & ⋱ & ⋮ \\ F [N, - N] I [x + N, y - N] & \dots & F [N, 0] I [x + N, y] & \dots & F [N, N] I [x + N, y + N] \end{matrix}]

$\small F\circ I(x,y)=\Tiny\begin{bmatrix}F[-N,-N]\,I[x-N,y-N]&\cdots&F[-N,0]\,I[x-N,y-N]&\cdots& F[-N,N]\,I[x-N,y+N]\\ \vdots&\ddots&\vdots&\ddots&\vdots\\ F[0,-N]\,I[x,y-N]&\cdots&F[0,0]\,I[x,y]&\cdots& F[0,N]\,I[x,y+N]\\ \vdots&\ddots&\vdots&\ddots&\vdots\\ F[N,-N]\,I[x+N,y-N]&\cdots&F[N,0]\,I[x+N,y]&\cdots& F[N,N]\,I[x+N,y+N]\\ \end{bmatrix}$

যেখানে হল একটি ফিল্টার ফাংশন (ম্যাট্রিক্স হিসাবে প্রকাশিত) এবং অবস্থানের একটি চিত্রের পিক্সেল মান : $F(i,j)$ $I(x,y)$ $(x,y)$

ক্রস-কোরিলেশন উদ্দেশ্য মূল্যায়ন কিভাবে অনুরূপ একটি পরীক্ষা চিত্রে একটি প্রোব ইমেজ হয়। ক্রস-পারস্পরিক সম্পর্কের মানচিত্রের গণনা সমঝোতার উপপাদ্যের উপর নির্ভর করে।

অন্যদিকে, সমঝোতা হিসাবে সংজ্ঞায়িত করা হয়:

F * I (x, y) = \sum_{j = - N}^{N} \sum_{i = - N}^{N} F (i, j) I (x - i, y - j)

$F* I(x,y)=\sum_{j=-N}^{N}\sum_{i=-N}^N\, F(i,j)\,I(x-i, y-j)$

যা যতক্ষণ না ফিল্টারটি প্রতিসম হয়, ততক্ষণ ফিল্টারটির সারি এবং কলামগুলির সাথে একটি সম্পর্কিত সম্পর্ক রয়েছে:

F * I (x, y) = [\begin{matrix} F [N, N] I [x - N, y - N] & \dots & F [N, 0] I [x - N, y - N] & \dots & F [N, - N] I [x - N, y + N] \\ ⋮ & ⋱ & ⋮ & ⋱ & ⋮ \\ F [0, N] I [x, y - N] & \dots & F [0, 0] I [x, y] & \dots & F [0, - N] I [x, y + N] \\ ⋮ & ⋱ & ⋮ & ⋱ & ⋮ \\ F [- N, - N] I [x + N, y - N] & \dots & F [- N, 0] I [x + N, y] & \dots & F [- N, - N] I [x + N, y + N] \end{matrix}]

$\small F* I(x,y)=\Tiny\begin{bmatrix}F[N,N]\,I[x-N,y-N]&\cdots&F[N,0]\,I[x-N,y-N]&\cdots& F[N,-N]\,I[x-N,y+N]\\ \vdots&\ddots&\vdots&\ddots&\vdots\\ F[0,N]\,I[x,y-N]&\cdots&F[0,0]\,I[x,y]&\cdots& F[0,-N]\,I[x,y+N]\\ \vdots&\ddots&\vdots&\ddots&\vdots\\ F[-N,-N]\,I[x+N,y-N]&\cdots&F[-N,0]\,I[x+N,y]&\cdots& F[-N,-N]\,I[x+N,y+N]\\ \end{bmatrix}$

ডিএসপিতে রূপান্তর বোঝাতে ইমেজটিতে ফিল্টার প্রয়োগ করা (উদাহরণস্বরূপ মসৃণকরণ, তীক্ষ্ণ করা)। উদাহরণস্বরূপ, একটি সঙ্গে জোসেফ ফুরিয়ার মুখ convolving পর গসিয়ান সংবর্তন ফিল্টার : তার মুখে প্রান্ত fuzzier আছেন: $\small\begin{bmatrix} 1&4&7&4&1\\ 4&16&26&16&4\\ 7&26&41&26&7\\ 4&16&26&16&4\\ 1&4&7&4&1\end{bmatrix}$

গণনামূলকভাবে, উভয় অপারেশন হ'ল একটি ফ্রোবিনিয়াস অভ্যন্তরীণ পণ্য, যা ম্যাট্রিক্সের গুণটির চিহ্ন হিসাবে গণনা করে ।

প্রশ্ন (মন্তব্য এবং প্রথম উত্তর পরে সংশোধন):

সিএনএন-তে কনভোলশনের ব্যবহার কি এফএফটির সাথে যুক্ত?

আমি এখন পর্যন্ত যা জড়ো করেছি তার থেকে উত্তর নেই। কনভলিউশনের জিপিইউ বাস্তবায়নের গতি বাড়ানোর জন্য এফএফটি ব্যবহার করা হয়েছে । তবে এফএফটি সিএনএন-তে সাধারণত কাঠামো বা অ্যাক্টিভেশন ফাংশনের অংশ হয় না, সক্রিয়করণের প্রাক পদক্ষেপগুলিতে কনভোলিউশন ব্যবহার করা সত্ত্বেও।

সিএনএন মধ্যে সমঝোতা এবং ক্রস পারস্পরিক সম্পর্ক?

হ্যাঁ, তারা সমতুল্য।

যদি এটি "কোনও পার্থক্য নেই" হিসাবে সহজ হয় তবে কার্নেল ম্যাট্রিক্সের মধ্যে ওজনগুলি উল্টিয়ে ফেলার কী দরকার?

উভয়ই সমাবর্তনের সাহিত্যিকতা (গণিতের প্রমাণগুলিতে কার্যকর), না এফটি এবং কনভোলশন তত্ত্বটি সম্পর্কিত কোনও বিবেচনা প্রযোজ্য। প্রকৃতপক্ষে, এটি দেখে মনে হচ্ছে যে উল্টানো এমনকি ঘটে না (ক্রস-পারস্পরিক সম্পর্ককে কেবল সমঝোতার হিসাবে ভুলভাবে চিহ্নিত করা হচ্ছে) (?)।

— আন্তোনি পরেল্লদা
সূত্র

আন্তোনি আপনি যে কোনও উত্সের দিকে ইঙ্গিত করতে পারেন যেখানে তারা ওজনগুলি পিছনে ফেলে? @ হোসেইন যেমন উল্লেখ করেছেন যে ক্রসকোরিলেশন দিয়ে আপনি যে কোনও কিছু করতে পারেন যা আপনি কেবল অর্ডারটি উল্টিয়ে দিয়ে কনভলিউশন দিয়ে করতে পারেন। সুতরাং এই সমস্ত ফ্রিকোয়েন্সি ডোমেন স্টাফ অপ্রাসঙ্গিক।

— seanv507

@ Seanv507 আমি বিশ্বাস করি আপনি আমাকে জিজ্ঞাসা করছেন বলে বিশ্বাস করি তার উত্স অন্তর্ভুক্ত করার জন্য আমি আমার ওপি সম্পাদনা করেছি। আমি বুঝতে পারি যে সমঝোতা হ'ল একটি উল্টানো ফিল্টার ম্যাট্রিক্সের সাথে ক্রস-সম্পর্ক সম্পর্কিত একই ক্রিয়াকলাপ, তবে আমরা কেন পাই না কারণ আমরা যদি সেখানে কিছু না পাই তবে পৃথক সমঝোতার "বেদনার" দিকে কেন যাই? পারস্পরিক সম্পর্কযুক্ত। প্রদত্ত উত্তরটি স্পষ্টভাবে জ্ঞানীয়, তবে এটি একটি মন্তব্যে লাগানো যেতে পারে এবং এটি দুটি স্বতন্ত্র অপারেশনের পিছনে কারণ ব্যাখ্যা করে না (এটি কি ডিএসপি থেকে এমএল দ্বারা পরিচালিত একটি "traditionতিহ্য"?), শিখার প্রক্রিয়া সম্পর্কিত প্রভাবগুলি, এবং এফটি এর সাথে সম্পর্ক।

— আন্তনি পরল্লদা

আন্তোনি, ওঠার দরকার নেই। এটি আরও একটি সম্মেলন; ডিএসপিতে লোকেরা ক্রস পারস্পরিক সম্পর্কের চেয়ে দৃ conv়তার বিষয়ে কথা বলে এবং ক্রস পারস্পরিক সম্পর্কের নিউরাল নেটওয়ার্কগুলি জিহ্বাকে ঘুরিয়ে দেয় না। তবে আরও প্রাকৃতিক (মানুষের ব্যাখ্যা করার জন্য) অপারেশন হ'ল সিএনএন-এর ক্রস পারস্পরিক সম্পর্ক (আপনি টেমপ্লেট মিলছেন) উদাহরণস্বরূপ একটি ঘূর্ণন প্রতিসাম্যের চেয়ে উল্লম্ব প্রান্ত ফিল্টার বিবেচনা করুন)। সুতরাং আমি মনে করি হুগো ল্যারোচেল সম্ভবত সংখ্যাসূচক গ্রন্থাগার সম্পর্কে কথা বলছেন যেখানে ক্রস পারস্পরিক সম্পর্কের চেয়ে সমঝোতা মানক কাজ ((তিনি কার্যকরভাবে বলছেন ক্রস পারস্পরিক সম্পর্ক একটি

— সমঝোতার

আন্তোনি, 2 প্রথম প্রশ্ন / উত্তরগুলির সাথে একমত, এবং আমার মন্তব্যটি 3 য় প্রশ্নের উত্তর দিচ্ছে।

— seanv507

যদিও সিএনএন এবং এফএফটি-র মধ্যে সরাসরি সংযোগ নেই, এমন প্রমাণ রয়েছে যা প্রমাণ করে যে আপনি সিএনএন এর দ্রুতগতি অর্জন করতে পারবেন যখন আপনি স্বাভাবিক সমঝোতার যোগফল বজায় রাখবেন তখন এফএফটি ব্যবহার করে আপনি সিএনএন এর দ্রুতগতি অর্জন করতে পারবেন। উদাহরণস্বরূপ এখানে দেখুন: arxiv.org/pdf/1312.5851.pdf

— অ্যালেক্স আর।

উত্তর:

স্নায়ুবিক নেটওয়ার্কগুলি যখন কনভলশন বা পারস্পরিক সম্পর্ক ব্যবহার করে তখন তারা কী করতে পারে তাতে কোনও পার্থক্য নেই। এটি কারণ ফিল্টারগুলি শিখেছে এবং যদি কোনও সিএনএন কনভলিউশন অপারেশন ব্যবহার করে কোনও নির্দিষ্ট কাজ করতে শিখতে পারে তবে এটি পারস্পরিক সম্পর্ক ক্রিয়াকলাপটি ব্যবহার করে একই কাজ করতে শিখতে পারে (এটি প্রতিটি ফিল্টারের ঘোরানো সংস্করণটি শিখতে পারে)।

মানুষ মাঝে মাঝে পারস্পরিক সম্পর্কের চেয়ে সমঝোতা সম্পর্কে চিন্তা করা আরও স্বজ্ঞাত বলে মনে করে যে কারণগুলি সম্পর্কে আরও বিশদ অনুসন্ধান করার জন্য, এই পোস্টটি দরকারী হতে পারে।

এই প্রশ্নটি এখনও রয়ে গেছে যে যদি কনভলিউশন এবং ক্রস-পারস্পরিক সম্পর্কের মধ্যে কোনও পার্থক্য না থাকে তবে কার্নেল ম্যাট্রিক্সের মধ্যে ওজনগুলি উল্টিয়ে ফেলা কী? ইয়ান গুডফেলো এট আল- র ডিপ লার্নিং বইয়ের কয়েকটি বাক্য অন্তর্ভুক্ত করতে চাই । এই প্রশ্নের উত্তর দিতে:

"কার্নেলটি উল্টানোর একমাত্র কারণ হ'ল পরিবহনের সম্পত্তি প্রাপ্তি While যদিও প্রবচনীয় সম্পত্তি প্রমাণ প্রমানের জন্য দরকারী তবে এটি সাধারণত একটি নিউরাল নেটওয়ার্ক বাস্তবায়নের একটি গুরুত্বপূর্ণ সম্পত্তি নয় ... অনেকগুলি মেশিন লার্নিং গ্রন্থাগার ক্রস-সম্পর্ক সম্পর্কিত বাস্তবায়ন করে তবে কল করে এটা বোঝা। "

গ্রহণযোগ্যতাটি হ'ল যদিও ক্লাসিকেশনটি ক্লাসিক মেশিন ভিশন অ্যাপ্লিকেশনগুলিতে একটি প্রিয় অপারেশন, তবে এটি কনভ্যুশনাল নিউরাল নেটওয়ার্কগুলির অনেকগুলি বাস্তবায়নে পারস্পরিক সম্পর্ক দ্বারা প্রতিস্থাপিত হয়।

— হোসেইন
সূত্র

ধন্যবাদ. আপনি যে ব্লগে লিঙ্ক করেছেন সেদিকে আমি মনোযোগ সহকারে পড়েছি এবং দেখে মনে হচ্ছে যেন বোঝার ব্যবহারটি কেবল পারস্পরিক সম্পর্কের সমতুল্য নয় এবং ফ্রিকোয়েন্সি-ডোমেন বৈশিষ্ট্য নির্বাচনের ক্ষেত্রে সাড়া দেয়। আমি এই বিষয়ে বিস্তারিত উত্তর খুঁজছি।

— আন্তনি পরল্লদা

আমি জানি, তারা যা করতে পারে তার সমতুল্য , যেহেতু উভয়ই দুটি ম্যাট্রিকের একটি ডট পণ্য করে তবে কনভলশনটি ডট পণ্যের আগে ফিল্টার ম্যাট্রিক্সকে উল্টে দেয় এবং সিএনএনগুলি ফিল্টারগুলি শিখায়, তাই তারা উল্লিখিত ফিল্টারগুলি শিখতে পারে।

— হোসেইন

হোসেইনস ব্যাখ্যায় +1, তবে ব্লগ লিঙ্কের জন্য -1। ব্লগটি মূলত হার্ডওয়ারের দিকে দৃষ্টি নিবদ্ধ করে, এবং সে সিএস লোক, যার দৃ conv়বিশ্বাস এবং অন্যান্য সংকেত প্রক্রিয়াকরণ ধারণাগুলির কোনও পটভূমি নেই।

— seanv507

আমি এখনও সিএনএন এবং ফুরিয়ার রূপান্তরগুলির মধ্যে সমঝোতার মধ্যে সম্পর্কের (বা এর অভাব) বিষয়ে কিছু অতিরিক্ত অনুচ্ছেদ থাকার বিষয়ে জোর দিয়ে বলতে চাই।

— আন্তনি পরল্লদা ২৮'১৮

এফএফটি এবং সমঝোতার মধ্যে সংযোগের জন্য একটি বাস্তব কারণ রয়েছে।

সময় / চিত্রের ডোমেনে কনভোলিউশনটি ধীর হয়। প্রয়োগ করা একটি $n \times n$ এক পিক্সেল ফিল্টার প্রয়োজন $O(n^2)$ গুণ এবং সংযোজন। এটি প্রতি পিক্সেলটিতে প্রয়োগ করা হচ্ছে $N \times N$ ইমেজ এইভাবে প্রয়োজন $n^2N^2$ অপারেশন। এটি দ্রুত বৃদ্ধি পায় এবং বিপুল সংখ্যক ক্রিয়াকলাপের জন্য কেবল অতিরিক্ত সময় প্রয়োজন হয় না, তবে আরও সংখ্যাসূচক ত্রুটিও প্রবর্তিত হয়।

কনভোলিউশন উপপাদ্য বলেছেন যে সময় ডোমেনে কনভোলশনটি ফ্রিকোয়েন্সি ডোমেনে পয়েন্টওয়াইজ গুণফলের সমতুল্য। এফএফটি দ্রুত: তাদের অ্যাসিপটোটিক পারফরম্যান্স রয়েছে $O(N^2 \log N^2)$ এবং প্রকৃত বাস্তবায়নগুলি প্রায়শই অত্যন্ত অনুকূলিত হয়। ফুরিয়ার ডোমেনে স্যুইচ করা আপনাকে এইভাবে একটি সমাবর্তন সম্পাদন করতে দেয় $O(N^2)$ এর পরিবর্তে সময় (যা পয়েন্টওয়্যারটি গুণ দ্বারা প্রভাবিত হয়) $O(n^2N^2)$ । এফএফটি -> গুণ - - বিপরীতমুখী এফএফটি রুটে যেতে আরও বেশি জটিল মনে হলেও এটি যথেষ্ট গতিপথ সরবরাহ করতে পারে। আরও এখানে

— ম্যাট ক্রাউস
সূত্র