সিএনএন-তে, উত্সর্গকরণ এবং সমান্তরাল স্থানটি কি একই রকম?

Question

"আপস্যাম্পলিং" এবং "ট্রান্সপোজ কনভ্যুশন" উভয় পদটি ব্যবহৃত হয় যখন আপনি "ডিকনভলিউশন" করছেন (<- ভাল শব্দ নয়, তবে আমাকে এটি এখানে ব্যবহার করতে দিন)। মূলত, আমি ভেবেছিলাম যে সেগুলি একই জিনিস, তবে আমার কাছে মনে হয় যে আমি এই নিবন্ধগুলি পড়ার পরে সেগুলি আলাদা। কেউ দয়া করে পরিষ্কার করতে পারেন?

1. ট্রান্সপোজ কনভলিউশন : দেখে মনে হচ্ছে আমরা যখন কনভোলটোনাল নিউরাল নেটওয়ার্কের মাধ্যমে ক্ষতির প্রস্তাব দিই তখন আমরা এটি ব্যবহার করতে পারি।

   http://andrew.gibiansky.com/blog/machine-learning/convolutional-neural-networks/#Backward-Propagation

   https://github.com/vdumoulin/conv_arithmetic

   https://arxiv.org/pdf/1312.6034v2.pdf , বিভাগ 4 "সমাবর্তন স্তরটির জন্য ..."

2. আপসাম্পলিং : মনে হচ্ছে আমরা যখন কনফেট-ডিকোভনেট স্ট্রাকচারে ছোট ইনপুট থেকে বৃহত ইনপুট পর্যন্ত নমুনা নিতে চাই তখন আমরা এটি ব্যবহার করি।

   https://www.youtube.com/watch?v=ByjaPdWXKJ4&feature=youtu.be&t=22m

Comments

ডেটাসায়েন্স.স্ট্যাকেক্সেঞ্জাওয়েজ / প্রশ্নগুলি / 15863/ … এ ক্রস পোস্ট । দয়া করে ক্রস-পোস্ট করবেন না তবে সিদ্ধান্ত নিন যে আপনি কোন সাইটে আপনার প্রশ্নটি চান।

— Scortchi - পুনর্বহাল মনিকা

পছন্দ করেছেন দুঃখিত, আমি তথ্য বিজ্ঞানের একটিকে সরিয়েছি।

— রকটিস্টার

একটি আকর্ষণীয় পোস্ট তথাকথিত deconvolutions উপর

— হান্স

Answer 1

যেহেতু কোনও বিশদ এবং চিহ্নিত উত্তর নেই, তাই আমি যথাসাধ্য চেষ্টা করব।

আসুন প্রথমে বুঝতে পারি যে এই ধরনের স্তরগুলির জন্য অনুপ্রেরণা কোথা থেকে এসেছে: উদাহরণস্বরূপ একটি কনভোলশনাল অটোরকোডার। আসল চিত্রটি পুনর্গঠন করতে অটোরকোডারকে প্রশিক্ষণ দেওয়ার সময় আপনি চিত্রগুলির ফিচারগুলি আহরণের জন্য একটি কনভোলসনাল অটোনকোডার ব্যবহার করতে পারেন। (এটি একটি নিরীক্ষণ পদ্ধতি)

এই জাতীয় একটি স্বয়ংক্রিয় কোডারটির দুটি অংশ রয়েছে: এনকোডার যা চিত্র থেকে বৈশিষ্ট্যগুলি বের করে এবং ডিকোডার যা এই বৈশিষ্ট্যগুলি থেকে মূল চিত্রটি পুনর্গঠন করে। এনকোডার এবং ডিকোডারের আর্কিটেকচারটি সাধারণত মিরর করা হয়।

একটি বিবর্তনমূলক অটোইনকোডারটিতে, এনকোডারটি কনভোলশন এবং পুলিং স্তরগুলির সাথে কাজ করে। আমি ধরে নিলাম যে আপনি জানেন যে এইগুলি কীভাবে কাজ করে। ডিকোডারটি এনকোডারটিকে মিরর করার চেষ্টা করে তবে "সবকিছুকে আরও ছোট করে তোলার" পরিবর্তে চিত্রটির মূল আকারের সাথে মিলিয়ে "সবকিছুকে আরও বড় করে তোলার" লক্ষ্য রয়েছে।

কনভুলেশনাল স্তরগুলির বিপরীত স্থানান্তরিত কনভ্যুশন স্তরগুলি (এটি ডিকনভোলিউশন নামেও পরিচিত , তবে সঠিকভাবে গাণিতিকভাবে বলতে গেলে এটি আলাদা কিছু)। তারা ফিল্টার, কার্নেল, স্ট্রাইড দিয়ে ঠিক কনভলিউশন স্তর হিসাবে কাজ করে তবে 3x3 ইনপুট পিক্সেল থেকে 1 আউটপুটে ম্যাপিংয়ের পরিবর্তে তারা 1 ইনপুট পিক্সেল থেকে 3x3 পিক্সেল মানচিত্র করে। অবশ্যই, ব্যাকপ্রোপেজেশন কিছুটা আলাদা কাজ করে।

পুলিং স্তরগুলির বিপরীতে হ'ল আপস্যাম্পলিং স্তরগুলি যা তাদের শুদ্ধতম আকারে কেবল চিত্রটির আকার পরিবর্তন করে (বা পিক্সেলটিকে যতবার প্রয়োজন ততবার অনুলিপি করে)। আরও উন্নত কৌশলটি আনপুলিং যা ম্যাক্সপুলিং স্তরগুলিতে ম্যাক্সিমার অবস্থান মনে করে এবং আনপুলিং স্তরগুলিতে মানটি ঠিক এই জায়গাতে অনুলিপি করে ম্যাকপুলিংকে পুনরায় সরিয়ে দেয়। এটির ( https://arxiv.org/pdf/1311.2901v3.pdf ) কাগজ থেকে উদ্ধৃতি দিতে :

কনভেন্টে সর্বাধিক পুলিং অপারেশনটি অবিবর্তনীয়, তবে আমরা সুইচ ভেরিয়েবলগুলির একটি সেটে প্রতিটি পুলিং অঞ্চলের মধ্যে ম্যাক্সিমার অবস্থানগুলি রেকর্ড করে আনুমানিক বিপরীতটি পেতে পারি। ডিকনভনেটে, উদ্দীপকের অপারেশনটি স্তর থেকে পুনর্গঠনগুলিকে উপরের স্তর থেকে পুনরুদ্ধারগুলি যথাযথ স্থানে স্থাপনের জন্য উদ্দীপনার কাঠামো সংরক্ষণের জন্য এই সুইচগুলি ব্যবহার করে।

আরও প্রযুক্তিগত ইনপুট এবং প্রসঙ্গের জন্য এটি সত্যই ভাল, বিক্ষোভমূলক এবং গভীরতার ব্যাখ্যাতে দেখুন: http : //ডিপলাইনিং ডটকম / সফটওয়্যার / থিথানো / টিউটোরিয়াল / কনভ_আরথমেটিক এইচটিএমএল

এবং https://www.quora.com/What-is-the-differences-between-Deconvolution-Upsampling-Unpooling- এবং- Convolutional-Sparse-Coding এ একবার দেখুন

Comments

এফ। চোললেট (কেরাসের স্রষ্টা) যুক্তি দিতেন যে এটি একটি স্ব-তত্ত্বাবধানক কৌশল ।

— হ্যান্স

Answer 2

এটি আপনি যে প্যাকেজটি ব্যবহার করছেন তার উপর নির্ভর করে।

কেরাসে এগুলি আলাদা। আপসাম্পলিংটি এখানে সংজ্ঞায়িত করা হয়েছে https://github.com/fchollet/keras/blob/master/keras/layers/convolutional.py যদি আপনি টেনসরফ্লো ব্যাকএন্ড ব্যবহার করেন তবে আসলে যা ঘটে তা কেরাস কলকে টেনসরফ্লো রেজাইজ_আইমেজ ফাংশন বলে, যা মূলত একটি অন্তরঙ্গ এবং না trainable।

স্থানান্তরিত সমঝোতা আরও জড়িত। এটি উপরে তালিকাভুক্ত একই অজগর স্ক্রিপ্টে সংজ্ঞায়িত করা হয়েছে। এটি টেনসরফ্লো কনফাইটি 2 ডি_ট্রান্সপোজ বলে করে এবং এতে কার্নেল রয়েছে এবং এটি প্রশিক্ষণযোগ্য।

আশাকরি এটা সাহায্য করবে.

Answer 3

কনভোলশনাল নিউরাল নেটওয়ার্কগুলির প্রসঙ্গে ডিকনভলিউশন কনভলজ স্থানান্তর করার সমার্থক। ডিকনভলিউশনের আরও অর্থ হতে পারে অন্যান্য ক্ষেত্রে ।

ট্রান্সপোজ কনভোলজেশন অন্যদের মধ্যে আপসম্পলিংয়ের জন্য একটি কৌশল।

Comments

হ্যা আমি রাজি. তবে মনে হয় রেফারেন্সগুলি তাদের ব্যাখ্যা করার পদ্ধতিটি আলাদা। নং 2-এ ভিডিওটি দেখুন এবং তারপরে নং 1-র রেফারেন্সগুলি দেখুন (ব্যক্তিগতভাবে আমি 1 নং ব্যাখ্যার জন্য যাচ্ছি)

— RockTheStar

@ রক দ্যস্টার কোন ধারণাটি আলাদাভাবে ব্যাখ্যা করা হয়েছে? ট্রান্সপোজ কনভলিউশন না আপসাম্পলিং?

— ফ্রাঙ্ক ডারননকোর্ট

2 নং ভিডিওতে আপসাম্পলিং / ডিকনভোলিউশন ধারণাটি ব্যাখ্যা করা হয়েছে। প্রায় কয়েক মিনিট।

— রকটিস্টার

Answer 4

1) ট্রান্সপোজ কনভলিউশন এবং 2) আপসাম্পলিং + কনভ্যুলেশনের মধ্যে পার্থক্য সম্পর্কে এখানে বেশ সুন্দর চিত্রণ। https://distill.pub/2016/deconv-checkerboard/

ট্রান্সপোজ কনভলিউশনটি আরও কার্যকর, নিবন্ধটি চেকবোর্ড আর্টিক্টে ভুগছে না বলে নিবন্ধটি আপসাম্পলিং + কনভলুশনের জন্য পরামর্শ করে।