স্ট্যাকড কনভ্যুশনাল অটোনকোডারটির স্থাপত্য কী?

Question

সুতরাং আমি কনভ্যুশনাল নেট ব্যবহার করে মানুষের চিত্রগুলিতে প্রাকট্রেনিং করার চেষ্টা করছি। আমি কাগজপত্রগুলি ( পেপার 1 এবং পেপার 2 ) এবং এই স্ট্যাকওভারফ্লো লিঙ্কটি পড়েছি, তবে আমি নিশ্চিত না যে আমি নেটগুলির কাঠামো বুঝতে পেরেছি (এটি কাগজগুলিতে ভালভাবে সংজ্ঞায়িত হয়নি)।

প্রশ্নাবলী:

• আমি আমার ইনপুটটি শোনার স্তরটির পরে একটি কনিভ স্তর, তার পরে একটি পুলিং স্তর করতে পারি - তার পরে - আমি আমার আউটপুট দেওয়ার আগে ডি-পুল করব (যা আমার ইনপুট চিত্রটি একই)?

  বলুন আমার কাছে বেশ কয়েকটি (135,240) চিত্র রয়েছে। আমি যদি 32, (12,21) কার্নেলগুলি ব্যবহার করি, তারপরে (2,2) পুলিং হয়, তবে আমি 32 (62, 110) বৈশিষ্ট্যের মানচিত্র দিয়ে শেষ করব। এখন আমি 32 (124, 220) বৈশিষ্ট্যের মানচিত্রগুলি পেয়ে ডি-পুল করব এবং তারপরে এগুলি সমতল করব? আমার (135,240) আউটপুট স্তর দেওয়ার আগে?

• আমার যদি এমন একাধিক কনফুল-পুল স্তর থাকে তবে আমি কি তাদের একের পর এক প্রশিক্ষণ দেবো - স্ট্যাকড ডিনোইজড অটোইনকোডারগুলির মতো? বা - আমার কাছে কি ইনপুট-কন-পুল-কউও-পুল-কউ-পুল-আউটপুট (আউটপুট ইনপুট হিসাবে একই হতে পারে) এর মতো কিছু থাকতে পারে? সেক্ষেত্রে পুলিং, ডিপুলিংয়ের ব্যবস্থা কীভাবে পরিচালিত হবে? আউটপুট দেওয়ার আগে আমার কি সর্বশেষ পুল স্তরে ডি-পুল করা উচিত? এবং আবারও - সেই ডি-পুলিংয়ের আকার পরিবর্তনকারী ফ্যাক্টরটি কী হওয়া উচিত? বৈশিষ্ট্য মানচিত্রগুলি ইনপুট আকারে ফিরিয়ে আনার অভিপ্রায় কি?

• আমি কি প্রতিটি কন-পুল-ডিপুল স্তর পরে শব্দ স্তরগুলি প্রবর্তন করব?

• এবং তারপরে সূক্ষ্ম টিউন করার সময় - আমি কি কেবল ডি-পুলিং স্তরগুলি সরিয়ে নিয়ে বাকিগুলি একই রেখে দেব। অথবা আমি উভয় শব্দ স্তর এবং ডি-পুলিং স্তরগুলি অপসারণ করব

• ছবিগুলির প্রাক প্রশিক্ষণ করার জন্য এমন কোনও স্ট্রাকড কনভ্যুশনাল অটো এনকোডারটির স্থাপত্যের বিস্তারিত বিশদযুক্ত কোনও ইউআরএল / কাগজের দিকে আমাকে কী নির্দেশ করতে পারে?

Answer 1

আমি বর্তমানে স্ট্যাকড-কনভুলেশনাল অটোইনকোডারগুলি অন্বেষণ করছি।

আমি চেষ্টা করব এবং আমার জ্ঞানের সেরাটিতে আপনার কয়েকটি প্রশ্নের উত্তর দেব। মনে মনে, আমি ভুল হতে পারি তাই লবণের দানা দিয়ে এনে ফেলুন।

1. হ্যাঁ, আপনার আউটপুট চিত্রটি পুনরুদ্ধার করতে আপনাকে "বিপরীতমুখী" পুলটি তৈরি করতে হবে এবং তারপরে ফিল্টারগুলির একটি সেট সঙ্গে মিলিয়ে নিতে হবে। একটি স্ট্যান্ডার্ড নিউরাল নেটওয়ার্ক (এমএনআইএসটি ডেটা ইনপুট হিসাবে বিবেচনা করা, অর্থাত 28x28 ইনপুট মাত্রা) হ'ল:

       28x28(input) -- convolve with 5 filters, each filter 5x5 -->  5 @ 28 x 28 maps -- maxPooling --> 5 @ 14 x 14 (Hidden layer) -- reverse-maxPool --> 5 @ 28 x 28 -- convolve with 5 filters, each filter 5x5 --> 28x28 (output)
   

2. আমার উপলব্ধি হ'ল প্রচলিতভাবে সেটাই করা উচিত, অর্থাত প্রতিটি স্তরকে আলাদাভাবে প্রশিক্ষণ দেওয়া। এর পরে আপনি স্তরগুলি স্ট্যাক করে এবং পূর্ব-প্রশিক্ষিত ওজন ব্যবহার করে পুরো নেটওয়ার্কটিকে আরও একবার প্রশিক্ষণ দিন। তবে, ইয়াহসুয়া বেনজিওর কিছু গবেষণা রয়েছে (রেফারেন্সটি আমার স্মৃতি থেকে রক্ষা পেয়েছে) যা দেখায় যে কোনও ব্যক্তি পুরোপুরি স্ট্যাকড নেটওয়ার্ক এবং স্ক্র্যাচ থেকে ট্রেন তৈরি করতে পারে।

3. আমার বোধগম্যতা হল যে "শব্দের স্তর" ইনপুটটিতে দৃust়তা / পরিবর্তনশীলতা প্রবর্তন করার জন্য যাতে প্রশিক্ষণটি অত্যধিক না হয়।

4. যতক্ষণ আপনি এখনও "প্রশিক্ষণ" প্রাক প্রশিক্ষণ বা সূক্ষ্ম সুরকরণ করছেন, আমি মনে করি পুনর্নির্মাণের অংশটি (যেমন রিভার্সপুলিং, ডি-কনভোলশন ইত্যাদি) প্রয়োজনীয় ces অন্যথায় ওজন অনুসারে কীভাবে একজনকে ত্রুটি-ব্যাক-প্রচার করতে হবে?

5. আমি অসংখ্য কাগজপত্রের মাধ্যমে ব্রাউজ করার চেষ্টা করেছি, তবে আর্কিটেকচারটি কখনই পুরো ব্যাখ্যা করা হয় না। যদি আপনার কোন সন্ধান হয় তবে আমাকে জানান।

Comments

আপনি যদি প্রাক প্রশিক্ষণ দিয়ে শেষ করেন তবে আপনার আর ডিকোডার অংশের দরকার নেই এবং আরও ভাল শ্রেণিবিন্যাসের জন্য সূক্ষ্ম সুরকরণটি এই বার এনকোডারকে সামঞ্জস্য করবে।

— jwalker

"রিভার্স-ম্যাক্সপুল" কীভাবে সম্ভব? আপনি কেবলমাত্র সর্বাধিক প্রদত্ত সংখ্যার সেট পুনর্গঠন করতে পারবেন না ...?

— অনুগ্রহ করে

@ ফিকুইশ, এটি একটি আনুমানিক বিপরীত-ম্যাক্সপুল উদাহরণস্বরূপ: যদি পুল = 2x2 হয় তবে আমি সর্বোচ্চটির অবস্থান ধরে রাখি এবং সর্বাধিকটিকে 2x2 এ নির্দিষ্ট অবস্থানে সন্নিবেশ করি, বাকী 0 হয়

— ব্যবহারকারী 2979010

@ জওয়ালকার, আমার শেষ লক্ষ্যটি শ্রেণিবদ্ধকরণ ছিল না বিধায় একটি

— অনিবন্ধিত

@ ফিকুইশ, বিপরীতটি ডিকোড করার উদ্দেশ্যে কেবল নিকটবর্তী প্রতিবেশী উচ্চতর স্থান।

— jwalker

Answer 2

আমি স্ট্যাকড কনভোলিউশনাল অটোনকোডারগুলির সম্পূর্ণরূপে ব্যাখ্যা করা মডেলটিও অনুসন্ধান করছি।

আমি তিনটি ভিন্ন আর্কিটেকচার জুড়ে এসেছি। আমি এখনও সেগুলি অধ্যয়ন করছি এবং আমি ভেবেছিলাম এগুলি অন্যদের যারা সিএইও অনুসন্ধান করতে শুরু করেছে তাদের সহায়তা করতে পারে। কাগজপত্র বা বাস্তবায়নের বিষয়ে আরও যে কোনও উল্লেখ উল্লেখযোগ্যভাবে সাহায্য করবে।

1. আপনি পুলিং ব্যবহার করে উল্লেখ করেছেন - আনপুলিং।

2. (কনভলভ) এর স্তরগুলি __ x_টাইমস -> (ডিকনভলভ) __ x_টাইমস,

   এবং ইনপুট হিসাবে একই আকার পান।

3. (কনভলভ -> পুল) __ x_টাইমস -> (স্টেয়ারড ডিকনভোলিউশন) __ y_টাইমস
   • প্যাডিং এবং স্ট্রাইডগুলি এমনভাবে নির্বাচন করা হয় যে চূড়ান্ত চিত্রের আকারটি মূল চিত্রের মতো same
   • উল্লেখ

Comments

সাইটে স্বাগতম। এটি কি ওপি-র প্রশ্নের উত্তর, ওপি বা উত্তরদাতার মধ্যে একটির কাছ থেকে স্পষ্টতার জন্য অনুরোধ করা একটি মন্তব্য, বা আপনার নিজের একটি নতুন প্রশ্ন হিসাবে অভিযুক্ত ছিল? মূল প্রশ্নের উত্তর সরবরাহ করতে দয়া করে কেবল "আপনার উত্তর" ক্ষেত্রটি ব্যবহার করুন। আপনার খ্যাতি> 50 হলে আপনি যে কোনও জায়গায় মন্তব্য করতে সক্ষম হবেন। আপনার যদি নতুন প্রশ্ন থাকে ASK QUESTION তবে পৃষ্ঠার শীর্ষে ধূসর ক্লিক করুন এবং এটি জিজ্ঞাসা করুন, তবে আমরা আপনাকে সঠিকভাবে সহায়তা করতে পারি। যেহেতু আপনি এখানে নতুন, আপনি আমাদের সফর নিতে চাইতে পারেন , যাতে নতুন ব্যবহারকারীদের জন্য তথ্য রয়েছে।

— গুং - মনিকা পুনরায়

এটি ওপি-র প্রশ্নের উত্তর হিসাবে লক্ষ্য করা হয়েছিল যদিও এটি সম্পূর্ণ উত্তর হওয়ার যোগ্যতা অর্জন করতে পারে না। আমি শেষ অংশটির উত্তর দিয়েছিলাম 'আমি অসংখ্য কাগজপত্রের মাধ্যমে ব্রাউজ করার চেষ্টা করেছি, তবে আর্কিটেকচারটি কখনই পুরো ব্যাখ্যা করা হয় না। আপনার যদি কোন সন্ধান হয় তবে দয়া করে আমাকে জানান ''

— অঙ্কিতপ

ঠিক আছে ধন্যবাদ. এটি যেভাবে বন্ধ হবে তা অস্পষ্ট। উদাহরণস্বরূপ "আমিও অনুসন্ধান করে চলেছি ..." এবং "কাগজপত্র বা বাস্তবায়নের বিষয়ে আরও যে কোনও উল্লেখ উল্লেখযোগ্যভাবে সাহায্য করবে"। সচেতন থাকুন যে সিভি একটি বিশুদ্ধ প্রশ্নোত্তর সাইট, কোনও আলোচনার ফোরাম নয়। কেন আমাদের ভ্রমণ এবং সাইট সম্পর্কে আরও শিখবেন না?

— গুং - মনিকা পুনরায়

Answer 3

লেয়ার-উইজেড প্রশিক্ষণ পদ্ধতিটি সঠিক বলে আমি মনে করি না। উদাহরণস্বরূপ, কনভোলশনাল অটো-এনকোডারটির আর্কিটেকচারটি হ'ল:

ইনপুট-> conv-> max_poo-> de_max_pool-> de_conv-> আউটপুট।

এটি একটি স্ব-এনকোডার, এবং পুরো আর্কিটেকচারের সাথে প্রশিক্ষিত হওয়া উচিত। তদুপরি, কোনও সমাবর্তনকারী অটো-এনকোডারকে পুল এবং আন_পুল প্রয়োজন কিনা তা নিয়ে কোনও কঠোর মানদণ্ড নেই। সাধারণত, একটি পুল তবে আন_পুল ছাড়াই। পুল এবং আন_পুলের অনুপস্থিতির সাথে এখানে একটি পরীক্ষামূলক তুলনা করা হচ্ছে।

https://arxiv.org/pdf/1701.04949.pdf