ওয়েভনেট আসলেই একটি বিস্মৃত সমঝোতা নয়, তাই না?

Question

সাম্প্রতিক ওয়েভনেট গবেষণাপত্রে, লেখকরা তাদের মডেলটিকে প্রসারিত কনভোলিউশনের স্তরগুলি সজ্জিত হিসাবে উল্লেখ করেছেন। তারা 'নিয়মিত' কনভোলিউশন এবং প্রসারিত সমঝোতার মধ্যে পার্থক্য ব্যাখ্যা করে নীচের চার্টগুলিও উত্পাদন করে।

নিয়মিত কনভোলিউশনগুলি দেখে মনে হচ্ছে এটি 2 টির ফিল্টার আকার এবং 1 টির প্রসারযুক্ত একটি সমাবর্তন, 4 টি স্তরগুলির জন্য পুনরাবৃত্তি।

এরপরে তারা তাদের মডেল দ্বারা ব্যবহৃত একটি আর্কিটেকচার দেখায়, যা তারা প্রসারিত কনভোলিউশন হিসাবে উল্লেখ করে। দেখে মনে হচ্ছে। তারা বলে যে প্রতিটি স্তরের (1, 2, 4, 8) ক্রমবর্ধমান প্রসার রয়েছে। তবে আমার কাছে এটি 2 ফিল্টার আকার এবং 2 টি স্ট্রাইডের সাথে 4 স্তরের জন্য পুনরাবৃত্তি হওয়া নিয়মিত সমঝোতার মতো দেখাচ্ছে।

আমি এটি বুঝতে পেরেছিলাম, 2 টির ফিল্টার আকারের 1 টির প্রসারিত এবং (1, 2, 4, 8) এর ক্রমবর্ধমান সংযোজনগুলির সাথে একটি রূপসী সমাবর্তন এটির মতো দেখাবে।

ওয়েভনেট ডায়াগ্রামে, ফিল্টারগুলির কোনওটিই উপলভ্য ইনপুট থেকে যায় না। কোনও ছিদ্র নেই আমার চিত্রটিতে, প্রতিটি ফিল্টার উপলব্ধ ইনপুট (d - 1) এড়িয়ে যায়। এভাবেই কোনও কাজ করার অনুশীলন হয়?

সুতরাং আমার প্রশ্নটি হল, নিম্নলিখিত প্রস্তাবগুলির মধ্যে কোনটি (যদি থাকে) সঠিক?

1. আমি বিচ্ছিন্ন এবং / অথবা নিয়মিত সমঝোতা বুঝতে পারি না।
2. ডিপমাইন্ড প্রকৃতপক্ষে একটি বিস্মৃত সমঝোতা বাস্তবায়ন করেনি, বরং একটি ধীরে ধীরে সমঝোতা করেছেন, তবে শুরুর শব্দের অপব্যবহার করেছেন।
3. ডিপমাইন্ড একটি বিচ্ছিন্ন সমঝোতা কার্যকর করেছে, তবে চার্টটি সঠিকভাবে প্রয়োগ করে নি।

টেনসরফ্লো কোডটিতে আমি ঠিক তেমন সাবলীল নই যে তাদের কোডটি ঠিক কী করছে তা বোঝার জন্য, তবে স্ট্যাক এক্সচেঞ্জে আমি একটি সম্পর্কিত প্রশ্ন পোস্ট করেছি , এতে বিট কোড রয়েছে যা এই প্রশ্নের উত্তর দিতে পারে।

Comments

আমি আপনার প্রশ্ন এবং উত্তর নীচে বেশ আকর্ষণীয় পেয়েছি। যেহেতু ওয়েভনেট কাগজটি স্ট্রাইড এবং ডিসিলেশন হারের সমতুল্যতা ব্যাখ্যা করে না, তাই আমি একটি ব্লগ পোস্টে মূল ধারণাগুলির সংক্ষিপ্ত করার সিদ্ধান্ত নিয়েছিলাম: theblog.github.io/post/… আপনি এখনও আকর্ষণীয় স্নায়ুর সাথে কাজ করছেন যদি আপনি এটি আকর্ষণীয় মনে করতে পারেন নেটওয়ার্কগুলি

— কিলিয়ান ব্যাটনার

Answer 1

ওয়েভেনেটের কাগজ থেকে:

"A dilated convolution (also called a trous, or convolution with 
holes) is a convolution where the filter is applied over an area larger 
than its length by skipping input values with a certain step. It is 
equivalent to a convolution with a larger filter derived from the 
original filter by dilating it with zeros, but is significantly more 
efficient. A dilated convolution  effectively allows the network to 
operate on a coarser scale than with a normal convolution. This is 
similar to pooling or strided  convolutions, but 
here the output has the same size as the input. As a special case, 
dilated convolution with dilation 1 yields the standard convolution. 
Fig. 3 depicts dilated causal convolutions for dilations 1, 2, 4, and 
8."

অ্যানিমেশনগুলি প্রতিটি স্তরের স্থির স্ট্রাইড এক এবং প্রসারণ ফ্যাক্টরটি দেখায়।

Answer 2

আমার জন্য কেবল এই পয়সা ফেলেছে। এই 3 টি প্রস্তাবের মধ্যে সঠিকটি হ'ল 4: আমি ওয়েভনেট কাগজটি বুঝতে পারি নি।

আমার সমস্যাটি হ'ল আমি ওয়েভনেট ডায়াগ্রামটি একটি একক নমুনাটি আচ্ছাদন হিসাবে ব্যাখ্যা করছিলাম, 2 ডি কাঠামোয় সাজানো বিভিন্ন নমুনায় চালিত হতে হবে যার 1 টি মাত্রা নমুনার আকার এবং অন্যটি ব্যাচের গণনা ছিল।

যাইহোক, ওয়েভনেট কেবল 1 ডি টাইম সিরিজের উপরে পুরো ফিল্টারটি 1 এর এক ধাপের সাথে চালাচ্ছে এটি স্পষ্টতই অনেক কম মেমরির পদক্ষেপ রয়েছে তবে একই জিনিসটি সম্পাদন করে।

আপনি যদি কোনও স্ট্রাইড স্ট্রাকচার ব্যবহার করে একই কৌশলটি ব্যবহার করার চেষ্টা করেন তবে আউটপুট মাত্রাটি ভুল হবে।

সুতরাং সংক্ষেপে বলা যায়, 2D স্যাম্পল এক্স ব্যাচ স্ট্রাকচারের সাহায্যে এটিকে স্ট্রাইড পদ্ধতিতে করা একই মডেলটি দেয় তবে মেমরির অনেক বেশি ব্যবহার রয়েছে।