সংক্ষিপ্ত স্তর: প্যাড করতে বা প্যাড না?

Question

অ্যালেক্সনেট আর্কিটেকচারে ছবিতে প্রদর্শিত শূন্য-প্যাডিংস ব্যবহার করা হয়েছে: তবে কেন এই প্যাডিংটি চালু করা হয়েছে তা কাগজে কোনও ব্যাখ্যা নেই।

স্ট্যান্ডফোর্ড সিএস 231n কোর্স শিখায় আমরা স্থানিক আকার সংরক্ষণের জন্য প্যাডিং ব্যবহার করি:

আমি ভাবছি আমাদের একা প্যাডিংয়ের প্রয়োজন কি? মানে, যদি আমার স্থানিক আকার সংরক্ষণের প্রয়োজন না হয় আমি কী কেবল প্যাডিংগুলি সরাতে পারি? আমি জানি আমরা গভীর স্তরে যাওয়ার সাথে সাথে এটি স্থানিক আকারে খুব দ্রুত হ্রাস পাবে। যাইহোক, আমি পুলিং স্তরগুলি সরিয়ে দিয়ে এটিকে বাণিজ্য করতে পারি। যদি কেউ আমাকে শূন্য প্যাডিংয়ের পিছনে কিছু যুক্তি দিতে পারে তবে আমি খুব খুশি হব। ধন্যবাদ!

Answer 1

প্যাডিং গুরুত্বপূর্ণ যে কয়েকটি কারণ রয়েছে:

1. নেটওয়ার্কগুলি ডিজাইন করা সহজ, যদি আমরা এটি সংরক্ষণ করি heightএবং widthএকটি স্তর থেকে অন্য স্তরে যাওয়ার সময় টেনসরের মাত্রা সম্পর্কে খুব বেশি চিন্তা করার দরকার নেই কারণ মাত্রা কেবল "কাজ করবে" ।

2. এটি আমাদের গভীর নেটওয়ার্ক ডিজাইন করার অনুমতি দেয় । প্যাডিং ছাড়াই ভলিউমের আকার হ্রাস খুব দ্রুত হ্রাস পাবে।

3. প্যাডিং সীমান্তে তথ্য রেখে কার্যকারিতা উন্নত করে ।

স্ট্যানফোর্ডের বক্তৃতাগুলির উদ্ধৃতি: "সিওএনভির পরে স্থানিক আকারগুলি স্থির রাখার পূর্বোক্ত সুবিধা ছাড়াও এটি করা কার্য সম্পাদনকে উন্নত করে। সিএনভি স্তরগুলি যদি ইনপুটগুলিকে শূন্য প্যাড না দেয় এবং কেবল বৈধ কনভোলিউশনগুলি সম্পাদন করে তবে আকারের আকার প্রতিটি সিএনভি-র পরে ভলিউম অল্প পরিমাণে হ্রাস পাবে এবং সীমান্তের তথ্য খুব দ্রুত "ধুয়ে" যাবে ”" - উত্স

4. যেমন @ ডন্টলু ইতিমধ্যে বলেছে, নতুন নেটওয়ার্ক আর্কিটেকচারগুলিতে 1x1, 3x3 এবং 5x5 ফিল্টার সহ কনভলিউশনাল স্তরগুলি সংলগ্ন করা দরকার এবং তারা প্যাডিং ব্যবহার না করলে এটি সম্ভব হবে না কারণ মাত্রা মেলে না। প্যাডিং কেন এখানে দরকারী তা আরও ভালভাবে বুঝতে এখানে ইনসেপশন মডিউলের এই চিত্রটি দেখুন।

Comments

শূন্য প্যাডিং কেন এত সর্বব্যাপী? চিত্র প্রক্রিয়াকরণে বিভিন্ন বিভিন্ন সীমান্ত মোড ব্যবহৃত হয়, যেমন বিভিন্ন ধরণের মিররিং বা প্রান্তে মান সহ অবিরত। খাঁটি শূন্যগুলির প্রকৃত চিত্র / বৈশিষ্ট্যের তুলনায় খুব আলাদা কাঠামো রয়েছে।

— ইসরান্দি

Answer 2

এটি আমার কাছে মনে হচ্ছে সবচেয়ে গুরুত্বপূর্ণ কারণ স্থানের আকার সংরক্ষণ করা। যেমনটি আপনি বলেছিলেন, পুলিং স্তরগুলি সরিয়ে আমরা স্থানিক আকারের হ্রাসকে বাণিজ্য করতে পারি। তবে সাম্প্রতিক অনেকগুলি নেটওয়ার্ক কাঠামো (যেমন রেসিডুয়াল নেট , ইনসেপশন নেট , ফ্র্যাক্টাল নেট ) বিভিন্ন স্তরের আউটপুটগুলিতে কাজ করে, যার মধ্যে তাদের মধ্যে একটি সামঞ্জস্যপূর্ণ স্থানিক আকার প্রয়োজন requires

আরেকটি বিষয় হ'ল, যদি কোনও প্যাডিং না হয় তবে ইনপুটটির কোণে থাকা পিক্সেলগুলি কেবলমাত্র আউটপুটটির সংশ্লিষ্ট কোণে পিক্সেলগুলিকে প্রভাবিত করে, যখন কেন্দ্রের পিক্সেলগুলি আউটপুটটির একটি পাড়াতে অবদান রাখে। বেশ কয়েকটি ন-প্যাডিং স্তরগুলি যখন একসাথে সজ্জিত হয়, তখন নেটওয়ার্ক সাজানোর চিত্রটির বোর্ডার পিক্সেল উপেক্ষা করে।

আমার কিছু বোঝাপড়া, আমি বিশ্বাস করি যে আরও ভাল কারণ রয়েছে।

Answer 3

দুর্দান্ত প্রশ্ন। ড্র্যাগ0 সুন্দরভাবে ব্যাখ্যা করেছে তবে আমি একমত, কিছু ভুল।

এটি কোনও ছবি দেখার এবং সীমান্তের সাথে ডিল করার মতো। বাস্তব জীবনে আপনি আরও চোখের দিকে চোখ সরিয়ে নিতে পারেন; কোন সত্যিকারের সীমানা নেই। সুতরাং এটি মাধ্যমের একটি সীমাবদ্ধতা।

আকার সংরক্ষণের পাশাপাশি, এটি কি কোনও ব্যাপার? আমি সন্তোষজনক উত্তরের বিষয়ে অবগত নই তবে আমি অনুমান (অপ্রমাণিত) যে মনোযোগ এবং অবসান (আংশিক বস্তু) নিয়ে পরীক্ষা-নিরীক্ষা করে আমাদের সীমানায় হারিয়ে যাওয়া তথ্যের দরকার নেই। আপনি যদি কিছু স্মার্ট করে থাকেন (বলুন এর পাশের পিক্সেলটি অনুলিপি করুন), তবে আমি নিজের পরীক্ষা-নিরীক্ষা না করেও উত্তরটির পরিবর্তন হবে না। 0 এর সাথে প্যাডিং দ্রুত এবং আকার সংরক্ষণ করে, তাই আমরা এটি করি।

Answer 4

এই আমার চিন্তা। আউটপুট বৈশিষ্ট্য ভেক্টরের আকার রাখার জন্য প্রাথমিক সময়ে শূন্য প্যাডিং গুরুত্বপূর্ণ। এবং এর উপরের কেউ বলেছে যে শূন্য প্যাডিংয়ের আরও কর্মক্ষমতা রয়েছে।

তবে শেষ সময়টা কেমন? চিত্র বৈশিষ্ট্য ভেক্টর রেজোলিউশন খুব ছোট, এবং পিক্সেল মান মানে কিছু গ্লোবাল আকারের এক ধরণের ভেক্টর।

আমি মনে করি শেষ ক্ষেত্রে কোনও ধরণের মিররিং ভাল তবে জিরো প্যাডিং।

Answer 5

সীমান্তে তথ্য রাখার বিশদ বিবরণে, মূলত, কোণে অবস্থিত পিক্সেলটি (সবুজ ছায়া গো) যখন বোঝানো হয় ঠিক তখনই ব্যবহার করা হবে যেখানে মাঝের অংশটি শেড শেডের মতো ফলাফলের মানচিত্রটিতে একাধিকবার অবদান রাখবে husতবে , আমরা চিত্রটি প্যাড করুন চিত্র দেখুন: 2 ।

Answer 6

আমি তথ্যের বিষয়ে বলতে চেষ্টা করব যে প্যাড করা কখন ঠিক হবে এবং কখন তা নয়।

বেস কেসটির জন্য টেনসরফ্লো প্যাডিং কার্যকারিতাটির উদাহরণ নিই। এটি "বৈধ" বা "একই" দুটি পরিস্থিতি সরবরাহ করে। একই আউটপুটটির আকার সংরক্ষণ করবে এবং উপযুক্ত প্যাডিং যুক্ত করে ইনপুটটির মতো রাখবে, যদিও বৈধ তা করবে না এবং কিছু লোক দাবি করে যে এটি তথ্য ক্ষতির দিকে নিয়ে যাবে, তবে এখানে ধরা পড়ল ।

এই তথ্য হ্রাস কার্নেল বা আপনি যে ফিল্টারটি ব্যবহার করছেন তার আকারের উপর নির্ভর করে। উদাহরণস্বরূপ, ধরা যাক আপনার একটি 28x28 চিত্র রয়েছে এবং ফিল্টারটির আকার 15x15 (আসুন আমরা বলি)। আউটপুটটির মাত্রা 16x16 হওয়া উচিত, তবে আপনি যদি টেনসরফ্লোতে "একই" ব্যবহার করে প্যাড করেন তবে এটি 28x28 হবে। এখন নিজের মধ্যে 12 টি সারি এবং 12 টি কলাম কোনও অর্থবহ তথ্য বহন করে না তবে এখনও শোনার একধরণের হিসাবে রয়েছে। এবং আমরা সকলেই জানি যে গভীর অধ্যয়নের মডেলগুলি কোলাহলের দিকে কতটা সংবেদনশীল। এটি প্রশিক্ষণকে অনেক হ্রাস করতে পারে। সুতরাং আপনি যদি বড় ফিল্টার ব্যবহার করেন তবে ভাল প্যাডিংয়ের সাথে না যান।