নিউরাল নেটওয়ার্কগুলি কীভাবে বিভিন্ন ইনপুট আকারের সাথে ডিল করতে পারে?

Question

আমি যতদূর বলতে পারি, নিউরাল নেটওয়ার্কগুলির ইনপুট স্তরে একটি নির্দিষ্ট সংখ্যক নিউরন রয়েছে।

যদি নিউরাল নেটওয়ার্কগুলি এনএলপির মতো একটি প্রসঙ্গে ব্যবহার করা হয় তবে বিভিন্ন মাপের পাঠ্য বা বাক্যগুলির ব্লকগুলি কোনও নেটওয়ার্ককে খাওয়ানো হয়। নেটওয়ার্কের ইনপুট স্তরের স্থির আকারের সাথে কীভাবে পরিবর্তিত ইনপুট আকারের মিলন হয় ? অন্য কথায়, এই জাতীয় নেটওয়ার্ক কীভাবে কোনও ইনপুট মোকাবেলায় যথেষ্ট নমনীয় করে যা এক শব্দ থেকে একাধিক পৃষ্ঠার পাঠ্য হতে পারে?

যদি আমার নির্দিষ্ট সংখ্যক ইনপুট নিউরনের অনুমানটি ভুল হয় এবং ইনপুট আকারের সাথে মিলে নতুন ইনপুট নিউরনগুলি নেটওয়ার্ক থেকে যুক্ত / সরানো হয় তবে এগুলি কীভাবে প্রশিক্ষিত হতে পারে তা আমি দেখতে পাচ্ছি না।

আমি এনএলপির উদাহরণ দিচ্ছি, তবে প্রচুর সমস্যার অন্তর্নিহিত অনির্দেশ্য ইনপুট আকার রয়েছে। আমি এটি মোকাবেলার জন্য সাধারণ পদ্ধতির আগ্রহী।

চিত্রগুলির জন্য, এটি স্পষ্ট যে আপনি একটি নির্দিষ্ট আকারে / ডাউনস্যাম্পল করতে পারবেন তবে পাঠ্যের পক্ষে এটি একটি অসম্ভব পন্থা বলে মনে হচ্ছে যেহেতু পাঠ্য যুক্ত করা / অপসারণটি মূল ইনপুটটির অর্থ পরিবর্তন করে।

Comments

একটি নির্দিষ্ট আকারে ডাউনস্যাম্পলিং করে আপনি কী বোঝাতে চেয়েছেন তা কি আপনি পরিষ্কার করতে পারেন? ডাউনসাম্পলিং কীভাবে করা হয়?

— চার্লি পার্কার

সম্পর্কিত: stats.stackexchange.com/questions/388859/…

— চার্লি পার্কার

Answer 1

তিনটি সম্ভাবনা মাথায় আসে।

সবচেয়ে সহজ হল শূন্য-প্যাডিং । মূলত, আপনি বরং একটি বড় ইনপুট আকার নেন এবং আপনার কংক্রিটের ইনপুট খুব ছোট হলে কেবল জিরো যুক্ত করুন। অবশ্যই, এটি বেশ সীমাবদ্ধ এবং অবশ্যই যদি আপনার ইনপুটটি কয়েকটি শব্দ থেকে পুরো পাঠ্য অবধি থাকে তবে কার্যকর নয়।

আপনার কাছে ইনপুট হিসাবে আকারের বিভিন্ন আকারের পাঠ্য আছে কিনা তা বেছে নেওয়ার জন্য পুনরাবৃত্ত এনএনএস (আরএনএন) খুব স্বাভাবিক এনএন। আপনি একের পর এক শব্দ ভেক্টর (বা এম্বেডিংস) হিসাবে শব্দগুলি ইনপুট করেন এবং আরএনএন এর অভ্যন্তরীণ অবস্থার শব্দের পুরো স্ট্রিংয়ের অর্থ এনকোড করার কথা। এটি পূর্বের একটি কাগজপত্র।

আর একটি সম্ভাবনা হ'ল रिकर्सিভ এনএন ব্যবহার করা । এটি মূলত প্রিপ্রোসেসিংয়ের একটি ফর্ম যার মধ্যে কোনও পাঠ্য পুনরাবৃত্তভাবে কম পরিমাণে শব্দের ভেক্টরগুলিতে কমিয়ে কেবল একমাত্র বাকি না রেখে দেওয়া হয় - আপনার ইনপুট, যা পুরো পাঠ্যটি এনকোড করার কথা। ভাষাগত দৃষ্টিকোণ থেকে এটি যদি আপনার ইনপুটটিতে বাক্য নিয়ে থাকে (যা আকারে অনেকগুলি পরিবর্তিত হতে পারে) থেকে এটি প্রচুর অর্থবোধ করে, কারণ বাক্যগুলি পুনরাবৃত্তভাবে গঠন করা হয়। উদাহরণস্বরূপ, "পুরুষ" এর জন্য ভেক্টর শব্দের অনুরূপ "যে ব্যক্তি তার স্ত্রীকে টুপি হিসাবে ভুল করেছে" এর জন্য ভেক্টর শব্দের অনুরূপ হওয়া উচিত, কারণ বিশেষ্য বাক্যাংশ বিশেষ্যগুলির মতো কাজ করে ইত্যাদি প্রায়শই আপনি ভাষাগত তথ্য ব্যবহার করতে পারেন গাইড করার জন্য বাক্যে আপনার পুনরাবৃত্তি আপনি যদি উইকিপিডিয়া নিবন্ধের বাইরে যেতে চান তবে এটি সম্ভবত একটি ভাল শুরু ।

Comments

আপনি "পুনরাবৃত্ত এনএনএস" এবং আরএনএনগুলির মধ্যে পার্থক্য কী? আর রিকার্সিভের জন্য ... এছাড়াও কয়েকটি উদ্ধৃতি এবং পয়েন্টার কার্যকর হবে।

— এরিক প্লাটন

পুনরাবৃত্তি জন্য আর। পুনরাবৃত্তি মানে একই এনএন-তে বারবার লাইনরে ইনপুট যুক্ত করা। পুনরাবৃত্তির অর্থ গাছের কাঠামোর সাথে ডেটা ইনপুট করা।

— ব্লাইন্ডকংফুমাস্টার

এমএলপিগুলির জন্য মাস্ক সহ ব্লিন্ডকংফুমাস্টার 0 প্যাডিং কি ভাল এবং সঠিকতাটিকে খারাপভাবে প্রভাবিত করে না?

— দিনা টাকলিট

Answer 2

অন্যরা ইতিমধ্যে উল্লেখ করেছে:

• শূন্য প্যাডিং
• RNN
• পুনরাবৃত্ত এনএন

সুতরাং আমি আরও একটি সম্ভাবনা যুক্ত করব: ইনপুট আকারের উপর নির্ভর করে বিভিন্ন পরিমাণে কনভলিউশন ব্যবহার করা। এখানে একটি দুর্দান্ত বই রয়েছে যা এই পদ্ধতির ব্যাক আপ করে:

চিত্রগুলির সংগ্রহ বিবেচনা করুন, যেখানে প্রতিটি চিত্রের আলাদা প্রস্থ এবং উচ্চতা থাকে। স্থির আকারের ওজন ম্যাট্রিক্স সহ এই জাতীয় ইনপুটগুলি কীভাবে মডেল করা যায় তা স্পষ্ট is কনভলিউশনটি প্রয়োগ করা সহজ; কার্নেলটি কেবলমাত্র ইনপুটটির আকারের উপর নির্ভর করে বিভিন্ন সংখ্যক বার প্রয়োগ করা হয় এবং ততক্ষণে কনভোলশন অপারেশনের স্কেলগুলি আটকানো হয়।

360 পৃষ্ঠা থেকে নেওয়া হয়েছে। আপনি আরও কিছু পন্থা দেখতে আরও পড়তে পারেন।

Comments

আমার কাছে এটি ঘটে যে কেবলমাত্র 1) সমস্ত ইনপুট চিত্রের অনুপাত (এআর) একই, 2) আপনি সমস্ত চিত্র একটি প্রদত্ত এআর তে পুনরুদ্ধার করেন বা 3) আপনি জিরো-প্যাড চিত্রগুলিকে জোর করতে বাধ্য হন প্রদত্ত এআর

— ম্যাট ওয়েনহ্যাম

@ সালভাদোর ডালি কি "0" মুখোশ সহ প্যাডিং এমএলপিগুলির জন্য একটি ভাল সমাধান হতে পারে?

— দিনা টাকলিট

আপনার উত্তরে আপনি যে পাঠ্যটি উদ্ধৃত করেছেন তা বইটিতে খুঁজে পাচ্ছি না। সম্ভবত এটি মূলত উপস্থিত ছিল এবং পরে তা সরানো হয়েছে? পৃষ্ঠা 354 তে বর্তমানে একটি অনুচ্ছেদ রয়েছে যা একইভাবে শুরু হয় তবে কখনও স্তরগুলির পরিবর্তনশীল সংখ্যার ব্যবহার হয় না (তবে পরিবর্তে পরিবর্তিত আউটপুট আকার)।

— জোচেন

Answer 3

এনএলপিতে আপনার ইনপুটগুলির অন্তর্নিহিত ক্রম রয়েছে যাতে আরএনএনগুলি প্রাকৃতিক পছন্দ।

পরিবর্তনশীল আকারের ইনপুটগুলির জন্য যেখানে ইনপুটগুলির মধ্যে কোনও নির্দিষ্ট ক্রম নেই, সেখানে নেটওয়ার্ক ডিজাইন করতে পারেন যা:

1. ইনপুটগুলির প্রতিটি গ্রুপের জন্য (যেমন ভাগ করা ওজন সহ) একই সাবনেটওয়ার্কের একটি পুনরাবৃত্তি ব্যবহার করুন। এই পুনরাবৃত্তি সাবনেট ওয়ার্ক ইনপুটগুলির (গ্রুপগুলির) উপস্থাপনা শিখেছে।
2. ইনপুটগুলির প্রতিনিধিত্ব করার জন্য একটি ক্রিয়াকলাপ ব্যবহার করুন যা ইনপুটগুলির মতো একই প্রতিসাম্যতা রয়েছে। অর্ডার ইনগ্রানেন্ট ডেটার জন্য, ইনপুট নেটওয়ার্কগুলি থেকে উপস্থাপনাগুলির গড় গড়ে তোলা একটি সম্ভাব্য পছন্দ।
3. ইনপুটটির উপস্থাপনার সংমিশ্রণের ভিত্তিতে আউটপুটটিতে ক্ষতির ফাংশন হ্রাস করতে একটি আউটপুট নেটওয়ার্ক ব্যবহার করুন।

কাঠামোটি নিম্নরূপ দেখায়:

অনুরূপ নেটওয়ার্কগুলি অবজেক্টগুলির মধ্যে সম্পর্ক শিখতে ব্যবহার করা হয়েছে ( আর্কসিভ: 1702.05068 )।

মানগুলির একটি পরিবর্তনশীল আকারের সেটের নমুনা বৈকল্পিকতা কীভাবে শিখতে হবে তার একটি সহজ উদাহরণ এখানে দেওয়া হয়েছে (অস্বীকৃতি: আমি লিঙ্কিত নিবন্ধটির লেখক)।