নিউরাল-নেটওয়ার্কগুলি ডিজাইনের জন্য কোনও থাম্ব-রুল আছে?


12

আমি জানি যে একটি নিউরাল-নেটওয়ার্ক আর্কিটেকচার বেশিরভাগই সমস্যা এবং নিজেই ইনপুট / আউটপুটের ধরণের উপর ভিত্তি করে তৈরি হয়, তবে এখনও - একটি নির্মাণ শুরু করার সময় সর্বদা একটি "বর্গক্ষেত্র" থাকে। সুতরাং আমার প্রশ্নটি হল - এমএক্সএন-এর একটি ইনপুট ডেটাসেট দেওয়া হয়েছে (এম রেকর্ডের সংখ্যা, এন বৈশিষ্ট্যের সংখ্যা) এবং একটি সি সম্ভাব্য আউটপুট ক্লাস - আমাদের কত স্তর / ইউনিট শুরু করতে হবে তার একটি থাম্ব-রুল রয়েছে?


এই প্রশ্নের সম্ভাব্য উত্তরগুলি খুব সমস্যাযুক্ত। চিত্র অবজেক্টের স্বীকৃতি দেওয়ার জন্য কিছু কার্যকর নিয়ম থাকতে পারে তবে এই বিধিগুলি কোনও আলাদা ডেটাসেটে কাজ নাও করতে পারে।
horaceT

উত্তর:


10

এই প্রশ্নের ক্রসভিলেটেডে বিস্তারিতভাবে উত্তর দেওয়া হয়েছে: ফিডফোরওয়ার্ড নিউরাল নেটওয়ার্কে কীভাবে লুকানো স্তর এবং নোডের সংখ্যা চয়ন করবেন?

তবে, আমার নিজের দুটি সেন্ট যুক্ত করুন:

সেরা নিউরাল নেটওয়ার্ক আর্কিটেকচার বাছাই করার জন্য কোনও ম্যাজিক নিয়ম নেই, তবে আপনি যদি কোনও স্থাপত্য সন্ধান করতে পারেন তবে কেউ একই ধরণের সমস্যা সমাধান করতে ব্যবহার করেছেন এটি প্রায়শই একটি দুর্দান্ত সূচনা পয়েন্ট।

সর্বাধিক দেখার জন্য সেরা স্থানগুলি হ'ল কেরাস, পাইটর্চ বা টেনসরফ্লু এবং জনপ্রিয় একাডেমিক সাহিত্যে বর্ণিত আর্কিটেকচারের মতো জনপ্রিয় নিউরাল নেটওয়ার্ক লাইব্রেরি ব্যবহার করে অফিসিয়াল বা অফিশিয়াল উদাহরণ। গিথুবের উপর কেরাস / উদাহরণগুলি একটি দুর্দান্ত সংস্থান।

এই স্থাপত্যগুলি সম্ভবত প্রচুর পরীক্ষা এবং ত্রুটির পরে বেছে নেওয়া হয়েছিল, সুতরাং বেশিরভাগ কাজ আপনার জন্য করা হয়ে থাকবে।


6
ক্রসভিলেটেড উত্তরের একটি সতর্কতা হ'ল এটি এখন 7+ বছর পুরানো এবং আপনার লুকানো স্তরগুলি কনফিগার করার "চমৎকার সংক্ষিপ্তসার" জন্য একটি 15+ বছরের পুরানো FAQ এ নির্দেশ করে। গত 7-15 বছরে এনএন কনফিগারেশন নিয়ে প্রচুর কাজ হয়েছে তা বলাই বাহুল্য। সেখানে ক্রমবর্ধমান সংখ্যক অ্যাপ্লিকেশন রয়েছে যা " একটি গোপন স্তর যথেষ্ট " ব্যবস্থার বাইরে চলে। - এটি বলেছে যে, বেশিরভাগ সমস্যার জন্য একটি গভীর শিক্ষার পদ্ধতির অতিরিক্ত দক্ষতা থাকতে পারে। একটি একক লুকানো স্তর দিয়ে শুরু করা এবং প্রয়োজনে কেবল গভীর দিকে যাওয়া শক্ত কৌশল।
আরএম

1
ভাল পয়েন্টস, আরএম - দ্বিতীয় উত্তরটি অবশ্য সাম্প্রতিককালে রয়েছে।
ইমরান

@ ইমরান আমি মনে করি আপনি কখনও ওপি প্রশ্নের পুরোপুরি উত্তর দেবেন না। লুকানো নোড এবং আর্কিটেকচারের পছন্দ একটি খুব গভীর প্রশ্ন যা এখনও খুব ভালভাবে বোঝা যায় না। ক্রস লেয়ার সংযোগ সহ রেসনেট এবং প্রশস্ত রেসনেট সাক্ষ্য দিন।
horaceT

আপনার মন্তব্যের জন্য ধন্যবাদ, @ হোরেসটি। আমার প্রয়াসিত উত্তরের অর্থ "এখানে থাম্বের কোনও নিয়ম নেই, তবে প্রয়োগ করা যেতে পারে এমন হিউরিস্টিক্স রয়েছে" to আমি রেস নেট সম্পর্কে সচেতন। আমি কীভাবে আমার উত্তরটি উন্নত করতে পারি দয়া করে আমাকে জানান।
ইমরান

3

আমি নিউরাল নেটওয়ার্কগুলি অন্য নিউরাল নেটওয়ার্কগুলি ডিজাইনের জন্য ব্যবহার করার ধারণাটি অন্বেষণ করে একটি কাগজ পড়েছি, এটি অনুসন্ধান করে নোড এবং স্তরগুলির মধ্যে কোনটি কনফিগারেশন সবচেয়ে কার্যকর। আপনি এখানে একটি পৃষ্ঠাগুলি ডাউনলোড করতে পারেন যেখানে https://arxiv.org/abs/1611.02120 ডাউনলোড করতে পারেন


2

ইমরানের জবাব অনুসরণ করার পরে, তিনি যে লিঙ্কটি করেছেন তার সাথে ক্রসভাইলেটেড পোস্টের মন্তব্যে আমি এই কাগজটি পেয়েছি । জেনেটিক মডেলগুলি ব্যবহারের পরিবর্তে (কোনও নিয়ম-এর-থাম্ব ব্যবহার করার পরিবর্তে) সঠিক আর্কিটেকচার সন্ধানের প্রচেষ্টা ছাড়াও বিভাগ ২.১ একটি / দুই-লুকানো-স্তর সিস্টেমে কতগুলি লুকানো ইউনিট হওয়া উচিত তার কিছু তাত্ত্বিক সীমাবদ্ধতা দেয়।

সম্পাদনা: আমি এই উপপাদ্যটি পরীক্ষা করেছি এবং জানতে পেরেছি যে জেনেটিক মডেলগুলি ব্যবহার করা এলোমেলো আর্কিটেকচার নির্বাচন করার মতোই দুর্দান্ত।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.