কোনও এলএসটিএম-এ লুকানো স্তরগুলির সংখ্যা এবং মেমরি কোষের সংখ্যা কীভাবে নির্বাচন করবেন?

Question

আমি কীভাবে লুকানো স্তরগুলির সংখ্যা এবং কোনও এলএসটিএম ভিত্তিক আরএনএন এর আকার নির্বাচন করতে পারি সে সম্পর্কে কিছু গবেষণা অনুসন্ধান করার চেষ্টা করছি।

এই সমস্যাটি তদন্ত করা হচ্ছে এমন কোনও নিবন্ধ আছে, অর্থাত, একজনের কয়টি মেমোরি কোষ ব্যবহার করা উচিত? আমি ধরে নিলাম এটি সম্পূর্ণরূপে প্রয়োগের উপর নির্ভর করে এবং কোন প্রসঙ্গে মডেলটি ব্যবহৃত হচ্ছে, তবে গবেষণাটি কী বলে?

Answer 1

আপনার প্রশ্নটি বেশ বিস্তৃত তবে এখানে কয়েকটি টিপস রয়েছে:

ফিডফোর্ড নেটওয়ার্কগুলির জন্য, এই প্রশ্নটি দেখুন :

@ ডগের উত্তর আমার পক্ষে কাজ করেছে। থাম্বের একটি অতিরিক্ত নিয়ম রয়েছে যা তত্ত্বাবধানে শেখার সমস্যাগুলির জন্য সহায়তা করে। ওভার-ফিটিংয়ের ফলাফল না দেয় এমন লুকানো নিউরনের সংখ্যার উপরের আবদ্ধ হ'ল:

$$N_h = \frac{N_s} {(\alpha * (N_i + N_o))}$$

$N_i$ = ইনপুট নিউরনের সংখ্যা। = আউটপুট নিউরনের সংখ্যা। প্রশিক্ষণের ডেটা সেটে = নমুনার সংখ্যা। = একটি নির্বিচারে স্কেলিং ফ্যাক্টর সাধারণত 2-10। অন্যরা 5 এবং 10 এর মধ্যে একটি সেট করার পরামর্শ দেয় তবে আমি 2 টির মান প্রায়শই অত্যধিক মান ছাড়াই কাজ করবে বলে মনে করি। এই দুর্দান্ত এনএন ডিজাইনের পাঠ্য হিসাবে ব্যাখ্যা করা হয়েছে , আপনি আপনার মডেলটিতে মুক্ত পরামিতিগুলির সংখ্যা (এর ডিগ্রি বা নানজারো ওজনের সংখ্যা) আপনার ডেটাতে স্বাধীনতার ডিগ্রিগুলির একটি ছোট অংশের মধ্যে সীমাবদ্ধ করতে চান । আপনার ডেটাতে স্বাধীনতার ডিগ্রি হ'ল প্রতিটি নমুনায় স্বাধীনতার ডিগ্রি (মাত্রা) বা সংখ্যা samples$N_o$$N_s$$\alpha$
$alpha$$N_s * (N_i + N_o)$ (তারা সবাই স্বাধীন বলে ধরে )। সুতরাং হ'ল এটি নির্দেশ করার একটি উপায় যা আপনি নিজের মডেলটি কতটা সাধারণ হতে চান, বা আপনি কী পরিমাণ অতিরিক্ত চাপ প্রতিরোধ করতে চান।$\alpha$

একটি স্বয়ংক্রিয় পদ্ধতির জন্য আপনি 2 এর আলফা দিয়ে শুরু করতে চান (আপনার মডেল হিসাবে আপনার প্রশিক্ষণের ডেটাতে দ্বিগুণ স্বাধীনতার দ্বিগুণ) এবং যদি ট্রেনিং-বৈধতার চেয়ে প্রশিক্ষণের ডেটার জন্য ত্রুটি উল্লেখযোগ্যভাবে ছোট হয় তবে 10 পর্যন্ত আপনার পথ চালাবেন তথ্য সেট।

আর LSTM এর উপর বিশেষভাবে, আপনি চেক আউট করতে চাইতে পারেন এই ।

তবে মূল বিষয়: আপনার যে পরিমাণ গোপন নোড ব্যবহার করা উচিত সে সম্পর্কে কোনও নিয়ম নেই, এটি প্রতিটি ক্ষেত্রে বিচার এবং ত্রুটির দ্বারা আপনাকে খুঁজে বের করতে হবে ।

Answer 2

LSTM- এ লুকানো স্তরগুলির সংখ্যা এবং মেমরি সেলগুলির সংখ্যা নির্বাচন করুন সর্বদা অ্যাপ্লিকেশন ডোমেন এবং প্রসঙ্গের উপর নির্ভর করে যেখানে আপনি এই LSTM প্রয়োগ করতে চান।

লুকানো স্তরগুলির জন্য। লুকানো স্তর (গুলি) প্রবর্তন নেটওয়ার্কের পক্ষে অ-রৈখিক আচরণ প্রদর্শন করা সম্ভব করে।

লুকানো ইউনিটগুলির সর্বোত্তম সংখ্যা সহজেই ইনপুটগুলির সংখ্যার চেয়ে ছোট হতে পারে, এন দিয়ে ইনপুট সংখ্যাকে গুণ করার মতো কোনও নিয়ম নেই ... আপনার যদি প্রশিক্ষণের অনেকগুলি উদাহরণ থাকে তবে আপনি একাধিক লুকানো ইউনিট ব্যবহার করতে পারেন তবে কখনও কখনও কেবল 2 লুকানো ইউনিট অল্প ডেটা সহ সেরা কাজ করে। সাধারণত লোকেরা সহজ কাজের জন্য একটি লুকানো স্তর ব্যবহার করে তবে আজকাল গভীর নিউরাল নেটওয়ার্ক আর্কিটেকচারে গবেষণা দেখায় যে অনেকগুলি লুকানো স্তরগুলি কঠিন বস্তু, হাতের লিখিত চরিত্র এবং স্বীকৃতি সমস্যার জন্য কার্যকর হতে পারে।

I assume it totally depends on the application and in which context the model is being used.

Comments

অ-লিনিয়ারিটি অ-রৈখিক অ্যাক্টিভেশন ফাংশন ব্যবহারের কারণে হয়। স্তরগুলির সংখ্যা কেবল এনএন এর অভিব্যক্তি বাড়িয়ে তোলে। আপনার এই উত্তরটি সংশোধন করা উচিত। লিনিয়ার ফাংশনগুলির সংমিশ্রণগুলি এখনও লিনিয়ার ফাংশন (সুতরাং, যদি আপনার একাধিক স্তর থাকে যা কেবল ইনপুটগুলির একটি রৈখিক সংমিশ্রণ সম্পাদন করে তবে এই স্তরগুলির সংমিশ্রণটি এখনও রৈখিক হবে)।

— nbro

Answer 3

সাধারণভাবে, কোনও এলএসটিএম-তে স্তরগুলির সংখ্যা বা মেমরি কোষের সংখ্যা নির্ধারণের জন্য কোনও নির্দেশিকা নেই।

কোনও এলএসটিএম-এ প্রয়োজনীয় স্তর এবং কক্ষের সংখ্যা সমস্যার বিভিন্ন দিকগুলির উপর নির্ভর করে:

1. জটিলতা ডেটাসেটের। বৈশিষ্ট্যগুলির পরিমাণ, ডেটা পয়েন্টের সংখ্যা ইত্যাদি

2. ডেটা তৈরির প্রক্রিয়া। ডেটা উত্পন্নকরণ প্রক্রিয়া কীভাবে গুরুত্বপূর্ণ ভূমিকা নিতে পারে তার উদাহরণ অনুসরণ করে।

প্রাক্তন - একটি তাত্পর্যপূর্ণ অর্থনীতির জিডিপির পূর্বাভাসের তুলনায় তেলের দামের পূর্বাভাস। পূর্বেরটি আগেরটির চেয়ে অনেক সহজ is সুতরাং, তেলের দামের পূর্বাভাস দেওয়ার সাথে সাথে জিডিপির তুলনায় একই নির্ভুলতার সাথে পূর্বাভাস দিতে আরও বেশি সংখ্যক এলএসটিএম মেমরি কোষের প্রয়োজন হতে পারে।

3. ব্যবহারের ক্ষেত্রে যথাযথতা প্রয়োজন memory মেমরি কোষের সংখ্যা এটির উপর নির্ভর করে। লক্ষ্যটি যদি অত্যাধুনিক শিল্পকে হারাতে হয় - সাধারণভাবে সাধারণের আরও একটি এলএসটিএম কোষ প্রয়োজন। যুক্তিসঙ্গত পূর্বাভাস নিয়ে আসার লক্ষ্যটির সাথে এটি তুলনা করুন - যার জন্য কম সংখ্যক এলএসটিএম কোষের প্রয়োজন হবে।

আমি এলএসটিএম ব্যবহার করে মডেলিং করার সময় এই পদক্ষেপগুলি অনুসরণ করি:

1. 2 বা 3 মেমরি সেল সহ একটি একক লুকানো স্তর চেষ্টা করুন। এটি কীভাবে একটি মানদণ্ডের বিরুদ্ধে কর্ম সম্পাদন করে দেখুন। যদি এটি কোনও টাইম সিরিজের সমস্যা হয় তবে আমি সাধারণত শাস্ত্রীয় সময় সিরিজ কৌশলগুলি মাপদণ্ড হিসাবে চিহ্নিত করি।

2. চেষ্টা করুন এবং মেমরি সেলগুলির সংখ্যা বাড়িয়ে দিন। পারফরম্যান্স যদি খুব বেশি না বাড়ছে তবে পরবর্তী পদক্ষেপে এগিয়ে যান।

3. নেটওয়ার্ক গভীর করা শুরু করুন অর্থাত্ স্বল্প সংখ্যক মেমরি কোষের সাথে অন্য একটি স্তর যুক্ত করুন।

পাশে:

লোকসানের পরিমাণটি বিশ্বব্যাপী মিনিমে পৌঁছাতে এবং সেরা হাইপার-প্যারামিটারগুলিতে টিউন করতে শ্রমের পরিমাণের কোনও সীমা নেই। সুতরাং, মডেলিংয়ের শেষ লক্ষ্যটির দিকে মনোনিবেশ করা যথাসম্ভব যথাযথতা বাড়াতে চেষ্টা করার পরিবর্তে কৌশল হওয়া উচিত।

বেশিরভাগ সমস্যাটি নেটওয়ার্কের 2-3 স্তর ব্যবহার করে পরিচালনা করা যায়।

Answer 4

সম্ভবত আপনার এটি দেখতে হবে: https://wiki.inf.ed.ac.uk/twiki/pub/CSTR/ListenTerm1201415/sak2.pdf

এখানে তারা দেখায় যে 2 স্তরগুলি দুর্দান্ত, 5 স্তরগুলি আরও ভাল এবং 7 স্তরগুলি প্রশিক্ষণ দেওয়া খুব শক্ত।