আমি কীভাবে আমার নিউরাল নেটওয়ার্ক স্থিতিশীলতার উন্নতি করব?

Question

আমি 14 ইনপুট এবং একটি আউটপুট দিয়ে এনএন তৈরি করতে আর-তে নিউরনেট ব্যবহার করছি। আমি একই ইনপুট প্রশিক্ষণের ডেটা এবং একই নেটওয়ার্ক আর্কিটেকচার / সেটিংস ব্যবহার করে নেটওয়ার্কটি বেশ কয়েকবার তৈরি / প্রশিক্ষণ করি।

প্রতিটি নেটওয়ার্ক উত্পাদিত হওয়ার পরে আমি এটি পূর্বাভাসকৃত মানগুলি গণনা করতে পরীক্ষার ডেটাগুলির একা একা স্ট্যান্ডে ব্যবহার করি। আমি খুঁজে পাচ্ছি যে প্রতিটি ইনপুট (প্রশিক্ষণ ডেটা এবং পরীক্ষার ডেটা উভয়) নেটওয়ার্ক তৈরির সময় প্রতিটি একইরকম থাকা সত্ত্বেও পূর্বাভাসিত ডেটার প্রতিটি পুনরাবৃত্তির মধ্যে একটি বিশাল বৈকল্পিকতা রয়েছে।

আমি বুঝতে পেরেছি যে এনএন এর ভিতরে প্রতিবার উত্পাদিত ওজনের মধ্যে পার্থক্য থাকবে এবং কোনও দুটি নিউরাল নেটওয়ার্ক অভিন্ন হবে না, তবে অভিন্ন ডেটা দেওয়া হলে আমি প্রতিটি ট্রেন জুড়ে আরও ধারাবাহিকভাবে এমন নেটওয়ার্ক তৈরির চেষ্টা করব কি করে?

Comments

আপনি (বা আর প্যাকেজ) ব্যবহার করেছেন এমন শেখার অ্যালগরিদম এবং আর্কিটেকচার সম্পর্কে আপনি কি আমাদের কিছুটা আরও বিশদ দিতে পারেন? এনএন কত স্তর আছে?

— লুকাস

হাই লুকাস, আমি আর প্যাকেজ নিউরনেট লিঙ্কটি ব্যবহার করছি যা এখানে একটি ভাল ব্যাখ্যামূলক নিবন্ধ আছে লিঙ্ক । আমি 8 টি নিউরনের একটি লুকানো স্তর ব্যবহার করছি। লার্নিং অ্যালগরিদম হ'ল ওজন ব্যাকট্র্যাকিং সহ স্থিতিশীল ব্যাকপ্রসারণ।

— tfb

Answer 1

সাধারণভাবে আপনি লুকানো নোডের সংখ্যা বাড়িয়ে এবং উপযুক্ত ওজন ক্ষয় (ওরফে রিজ পেনাল্টি) ব্যবহার করে আরও স্থিতিশীলতা পাবেন।

বিশেষত, আমি caretআপনার যথার্থতার আরও ভাল ধারণা পেতে প্যাকেজটি ব্যবহার করার পরামর্শ দিচ্ছি (এবং আপনার যথার্থতার অনিশ্চয়তাও avNNet। আমি ব্যক্তিগতভাবে ব্যবহার করে বিশাল উন্নতি দেখিনি avNNetতবে এটি আপনার মূল প্রশ্নের সমাধান করতে পারে।

আপনার ইনপুটগুলি যথাযথভাবে কন্ডিশনেড রয়েছে কিনা তাও আমি নিশ্চিত করেছিলাম। আপনি কি orthogonalized করেছেন এবং তারপরে সেগুলি আবার স্কেল করেছেন? ক্যারেট এছাড়াও এটির pcaNNetফাংশনের মাধ্যমে আপনার জন্য প্রাক প্রাক প্রক্রিয়াজাতকরণ করতে পারে।

শেষ পর্যন্ত আপনি কিছু এড়িয়ে যাওয়া স্তর সংযোগে টসিং বিবেচনা করতে পারেন। আপনাকে অবশ্যই নিশ্চিত করতে হবে যে এই সংযোগগুলিকে স্কু করার জন্য আপনার ডেটাতে কোনও বিদেশি / উত্সাহ পয়েন্ট নেই।

Comments

মজার বিষয় হল আমি নেটটির প্রশিক্ষণটি 'নেট' ফাংশনে (একই নামের প্যাকেজে উপলব্ধ) স্যুইচ করেছি এবং ডেটা পরীক্ষার সেটের ফলাফলগুলি আরও স্থিতিশীল হয়ে উঠেছে - সম্ভবত ওজনগুলি বিভিন্নভাবে করার জন্য কিছু হতে পারে দুটি প্যাকেজের মধ্যে আরম্ভ?

— tfb

ইন nnetপ্রাথমিক ওজন সব 0.7 মধ্যে -0,7 ও একটি অভিন্ন র্যান্ডম সংখ্যা সক্রিয়া করা হয়, তাহলে আমি সঠিকভাবে কথা বলেন। এবং আপনি একটি প্যারামিটারে মাত্রা নিয়ন্ত্রণ করতে পারেন। আমি সত্যই nnetপ্যাকেজটির সাথে দৃ luck় ভাগ্য পেয়েছি এবং অন্যান্য বিকল্পগুলির মধ্যে কখনও চেষ্টা করে দেখিনি। শুভকামনা করছি!

— শেয়া পার্কস

Answer 2

আমি আর এর সাথে কাজ করি নি, তাই আমি কেবল আরও সাধারণ টিপস দিতে পারি।

অ্যালগরিদম রূপান্তরিত হয়েছে কিনা তা আপনি পরীক্ষা করেছেন? একটি সম্ভাব্য ব্যাখ্যা হতে পারে যে বিভিন্ন পরামিতি সেটগুলি কোথাও কোথাও একই অনুকূলতমের অর্ধেক পথ।

যদি অ্যালগোরিদম সর্বদা পরিবর্তিত হয় তবে আলাদা স্থানীয় সর্বোত্তম হয়ে যায় তবে আপনি এড়াতে চেষ্টা করতে পারেন এমন অনেকগুলি হিউরিস্টিক রয়েছে। একটি সরল কৌশল ব্যবহার করে যখন সম্ভাব্যতার সূত্রাবলি গ্রেডিয়েন্ট বংশদ্ভুত (SGD) ছোট ব্যাচ এবং বড় ব্যবহার করতে হবে ভরবেগ । ছোট ব্যাচের আকারগুলি কার্যকরভাবে প্রশিক্ষণের মধ্যে কিছু শব্দকে প্রবর্তন করে যা কিছু স্থানীয় অপটিমা থেকে বাঁচতে সহায়তা করে। আরও অনেক পরিশীলিত কৌশল হ'ল অটোইনকোডারগুলি ব্যবহার করে ওজনকে আরম্ভ করা ।

Comments

একটি ফাই যেমন ঠিক ততদিন nnetবেস বেস থেকে ব্যবহার করে ততক্ষণ এটি আর এর থেকে বিএফজিএস অপ্টিমাইজেশন পদ্ধতি ব্যবহার করে optim। এটি পৃষ্ঠের চিত্র পাওয়ার জন্য গ্রেডিয়েন্টগুলি গণনা করে। এটি বাস্তবায়নে কোনও ব্যাচ প্রক্রিয়াজাতকরণ এবং কোনও স্থির গতিবেগের প্যারামিটার নেই। সব বলার পরে, এটি সহজেই রূপান্তর করতে ব্যর্থ হতে পারে; বিশেষত আবর্জনা সহ।

— শেয়া পার্কস

শিয়া মন্তব্যসমূহ এবং উত্তরগুলির জন্য @ শিয়াপার্কসকে ধন্যবাদ জানায়। আমি আসলে নিউরনেট প্যাকেজটি ব্যবহার করছি - উপরে মন্তব্য দেখুন। এটি ওজন ব্যাকট্র্যাকিং সহ একটি স্থিতিস্থাপক ব্যাকপ্রসারণ অ্যালগরিদম ব্যবহার করে

— tfb

তারপরে আমার ক্ষমাপ্রার্থী লুকাস, আমি সেই টিডিবিটটি মিস করলাম। আমি খুশি যে আপনি এটি টিএফবি কার্যকর করেছেন।

— শেয়া পার্কস