গভীর শিক্ষণ ব্যবহার করে বৈশিষ্ট্য নির্বাচন?

Question

আমি গভীর মডেল ব্যবহার করে প্রতিটি ইনপুট বৈশিষ্ট্যের গুরুত্ব গণনা করতে চাই।

তবে আমি গভীর শিখন - গভীর বৈশিষ্ট্য নির্বাচন ব্যবহার করে বৈশিষ্ট্য নির্বাচন সম্পর্কে একটি মাত্র কাগজ পেয়েছি । এগুলি প্রথম লুকানো স্তরের আগে সরাসরি প্রতিটি বৈশিষ্ট্যের সাথে সংযুক্ত নোডের একটি স্তর sertোকায়।

শুনেছি গভীর বিশ্বাস নেটওয়ার্ক (ডিবিএন) এই ধরণের কাজের জন্যও ব্যবহার করা যেতে পারে। তবে আমি মনে করি, ডিবিএন কেবলমাত্র পিসিএর মতো বৈশিষ্ট্যগুলির বিমূর্ততা (গুচ্ছ) সরবরাহ করে, তবে এটি কার্যকরভাবে মাত্রাটি হ্রাস করতে পারে, আমি আশ্চর্য হয়েছি যে যদি প্রতিটি বৈশিষ্ট্যের গুরুত্ব (ওজন) গণনা করা সম্ভব হয় তবে।

ডিবিএন দিয়ে বৈশিষ্ট্যটির গুরুত্ব ক্যালকুলেট করা সম্ভব? এবং গভীর শিক্ষণ ব্যবহার করে বৈশিষ্ট্য নির্বাচনের জন্য অন্যান্য জ্ঞাত পদ্ধতি রয়েছে?

Answer 1

প্রায় কোনও ভবিষ্যদ্বাণী মডেলের জন্য আপনি যে পদ্ধতি নিতে পারেন তা হ'ল প্রথমে আপনার মডেলটিকে প্রশিক্ষণ দেওয়া এবং তার যথার্থতা খুঁজে পাওয়া, তারপরে একটি ইনপুটটির জন্য এতে কিছুটা আওয়াজ যুক্ত করা এবং আবার যথার্থতা পরীক্ষা করা। প্রতিটি ইনপুট জন্য এটি পুনরাবৃত্তি করুন এবং গোলমাল কীভাবে পূর্বাভাসগুলি আরও খারাপ করে তা পর্যবেক্ষণ করুন। যদি কোনও ইনপুট গুরুত্বপূর্ণ হয় তবে শব্দের কারণে অতিরিক্ত অনিশ্চয়তা ক্ষতিকারক হবে।

প্রশ্নটির ইনপুটটির বৈকল্পিকের সাথে আনুপাতিক হতে শব্দের ভিন্নতাটি মনে রাখবেন।

অবশ্যই শব্দটি এলোমেলো এবং আপনি চান না যে এলোমেলো প্রভাবের কারণে একটি ইনপুট গুরুত্বহীন প্রদর্শিত হবে। আপনার যদি কয়েকটি প্রশিক্ষণের উদাহরণ থাকে তবে প্রতিটি প্রশিক্ষণের উদাহরণের জন্য প্রতিটি বারের সাথে নতুন শব্দ যুক্ত করে বারবার নির্ভুলতার পরিবর্তনের গণনা করার বিষয়টি বিবেচনা করুন।

মন্তব্যের জবাবে:

এই বিশ্লেষণটি সম্পূর্ণরূপে একটি ভেরিয়েবল অপসারণ করেও করা যেতে পারে তবে শব্দটি যোগ করার তুলনায় এর কিছুটা ডাউনসাইড রয়েছে।

• মনে করুন যে আপনার কোনও ইনপুট ধ্রুবক, এটি পক্ষপাতদুশ শব্দের মতো কাজ করে তাই এর পূর্বাভাসে কিছু ভূমিকা রাখতে পারে তবে এটি কোনও তথ্য যোগ করে না। আপনি যদি এই ইনপুটটিকে পুরোপুরি সরিয়ে ফেলে থাকেন তবে ভবিষ্যদ্বাণীটি কম নির্ভুল হয়ে উঠবে কারণ অনুধাবনকারীরা ভুল পক্ষপাত পাচ্ছেন। এটি ইনপুটটিকে এমন চেহারা তৈরি করে যা ভবিষ্যদ্বাণী করার জন্য গুরুত্বপূর্ণ যদিও এটি কোনও তথ্য না জুড়ে। শব্দ যোগ করা এই সমস্যার কারণ হবে না। আপনি যদি সমস্ত ইনপুটকে শূন্য গড় হিসাবে মানক করে থাকেন তবে এই প্রথম পয়েন্টটি কোনও সমস্যা নয়।

• দুটি ইনপুট যদি পরস্পর সম্পর্কিত হয় তবে একটি ইনপুট সম্পর্কিত তথ্য অন্যটির তথ্য দেয়। কোনও মডেল আপনি যদি কোনও একটি সম্পর্কিত সম্পর্কযুক্ত ইনপুট ব্যবহার করেন তবে ভালভাবে প্রশিক্ষণ দেওয়া যেতে পারে তাই আপনি বিশ্লেষণটি জানতে চান যে কোনও ইনপুট সহায়ক নয়। আপনি যদি কেবলমাত্র ইনপুটগুলি সরিয়ে ফেলেন, তবে প্রথম দফার মতো, ভবিষ্যদ্বাণীটির যথার্থতা অনেকটা হ্রাস পাবে যা ইঙ্গিত দেয় যে এটি গুরুত্বপূর্ণ। যাইহোক, শব্দ যোগ করা এই সমস্যার কারণ হবে না।

Comments

হিউ, বৈশিষ্ট্যটি সরিয়ে আমি এটি করার সাথে পরিচিত। শব্দটির সাথে বৈশিষ্ট্যটি প্রতিস্থাপনের সুবিধা কী কী?

— ডএল

@ ড্যান আমার অর্থ এই নয় যে বৈশিষ্ট্যটি পুরো শব্দটির সাথে পুরোপুরি প্রতিস্থাপন করা উচিত, যাতে কিছুটা শব্দ যোগ করা উচিত। কোনও বৈশিষ্ট্য অপসারণ গুরুত্বপূর্ণ গুরুত্বহীন বৈশিষ্ট্যগুলিকে গুরুত্বপূর্ণ করে তুলতে পারে যদি তাদের শূন্য ন্যূনতম থাকে বা তারা অন্যান্য ভেরিয়েবলের সাথে সম্পর্কিত হয়। আমি ব্যাখ্যা করতে আমার উত্তর সম্পাদনা করেছি।

— হিউ

মন্তব্য করার জন্য আপনাকে ধন্যবাদ. তবে বাস্তবে আমার বেশ কয়েকটি বৈশিষ্ট্য সেট রয়েছে (ইনপুট) এবং তাদের মধ্যে অনেকগুলি পারস্পরিক সম্পর্কযুক্ত। এক্ষেত্রে সম্ভবত গণনার সময়টি এন এর কাছাকাছি চলে যাবে! আমি সংমিশ্রণ বিবেচনা করা প্রয়োজন হিসাবে। সুতরাং আমি গভীর শিখন-ভিত্তিক মডেল প্রয়োগ করতে চাই যা জটিল বৈশিষ্ট্য সংমিশ্রণ বিবেচনা করতে পারে।

— z991

@ z991 মাল্টিভেরিয়েবল লিনিয়ার রিগ্রেশন এ একই সমস্যাটি ভেরিয়েবলগুলির সাথে ঘটতে পারে যা পুরোপুরি সম্পর্কযুক্ত নয়। প্রায়শই আমরা একবারে প্রতিটি পরিবর্তনশীল পরিচয় করিয়ে দিই বা সমস্ত ভেরিয়েবল ব্যবহার করি এবং সেগুলি একবারে মুছে ফেলি। সর্বাধিক সংমিশ্রণটি গণনা করার কোনও উপায় নেই। যদি লিনিয়ার রিগ্রেশনটির জন্য এটি সমাধান না করা হয় তবে আপনি এনএন এর সমাধান পাবেন না। আপনি একই পন্থাটি নিতে পারেন এবং একবারে ভেরিয়েবলগুলি অপসারণ করতে পারেন এবং এন এড়ান! গণনার।

— হিউ

@ হিউজ মন্তব্যের জন্য আপনাকে ধন্যবাদ। আমি আপনার সাথে একমত. তবে আমি যা জানতে চেয়েছিলাম তা হ'ল গভীর শিক্ষার সাথে বা নিউরাল নেটওয়ার্কের মাধ্যমে প্রতিটি বৈশিষ্ট্যের গুরুত্ব কীভাবে গণনা করা যায়। তারা বেশ কয়েকটি বৈশিষ্ট্য নিষ্কাশন (লুকানো স্তর) ব্যবহার করার কারণে, বৈশিষ্ট্যটির গুরুত্ব বিশ্লেষণ করা আমার পক্ষে কঠিন ছিল। প্রতিটি বৈশিষ্ট্যের পুরো ওজন গণনা করা সম্ভব তবে এটি বেশ জটিল এবং সময়সাপেক্ষ বলে মনে হচ্ছে। সংযুক্ত কাগজটিতে একটি একক লিনিয়ার স্তর ব্যবহৃত হয়েছিল এবং আমি মনে করি এটি একটি ভাল ধারণা। নেটওয়ার্কে বৈশিষ্ট্যটির গুরুত্ব বিশ্লেষণের জন্য আমি আরও ভাল পদ্ধতি জানতে চেয়েছিলাম।

— z991

Answer 2

সম্ভবত এই কাগজটি পরীক্ষা করুন: https://arxiv.org/pdf/1712.08645.pdf

বৈশিষ্ট্যগুলি র‌্যাঙ্ক করতে তারা ড্রপআউট ব্যবহার করে।

... এই কাজে আমরা ইনপুট বৈশিষ্ট্য স্তরটিতে ড্রপআউট ধারণাটি ব্যবহার করি এবং সংশ্লিষ্ট বৈশিষ্ট্য অনুযায়ী ড্রপআউট হারকে অনুকূলিত করি। যেহেতু প্রতিটি বৈশিষ্ট্য স্থবিরভাবে মুছে ফেলা হয়, তাই আমাদের পদ্ধতিটি ফিচার ব্যাগিংয়ের (হো, 1995) একইরকম প্রভাব তৈরি করে এবং অন্যান্য নন-ব্যাগিং পদ্ধতির যেমন লাসো-র তুলনায় পারস্পরিক সম্পর্কযুক্ত বৈশিষ্ট্যগুলি আরও ভালভাবে র‌্যাঙ্ক করে। আমরা আমাদের পদ্ধতিটি র্যান্ডম ফরেস্ট (আরএফ), ল্যাসো, ইলাস্টিক নেট, প্রান্তিক র‌্যাঙ্কিং এবং ডিএনএন যেমন গভীর বৈশিষ্ট্য নির্বাচন এবং বিভিন্ন হিউরিস্টিক হিসাবে গুরুত্ব অর্জনের জন্য বেশ কয়েকটি কৌশলগুলির সাথে তুলনা করি ...

Answer 3

এই পোস্টে একবার দেখুন: https://medium.com/@a.mirzaei69/how-to-use-DP-learning-for-feature-selection-python-keras-24a68bef1e33

এবং এই কাগজ: https://arxiv.org/pdf/1903.07045.pdf

তারা বৈশিষ্ট্য নির্বাচনের জন্য গভীর মডেল প্রয়োগ করার জন্য একটি দুর্দান্ত স্কিম উপস্থাপন করে।