গভীর শিক্ষা: কোন পরিবর্তনশীল গুরুত্বপূর্ণ তা আমি কীভাবে জানব?

Question

নিউরাল নেটওয়ার্ক লিঙ্গো (y = ওজন * x + পক্ষপাত) এর ক্ষেত্রে, আমি কীভাবে জানব যে কোন ভেরিয়েবলগুলি অন্যের চেয়ে গুরুত্বপূর্ণ?

আমার কাছে 10 ইনপুট সহ একটি নিউরাল নেটওয়ার্ক রয়েছে, 20 টি নোড সহ 1 টি লুকানো স্তর এবং 1 আউটপুট স্তর যার 1 টি নোড রয়েছে। আমি জানি না কীভাবে ইনপুট ভেরিয়েবলগুলি অন্যান্য ভেরিয়েবলের চেয়ে প্রভাবশালী। আমি যা ভাবছি তা হ'ল যদি কোনও ইনপুট গুরুত্বপূর্ণ হয় তবে এটির প্রথম স্তরের সাথে খুব বেশি ওজনযুক্ত সংযোগ থাকবে তবে ওজন ইতিবাচক বা নেতিবাচক হতে পারে। সুতরাং আমি যা করতে পারি তা হ'ল ইনপুটটির ওজনগুলির নিখুঁত মান নেওয়া এবং তাদের যোগফল। আরও গুরুত্বপূর্ণ ইনপুটগুলির উচ্চতর পরিমাণ হবে।

সুতরাং উদাহরণস্বরূপ, যদি চুলের দৈর্ঘ্য ইনপুটগুলির মধ্যে একটি হয় তবে তার পরবর্তী স্তরের প্রতিটি নোডের সাথে 1 টি সংযোগ থাকা উচিত, সুতরাং 20 সংযোগ (এবং তাই 20 ওজন)। আমি কি প্রতিটি ওজনের নিখুঁত মান নিতে পারি এবং তাদের একসাথে যোগ করতে পারি?

Comments

আপনি অবশ্যই এটি করতে পারেন, তবে "সমস্ত সংযোগের উপর এই ভেরিয়েবলের জন্য সমস্ত ওজনের যোগফল" ছাড়াও এর প্রকৃত অর্থ কী তা পরিষ্কার নয়। একে "গুরুত্ব" বলা পুরোপুরি স্বেচ্ছাচারিতা।

— ম্যাথু ড্রুরি

আমি কেবল এমন কোনও তথ্য চাই যা ভেরিয়েবলের গুরুত্বপূর্ণ পরামর্শ দেয় এবং আমি মনে করি এটি একটি ভাল উপায় হতে পারে।

— ব্যবহারকারী 1367204

Answer 1

আপনি যা বর্ণনা করছেন তা হ'ল নিউরাল নেট ইনপুটগুলির গুরুত্বকে প্রশমিত করার এক মানক উপায়। নোট করুন যে এটি কাজ করার জন্য, তবে ইনপুট ভেরিয়েবলগুলি কোনও উপায়ে স্বাভাবিক করতে হবে। অন্যথায় ইনপুট ভেরিয়েবলের সাথে সম্পর্কিত ওজনগুলি যেগুলির বৃহত্তর মান রয়েছে সেগুলি আনুপাতিকভাবে ছোট হবে। বিভিন্ন নরমালাইজেশন স্কিম রয়েছে যেমন উদাহরণস্বরূপ কোনও ভেরিয়েবলের গড় বিয়োগ করে এর মানক বিচ্যুতি দ্বারা বিভাজন। প্রথম স্থানে যদি ভেরিয়েবলগুলি স্বাভাবিক করা না হয়, তবে আপনি গুরুত্বের গণনায় যেমন ওজনীয়ের মানক বিচ্যুতি দ্বারা গুণ করে ওজনকে নিয়ে সংশোধন করতে পারেন।

$I_i = \sigma_i\sum\limits_{j = 1}^{n_\text{hidden}}\left|w_{ij}\right|$।

এখানে স্ট্যান্ডার্ড ডেভিয়েশন হয় তম ইনপুট, হয় তম ইনপুট এর গুরুত্ব হয় ওজন সংযোগ করতে তম ইনপুট প্রথম স্তরে তম গোপন নোড, এবং প্রথম স্তর লুকানো নোড সংখ্যা।$\sigma_i$$i$$I_i$$i$$w_{ij}$$i$$j$$n_\text{hidden}$

আর একটি কৌশল হ'ল ইনপুটগুলির গড় গড় প্রশ্নের সাথে ইনপুট সম্পর্কিত স্নায়ু-নেট ম্যাপিংয়ের ডেরাইভেটিভ ব্যবহার করা।

$I_i = \sigma_i\left\langle\left|\frac{dy}{dx_i}\right|\right\rangle$

এখানে হয় তম ইনপুট, আউটপুট, এবং প্রত্যাশা মান ইনপুট ভেক্টর থেকে সম্মান সঙ্গে নেওয়া হয় ।$x_i$$i$$y$$\mathbf{x}$

Comments

যদি আমি কেবল ইনপুট এবং প্রথম লুকানো স্তর (সমস্ত লুকানো স্তর ব্যবহার না করে) এর মধ্যে সংযোগগুলি ব্যবহার করি তবে এটি কি কাজ করবে?

— ব্যবহারকারী 1367204

আপনার কেবল প্রথম লুকানো স্তরটি ব্যবহার করা উচিত। এক স্তরের পরে, অন্য ওজনগুলি অন্য কোনও তুলনায় কোনও ইনপুটটিতে আবদ্ধ হয় না। আমি এটি পরিষ্কার করতে উত্তরটি সামান্য সম্পাদনা করেছি।

— স্যাম মেরিনেলি

আমি আরেকটি পদ্ধতির কথা মনে রেখে এটিকে উত্তরে যুক্ত করেছি।

— স্যাম মেরিনেলি

Answer 2

কিছুটা নিষ্ঠুর শক্তি কিন্তু কার্যকর সমাধান:

আপনার কোনও ইনপুট বৈশিষ্ট্যের জন্য ধ্রুবক ব্যবহার করে একটি ইনপুট 'ড্রপ' করার চেষ্টা করুন। তারপরে, সম্ভাব্য প্রতিটি ক্ষেত্রে নেটওয়ার্ককে প্রশিক্ষণ দিন এবং দেখুন যে আপনার নির্ভুলতা কীভাবে কমেছে। গুরুত্বপূর্ণ ইনপুটগুলি সামগ্রিক নির্ভুলতার সর্বাধিক উপকার প্রদান করবে।

Comments

এটা অবশ্যই একটি সম্ভাবনা।

— স্মৃতিচেস

যদিও একটি অসুবিধা রয়েছে: এমনকি যদি কোনও বৈশিষ্ট্যটি অত্যন্ত গুরুত্বপূর্ণ হয় তবে অন্য কোনও বৈশিষ্ট্য যদি প্রথমটির সাথে খুব বেশি সংযুক্ত থাকে তবে আপনার মানদণ্ড দ্বারা তাও গুরুত্বপূর্ণ হিসাবে বিবেচিত হবে না (প্রথমটির অভাবটি পরবর্তীটির উপস্থিতি দ্বারা ক্ষতিপূরণ দেওয়া হয়, তবে কম তথ্যযুক্ত তবে আরও 'অনন্য' বৈশিষ্ট্যগুলি সেভাবে আরও গুরুত্বপূর্ণ হিসাবে উপস্থিত হবে)

— ফায়ারব্যাগ

এটিকে

— একসময় অবেশন

Answer 3

$10$$5$

অগভীর নেটওয়ার্কের জন্য, এই পরিবর্তনশীল গুরুত্ব নির্ধারণ একটি উদাহরণ দেয়।

সত্যই গভীর নেটওয়ার্কের জন্য, লোকেরা পরিবর্তনশীল গুরুত্ব সম্পর্কে খুব বেশি কথা বলেন না। কারণ ইনপুটগুলি কাঁচা স্তরের বৈশিষ্ট্যগুলি যেমন কোনও চিত্রের পিক্সেল।

Comments

আমি যা বলতে চাইছিলাম তা প্রতিফলিত করতে আমি আমার মন্তব্য সম্পাদনা করেছি। আমি বোঝাতে চাইছি প্রথম স্তরে ২০ টি নোড, 5 টি নোড নয়। অগভীর / গভীর জাল আলাদা করার জন্য দুর্দান্ত ভাগ এবং ধন্যবাদ

— ব্যবহারকারী 1367204

@ hxd1011 পেডেন্টিক প্রুড না হওয়ার জন্য, তবে গভীর মানে আরও স্তরগুলি হাজার হাজার লুকানো ইউনিট নয় :)।

— রাফায়েল

Answer 4

সবচেয়ে যে এই সম্পর্কে পাওয়া Ive বিস্তারিতভাবে তালিকাভুক্ত করা আছে এই সাইটের আরো নির্দিষ্টভাবে আপনি তাকান করতে পারেন এই । আপনি যদি কেবল লিনিয়ার মডেলগুলির বিষয়ে কথা বলেন তবে তাদের ওজনকে ব্যাখ্যা-সক্ষম করার জন্য আপনাকে ওজনকে স্বাভাবিক করতে হবে তবে এটি উল্লিখিত লিঙ্কটিতে এটি আরও বিভ্রান্তিকর হতে পারে। কিছু লোক গুরুত্বের ইনপুটগুলি (গারসন, গিডিয়ন ও মিলনের) ব্যাখ্যা করার জন্য ওজনের জটিল ক্রিয়াকলাপগুলি তৈরি করার চেষ্টা করেছিলেন তবে আমি উল্লেখ করা প্রথম লিঙ্কটি স্ক্রোল করার পরেও এটি বিভ্রান্তিকর হতে পারে। সাধারণভাবে আমি লবণের দানা দিয়ে ফলাফলগুলি ব্যাখ্যা করতে এগিয়ে যাওয়ার পরামর্শ দেব।

@ রাধার এর উত্তরের সাথে একমত হবেন তবে যুক্ত করতে চাইবেন যে কোনও ইনপুটটির জন্য মূল মানটি ব্যবহার করার চেষ্টা করার পরিবর্তে এবং নেটওয়ার্কটি পুনরায় প্রশিক্ষণ করতে ভুলবেন না।

পিএস: দুঃখিত দুঃখিত এখানে আরও লিঙ্ক পোস্ট করতে বা মন্তব্য করতে পারে না এর বেশি খ্যাতি নেই।

Answer 5

আপনার দেওয়া আছে:

1. একটি শ্রেণিবদ্ধকরণ কাজ
2. একটি প্রশিক্ষিত মডেল
3. সাধারণ বৈশিষ্ট্য (0 এবং 1 এর মধ্যে)

কেউ চেষ্টা করেছেন:

1. পক্ষপাতদুগুলি জিরো করা
2. প্রতিটি হট ভেক্টর হিসাবে বৈশিষ্ট্য হিসাবে পাস করুন যেখানে সমস্ত বৈশিষ্ট্য এক ব্যতীত শূন্য।
3. আউটপুট পরীক্ষা করুন।

সেক্ষেত্রে আমি মনে করি আউটপুটটি বৈশিষ্ট্যের "গুরুত্ব" নির্ধারণকারী একটি সংখ্যা হবে কারণ এই আউটপুটটি নেটওয়ার্কের অভ্যন্তরে এই 1 সংকেতের পথের আউটপুটকেও প্রতিনিধিত্ব করবে।

এটি কোনও গোলকধাঁধার ভিতরে কেবল একটি লাইটবুল জ্বালানো এবং প্রস্থানকালে বেরিয়ে আসা আলোটি পরিমাপ করার মতো।

Comments

আমি মনে করি না যে এটি অনেক সাহায্য করবে। আপনি যা মূল্যায়ন করতে চান তা হ'ল সেই

— ইনপুটটির প্রকরণটি