গভীর নিউরাল নেটওয়ার্কগুলিতে সংবেদনশীলতা বিশ্লেষণ

ইতিমধ্যে জবাব দেওয়া একটি প্রশ্নের অনুসরণ করে ( ওয়ান-লেয়ার ফিড-ফরোয়ার্ড নেটওয়ার্ক থেকে ওজনকে গুরুত্ব দেওয়া ) আমি নিউরাল নেটওয়ার্কগুলিতে ইনপুটগুলির প্রাসঙ্গিকতা সম্পর্কে অনুমানের সন্ধান করছি।

গভীর নেট বিবেচনা করে, যেখানে সুদের আউটপুট নোড থেকে স্তরগুলি পিছনে গিয়ে ইনপুট গুরুত্ব পুনর্গঠন করা কঠিন বা সময় সাপেক্ষ হতে পারে, আমি ভাবছিলাম যে নিউরাল নেটওয়ার্কের জন্য সংবেদনশীলতা বিশ্লেষণ করার ক্ষেত্রে কিছু তাত্ত্বিক কাঠামো ছিল কিনা, মূলত সামান্য পরিবর্তন ইনপুট করুন এবং কীভাবে আগ্রহের আউটপুট নোড পরিবর্তন হয় তা বিবেচনা করুন।

স্নায়ুবিক নেটওয়ার্কগুলিতে সংবেদনশীলতা বিশ্লেষণের কিছু প্রকার সম্পাদন করার কোনও প্রচলিত উপায় আছে কি?

আমি কিছু পাইথন কোড এটি করতে সত্যিই স্বাগত জানাব, যদি সেখানে থাকে

— টমমাসো গেরিনি
সূত্র

আপনার যে সংবেদনশীলতা বিশ্লেষণের পরামর্শ দেওয়া হয়েছে তা ইনপুটগুলির সাথে সম্মতভাবে আউটপুটগুলির আংশিক ডেরাইভেটিভগুলি পরীক্ষা করার সাথে মিলে যায়। বলুন আউটপুট ভেক্টর দ্বারা দেওয়া হয়েছে , যেখানে ইনপুট ভেক্টর এবং হল নেটওয়ার্ক প্রয়োগকারী ফাংশন। Jacobian ইনপুট wrt আউটপুট হল: $y \in \mathbb{R}^m$ $y= f(x)$ $x \in \mathbb{R}^d$ $f$

J_{i j} (x) = \frac{\partial}{\partial x_{j}} f_{i} (x)

$J_{ij}(x) = \frac{\partial}{\partial x_j} f_i(x)$

জ্যাকবিয়ান প্রতিটি আউটপুটকে প্রতিটি আউটপুট রিট করার স্থানীয় হার দেয়, সুতরাং এটি আমাদেরকে জানায় যে চূড়ান্ত অনিচ্ছাকৃত প্রতিক্রিয়ার প্রতিক্রিয়াতে আচরণ করবে। আমরা যদি ইনপুট শুরু এবং একটি ক্ষুদ্রাতিক্ষুদ্র মান যোগ থেকে তম ইনপুট, আমরা আশা তম আউটপুট দ্বারা বৃদ্ধি । $f$ $x$ $\Delta$ $j$ $i$ $\Delta J_{ij}(x)$

যদি এর বিশাল পরিমাণ থাকে তবে এর অর্থ হ'ল আউটপুট এর কাছাকাছি ইনপুট সংবেদনশীল । কারণ , সাধারণভাবে, ননলাইনার, সংবেদনশীলতার এই ধারণাটি ইনপুটটির উপর নির্ভর করে; এটি কিছু অঞ্চলে বড় এবং অন্যদের কাছে শূন্যের কাছাকাছি হতে পারে। আউটপুটগুলি ইনপুটগুলির উপর কতটা দৃ strongly়তার সাথে নির্ভর করে তার কোনও ধরণের সংক্ষিপ্ত পরিমাপ আপনি যদি চান তবে আপনাকে একাধিক ইনপুট মানকে সমষ্টি করতে হবে। উদাহরণস্বরূপ, আপনি জ্যাকবীয়ানের নিখুঁত মান নিতে পারেন, প্রশিক্ষণের সেটটির সমস্ত ইনপুটগুলির গড় গড় (যা প্রত্যাশার মানটির অন্তর্নিহিত বিতরণকে প্রত্যাশিত মানটির জন্য একটি সারোগেট হিসাবে কাজ করে)। অবশ্যই, এই ধরণের সংক্ষিপ্তসার তথ্য ত্যাগ করা শেষ হবে, তাই কিছু পরিস্থিতিতে বিভ্রান্তিকর হতে পারে। $J_{ij}(x)$ $i$ $j$ $x$ $f$

আপনি জ্যাকবীয়দের জন্য একটি অভিব্যক্তি অর্জন করার জন্য চেইন বিধিটি ব্যবহার করতে পারেন, একইভাবে আপনি কীভাবে ক্ষতির ক্রিয়াকলাপের গ্রেডিয়েন্টটি ব্যাকপ্রপ দিয়ে ব্যবহারের জন্য প্যারামিটারগুলি আঁকেন। আপনি থিয়ানো, টেনসরফ্লো ইত্যাদির মতো লাইব্রেরি ব্যবহার করে স্বয়ংক্রিয় পার্থক্য ব্যবহার করে এটিও গণনা করতে পারেন fin যা ক্ষেত্রে জ্যাকবীয়দের অস্তিত্ব নেই)।

একটি দম্পতি সতর্কতা: যদি ইনপুটগুলির একে অপরের চেয়ে আলাদা ইউনিট / স্কেল থাকে তবে সংবেদনশীলতারও আলাদা ইউনিট / আইশ থাকে এবং সরাসরি তুলনা করা যায় না। ইনপুটগুলির মানককরণ / স্কেলিং করা একটি সম্ভাব্য সমাধান। এটা মনে রাখাও গুরুত্বপূর্ণ যে এই ধরণের বিশ্লেষণ আমাদের নিজেরাই মডেল সম্পর্কে বলে, তবে অগত্যা অন্তর্নিহিত বিতরণ যা ডেটা উত্পন্ন করে তা নয়। উদাহরণস্বরূপ, যদি দুটি ইনপুটগুলি পরস্পর সম্পর্কিত হয় তবে মডেলটি প্রথমটি ব্যবহার করে শেষ হতে পারে তবে দ্বিতীয়টি নয়। এই ক্ষেত্রে, আমরা দেখতে পেতাম যে প্রথম ইনপুটটির জন্য সংবেদনশীলতা বেশি এবং দ্বিতীয়টির জন্য কম, তবে সাধারণভাবে আউটপুটটি পূর্বাভাস দেওয়ার জন্য প্রথম ইনপুট সহজাতভাবে আরও গুরুত্বপূর্ণ বলে সিদ্ধান্ত নেওয়া উচিত নয়।

এই নিবন্ধটি আগ্রহী হওয়া উচিত।

— user20160
সূত্র

দুর্দান্ত উত্তর এবং দুর্দান্ত নিবন্ধ! যদি কেউ এই পদ্ধতি বাস্তবায়নে আগ্রহী, আপনি এখানে jacobian হিসাব একটি চমৎকার বাস্তবায়ন জানতে পারেন medium.com/unit8-machine-learning-publication/...

— pcko1