শ্যাপ (শ্যালেলি অ্যাডিটিভ ব্যাখ্যা) এবং এলআইএম (স্থানীয় সংক্ষিপ্ত বিবরণযোগ্য মডেল-অগ্নোস্টিক ব্যাখ্যা) এর মধ্যে তুলনা

Question

আমি দুই জনপ্রিয় পোস্ট হক মডেল interpretability কৌশল সম্পর্কে আপ পড়া করছি: LIME এবং SHAP

এই দুটি কৌশলগুলির মূল পার্থক্য বুঝতে আমার সমস্যা হচ্ছে।

করতে স্কট Lundberg উদ্ধৃত , SHAP পিছনে ঘিলু:

শ্যাপ মানগুলি ব্ল্যাকবক্সের স্থানীয় অনুমানের সুবিধার সাথে এলআইএমএম আসে, তবে গেম তত্ত্ব থেকে ধারাবাহিকতা এবং স্থানীয় নির্ভুলতা সম্পর্কে তাত্ত্বিক গ্যারান্টি সহ আসে (অন্যান্য পদ্ধতির বৈশিষ্ট্য যা আমরা একত্রিত করেছি)

এটি বুঝতে আমার কিছুটা সমস্যা হচ্ছেগেম তত্ত্ব থেকে ধারাবাহিকতা এবং স্থানীয় নির্ভুলতা সম্পর্কে তাত্ত্বিক গ্যারান্টিটি হচ্ছে। যেহেতু ল্যাপের পরে শ্যাপটি বিকাশ করা হয়েছিল, তাই আমি ধরে নিই যে এটি কিছু শূন্যস্থান পূরণ করে যা LIME সম্বোধন করতে ব্যর্থ। ওইগুলো কি?

ক্রিস্টোফ মোলনার বইটি শাপেলি অনুমানের এক অধ্যায়ে বলেছে:

পূর্বাভাস এবং গড় পূর্বাভাসের মধ্যে পার্থক্যটি উদাহরণের বৈশিষ্ট্যগুলির মানগুলির মধ্যে মোটামুটি বিতরণ করা হয় - শেপালি দক্ষতা সম্পত্তি। এই সম্পত্তি LIME এর মতো অন্যান্য পদ্ধতি থেকে পৃথক শাপলির মান সেট করে। LIME প্রভাবগুলি পুরোপুরি বিতরণের গ্যারান্টি দেয় না। এটি শাপলির মানটিকে সম্পূর্ণ ব্যাখ্যা দেওয়ার একমাত্র পদ্ধতি হিসাবে তৈরি করতে পারে

এটি পড়ার পরে, আমি বুঝতে পারি যে শ্যাপটি স্থানীয় নয় তবে ডেটা পয়েন্টের একটি সম্পূর্ণ ব্যাখ্যা। আমি এখানে ভুল হতে পারি এবং এই উপরের উদ্ধৃতিটির অর্থ কী তা সম্পর্কে কিছুটা অন্তর্দৃষ্টি দরকার। আমার জিজ্ঞাসার সংক্ষিপ্তসারে: LIME স্থানীয় ব্যাখ্যা উত্পন্ন করে। কীভাবে শ্যাপের ব্যাখ্যা এলআইএম এর থেকে আলাদা?

Comments

চমৎকার প্রশ্ন (+1), আমি সময় পেলে এর উত্তর দেওয়ার চেষ্টা করব তবে লক্ষ্য করার মতো স্পষ্ট বিষয় হ'ল ল্যাপটি শ্যাপ করার সময় বিশ্বব্যাপী সামঞ্জস্যপূর্ণ ব্যাখ্যা দেয় না। এছাড়াও, LIME এর আগে অবশ্যই SHAP বিকাশ করা হয়েছিল। শ্যাপটি লেট 00 এর দশকের / দশকের শুরুর দিক থেকে স্ট্রুমবেজ এবং কনোনেনকো-র কাজের পাশাপাশি স্থানান্তরযোগ্য ইউটিলিটি কো-অপারেটিভ গেমস (যেমন, লাইপোভেস্কি এবং কনকলিন (2001)) এর অর্থনীতিতে কাজ করে। এছাড়াও সংবেদনশীলতা বিশ্লেষণের পরিমাপের (যেমনঃ সোবোল সূচকগুলি) উপর প্রচুর কাজও সেই পথে চলে। কোর শিপের ধারণাগুলি এনআইপিএস 2017 এর আগে সাধারণত সুপরিচিত ছিল।

— ইউএসআর 11852 বলেছেন মিনিক

(উপরের আমার মন্তব্যের দ্বিতীয়ার্ধ সম্পর্কে কেবল স্পষ্ট করে বলার জন্য: আমি প্রস্তাব দিচ্ছি না যে এনআইপিএস 2017 পত্রিকাটি চৌর্যবৃত্তির বা এর থেকে দূরের মতো কোনও কিছুর পণ্য It এটি কেবলমাত্র আমি প্রায়শই দেখি যে লোকেরা আগের কাজগুলিকে অনেকগুলি অবহেলা করে জ্ঞানের ক্ষেত্রের অন্যথায় জৈব বিবর্তনের সাম্প্রতিক ক্রস-বিভাগটিকে ক্ষেত্র এবং চিকিত্সা একটি বড় পদ্ধতিগত যুগান্তকারী হিসাবে বিবেচনা করে।এই বিশেষ ক্ষেত্রে: অ্যালগরিদমিক গেম তত্ত্বটি প্রায় দশক ধরে এআইয়ের অংশ হিসাবে রয়েছে, এখনই এটি আধা- শীতল হয়ে উঠেছে । )

— usεr11852

@ usεr11852 আপনার উত্তরের জন্য অপেক্ষা করছে। দয়া করে এটিতে আপনার ধারণাগুলি অবদান রাখুন।

— ব্যবহারকারী 248884

এখনও প্রয়োজনীয় সমস্ত সময় পাইনি; আমি প্রায় 400 শব্দ লিখেছি তবে এটির জন্য কমপক্ষে আরও 6-7 ঘন্টা কাজ দরকার কারণ আমাকে কিছু কাগজপত্র পুনরায় পাঠ করতে হবে এবং আমার পাঠ্যটি শক্ত করতে হবে - অতিরিক্ত সরলীকরণ না করে SHAP ব্যাখ্যা করা কিছুটা চ্যালেঞ্জিং (কমপক্ষে আমার জন্য)। সম্ভবত আমি এটি ডিসেম্বরের মাঝামাঝি আগেই তৈরি করব ... :)

— usεr11852

@ usεr11852 অবশ্যই অপেক্ষা করা হবে :)

— ব্যবহারকারী 248884

Answer 1

LIME ইউনিটকে ঘিরে স্থানীয়ভাবে একটি সারোগেট মডেল তৈরি করে যাকে আপনি বুঝতে চান ভবিষ্যদ্বাণী। সুতরাং এটি সহজাত স্থানীয়। প্রতিটি বৈশিষ্ট্যের অবদানের চূড়ান্ত পূর্বাভাসকে সুস্পষ্টভাবে মানগুলি 'পচিয়ে' দেয় - এটি 'সামঞ্জস্যপূর্ণ' দ্বারা কিছুকে বোঝায় (মানগুলি সত্য মডেলের প্রকৃত ভবিষ্যদ্বাণীকে যোগ করে, এটি LIME দিয়ে পাওয়ার মতো নয়)। তবে প্রকৃতপক্ষে সুদৃ values় মূল্যবোধগুলি পেতে কিছু সিদ্ধান্ত নেওয়া উচিত যা কীভাবে করা উচিত / কীভাবে 'বাম আউট' বৈশিষ্ট্যের মানগুলি পরিচালনা করতে হবে সে সম্পর্কে এই সিদ্ধান্তগুলি গ্রহণ করা উচিত, মানগুলি এখানেই আসে। এই সিদ্ধান্তে কিছু পছন্দ আছে যা ব্যাখ্যা বদলে দিতে পারে। যদি আমি একটি বৈশিষ্ট্যকে 'আউট' ছেড়ে যাই তবে আমি কি সমস্ত সম্ভাবনার গড়পড়তা করব? কিছু 'বেসলাইন' চয়ন করবেন?

সুতরাং শেপলি আসলে আপনাকে একটি সংযোজনমূলক উপায়ে বলে দেয় যে আপনি কীভাবে আপনার স্কোরটি পেয়েছেন তবে 'প্রারম্ভিক বিন্দু' (অর্থাৎ বাদ দেওয়া গুণাবলী সম্পর্কে সিদ্ধান্ত) সম্পর্কে কিছু পছন্দ আছে।

LIME আপনাকে সহজভাবে বলে দেয়, স্থানীয় অর্থে, আগ্রহের ডেটা পয়েন্টের চারপাশে সবচেয়ে গুরুত্বপূর্ণ বৈশিষ্ট্যটি কী।

Comments

আপনি কী যুক্ত করতে পারেন যে প্রতিটি মডেল কীভাবে তাদের স্কোর তৈরি করে (উদাহরণস্বরূপ শাপ স্কোর) - আমি এই স্কোরগুলি খুব বিরক্তিকর অবস্থায় পেয়েছি কারণ এগুলি স্বাভাবিক হয় না এবং আমি কী বোঝাতে চাই তা বুঝতে পারি না!

— ব্যবহারকারী 4581