আমি যদি একটি ব্যাখ্যাযোগ্য মডেল চাই, লিনিয়ার রিগ্রেশন ব্যতীত অন্য কোনও পদ্ধতি আছে কি?

Question

আমি এমন কিছু পরিসংখ্যানবিদদের মুখোমুখি হয়েছিল যে পূর্বাভাসের জন্য লিনিয়ার রিগ্রেশন ব্যতীত অন্য মডেলগুলি কখনই ব্যবহার করে না কারণ তারা বিশ্বাস করে যে "এমএল মডেলগুলি" যেমন এলোমেলো বন এবং গ্রেডিয়েন্ট বুস্টিং যেমন "ব্যাখ্যাযোগ্য বা ব্যাখ্যাযোগ্য নয়"।

একটি লিনিয়ার রিগ্রেশন-এ, অনুমানের সেটটি যাচাই করা হয়েছে (ত্রুটির স্বাভাবিকতা, সমকামিতা, কোনও বহু-প্রান্তিককরণ নয়), টি-পরীক্ষাগুলি ভেরিয়েবলের তাত্পর্যটি পরীক্ষা করার একটি উপায় সরবরাহ করে, আমার জ্ঞানের কাছে পরীক্ষাগুলি উপলব্ধ নয় এলোমেলো বন বা গ্রেডিয়েন্ট বুস্টিং মডেল।

সুতরাং, আমার প্রশ্ন হ'ল আমি যদি স্বতন্ত্র ভেরিয়েবলগুলির সেট সহ নির্ভরশীল পরিবর্তনশীলকে মডেল করতে চাই, ব্যাখ্যার স্বার্থে আমার কি সর্বদা লিনিয়ার রিগ্রেশন ব্যবহার করা উচিত?

Comments

আপনি এখনও রৈখিক বিবেচনা করেন তার উপর নির্ভর করে। জেনারাইজড লিনিয়ার মডেল এবং জেনারাইজড অ্যাডিটিভ মডেলগুলি এখনও লিনিয়ার উপাদানগুলির অনুমানের ভিত্তিতে কাজ করে তবে বিভিন্ন ধরণের সম্পর্কের মডেল করতে পারে।

— ফ্রান্সস রোডেনবার্গ

আপনি ব্যাখ্যাযোগ্য দ্বারা কী বোঝাতে চান তাও নির্ভর করে। মেশিন লার্নিং মডেলগুলির জন্য 'ব্ল্যাক বাক্সে পীর করার' বিভিন্ন উপায় প্রস্তাব করা হয়েছে, তবে আপনার লক্ষ্যগুলির জন্য উপযুক্ত বা নাও হতে পারে।

— ব্যবহারকারী20160

আমি বেশিরভাগই দেখতে পাচ্ছি না অনুমানের পরিসংখ্যান এবং টি টেস্টের ব্যাখ্যাযোগ্যতার সাথে কী সম্পর্ক আছে, যা আইএমও মূলত সহগের অনুমান সম্পর্কে।

— স্টিফান কোলাসা

@ স্টেফানকোলাসা "ইন্টাররেটেবিলিটি" ফাংশনের সাথে সম্পর্কিত হতে পারে । উদাহরণস্বরূপ, সহগ রিগ্রেশন মডেল আলগোরিদিমিক ভগ্ন বহুপদী বক্ররেখা ফিটিং দ্বারা উত্পাদিত অনুমান (কিনা রৈখিক regresion, GLM, নাকি অন্য কিছু), এবং চমৎকার প্রাপ্তির হইয়া প্রায় অবশ্যই বিরোধী স্বজ্ঞাত: আপনি উত্পাদিত আকার অ্যারের মনে কল করতে পারেন ফর্মের মডেলের দ্বারা , এবং এর ফলে y এবং x এর মধ্যকার সম্পর্কের ব্যাখ্যাটি আপনার গুণাগুণ অনুমান দ্বারা বোঝানো হয়েছে? $y_{i}=\beta_{0} + \beta_{1}x_{i}^{-3/5} + \beta_{2}x_{i}^{1/3} + \beta_{3}x_{i}^{3} + \varepsilon_{i}$$y$$x$

— অ্যালেক্সিস

@ ইউজারএক্স আপনি যা বর্ণনা করেন তা এখনও লিনিয়ার রিগ্রেশন (অর্থাত প্যারামিটারগুলিতে লিনিয়ার)। কনট্রাস্ট সঙ্গে Y আমি = β 0 + + β 1 এক্স আমি + + এক্স β 2 আমি + + ε আমি : সাবেক, রৈখিক রিগ্রেশনের মডেল থাকাকালীন পরেরটি লিনিয়ার রিগ্রেশন ব্যবহার করে অনুমান করা যায় না। $y_{i} = \beta_{0} + \beta_{1}x_{i} + \beta_{2}x_{i}^{2} + \varepsilon_{i}$$y_{i} = \beta_{0} + \beta_{1}x_{i} + x_{i}^{\beta_{2}} +\varepsilon_{i}$

— অ্যালেক্সিস

Answer 1

আমার পক্ষে বিশ্বাস করা শক্ত যে আপনি লোকেরা এটি বলতে শুনেছেন, কারণ এটি বলার মতো বোবা জিনিস হবে। এটি বলার মতো যে আপনি কেবল হাতুড়ি ব্যবহার করেছেন (ড্রিলিং হোল সহ এবং লাইটবুলগুলি পরিবর্তন করার জন্য), কারণ এটি ব্যবহার করা সোজা এবং অনুমানযোগ্য ফলাফল দেয় able

দ্বিতীয়ত, লিনিয়ার রিগ্রেশন সর্বদা "ব্যাখ্যাযোগ্য" হয় না। আপনার যদি বহু বহুবচনীয় পদগুলির সাথে লিনিয়ার রিগ্রেশন মডেল বা কেবলমাত্র অনেকগুলি বৈশিষ্ট্য থাকে তবে এটি ব্যাখ্যা করা শক্ত। উদাহরণস্বরূপ, বলুন যে আপনি এমএনআইএসটি থেকে 4৮৪ পিক্সেলের প্রতিটিের কাঁচা মানগুলি বৈশিষ্ট্য হিসাবে ব্যবহার করেছেন। জানুন যে পিক্সেল 237 এর ওজন -2311.67 এর সমান? চিত্রের ডেটার জন্য, কনভ্যুশনাল নিউরাল নেটওয়ার্কের অ্যাক্টিভেশন মানচিত্রের দিকে তাকানো বোঝা অনেক সহজ হবে।

শেষ অবধি, এমন মডেলগুলি রয়েছে যা সমানভাবে ব্যাখ্যাযোগ্য, যেমন লজিস্টিক রিগ্রেশন, সিদ্ধান্ত গাছ, নিষ্পাপ বয়েস অ্যালগরিদম এবং আরও অনেক কিছু।

† - মন্তব্যে @ ইঙ্গোলিফরা লক্ষ্য করেছেন এবং এই থ্রেডে যেমন আলোচনা করা হয়েছে , এমএনআইএসটি সম্ভবত এটির সেরা উদাহরণ নাও হতে পারে, যেহেতু এটি খুব সাধারণ ডেটাসেট। বেশিরভাগ বাস্তবসম্মত চিত্রের ডেটাসেটের জন্য, লজিস্টিক রিগ্রেশন কাজ করবে না এবং ওজনের দিকে তাকিয়ে কোনও সোজা উত্তর দেবে না। তবে, যদি আপনি লিঙ্কযুক্ত থ্রেডের ওজনগুলি আরও ঘনিষ্ঠভাবে দেখে থাকেন তবে তাদের ব্যাখ্যাটিও সরল নয়, উদাহরণস্বরূপ "5" বা "9" ভবিষ্যদ্বাণী করার জন্য ওজন কোনও সুস্পষ্ট নিদর্শন দেখায় না (নীচের চিত্রটি দেখুন, অন্য থ্রেড থেকে অনুলিপি করা হয়েছে) )।

Comments

আমি মনে করি এই উত্তরটি এমএনআইএসটি সম্পর্কে লজিস্টিক রিগ্রেশনকে কীভাবে ব্যাখ্যা করা যেতে পারে তা দেখানো একটি ভাল কাজ করে।

— ইঙ্গোলিফস

@ ইঙ্গোলিফ সম্মত হন, তবে এটি একটি অ্যাক্টিভেশন মানচিত্র, আপনি নিউরাল নেটওয়ার্কের জন্যও এটি করতে পারেন।

— টিম

এটি যাকে বলা হয় তা নির্বিশেষে, এটি এমন কোনও সিদ্ধান্ত নিতে লজিস্টিক রিগ্রেশন কীভাবে ব্যবহার করছে তা সুনির্দিষ্ট ব্যাখ্যা দেয় যে আপনি স্নায়বিক নেটওয়ার্কগুলির অ্যাক্টিভেশন মানচিত্রের জন্য সত্যই পাবেন না।

— ইঙ্গোলিফস

@ ইংলিফস এমএনআইএসটি সম্ভবত এটির সেরা উদাহরণ নয় কারণ এটি খুব সহজ, তবে মূল বিষয়টি হচ্ছে আপনি নিউরাল নেটওয়ার্কের জন্য একই পদ্ধতি ব্যবহার করবেন d

— টিম

Answer 2

সিদ্ধান্ত গাছ অন্য পছন্দ হবে। বা লাসো রিগ্রেশন একটি স্পার সিস্টেম তৈরি করতে।

পরিসংখ্যান শেখার বইয়ের একটি ভূমিকা থেকে এই চিত্রটি দেখুন । http://www.sr-sv.com/wp-content/uploads/2015/09/STAT01.png

Comments

"আইএসএল" বইটি কী?

— দোলন

@donlan amazon.com/... পরামর্শ উত্তরের জন্য ধন্যবাদ সংশোধিত।

— হাইটাও ডু

সমস্যা নেই! এই থ্রেডটি পড়ে এটি সন্ধান করতে

— যাচ্ছিল

Answer 3

আমি টিমের এবং এমকেটি-র উত্তরগুলির সাথে সম্মত হব - এমএল মডেলগুলি অবিচ্ছেদ্য নয় pret আমি আপনাকে বর্ণনামূলক এমচাইন লার্নিং এক্সপ্ল্যানেশনস, ডালেক্স আর প্যাকেজটিতে পরিচালনা করব, যা এমএল মডেলগুলি ব্যাখ্যাযোগ্য করে তোলার জন্য উত্সর্গীকৃত।

Comments

ড্যালেক্স প্যাকেজটি সত্যিই খুব আকর্ষণীয়, আপনি কি জানেন যে পাইথনের জন্যও অনুরূপ কিছু উপস্থিত রয়েছে?

— ভিক্টর

@ ভিক্টর আমি ডএএলএক্সের পাইথন সংস্করণটি জানি না, তবে উদাহরণস্বরূপ আপনি rpy2.readthedocs.io/en/version_2.8.x/introduction.html ব্যবহার করে পাইথন থেকে আর কল করার চেষ্টা করতে পারেন ।

— ব্যাবেলপ্রুডেডার

Answer 4

না, এটি অকারণে সীমাবদ্ধ। রেকর্ডিং মডেল, জেনারাইজড লিনিয়ার মডেল এবং জেনারালাইজড অ্যাডিটিভ মডেলগুলি নয়, তবে যন্ত্রাংশের জন্য ব্যবহৃত মেশিন লার্নিং পদ্ধতিগুলি সহ অনেকগুলি ব্যাখ্যামূলক মডেল রয়েছে যার মধ্যে রয়েছে (ফ্রান্স রোডেনবার্গ বলেছেন) not আমি এলোমেলো বন, গ্রেডিয়েন্ট বুস্টেড মেশিন, নিউরাল নেটওয়ার্ক এবং আরও অনেক কিছু অন্তর্ভুক্ত করি। লিনিয়ার রিগ্রেশনগুলির মতো একই মেশিন লার্নিং মডেলগুলির সহগ খুঁজে পেতে না পারার অর্থ এই নয় যে তাদের কাজ বোঝা যায় না। এটি আরও কিছুটা সময় নেয়।

কেন তা বুঝতে, আমি এই প্রশ্নটি পড়ার সুপারিশ করব: এলোমেলো বন থেকে জ্ঞান অর্জন । এটি যা দেখায় তা হ'ল আপনি কীভাবে প্রায় কোনও মেশিন লার্নিং মডেলকে ব্যাখ্যাযোগ্য করে তুলতে পারেন।