ন্যূনতম বর্গক্ষেত্র সমাধান কেন এই ক্ষেত্রে খারাপ ফলাফল দেয়?

Question

বিশপের "প্যাটার্ন স্বীকৃতি এবং মেশিন লার্নিং" এর অধ্যায় 4 পৃষ্ঠায় 204 নম্বরে একটি চিত্র রয়েছে যেখানে আমি বুঝতে পারি না কেন ন্যূনতম বর্গক্ষেত্র সমাধান এখানে খারাপ ফলাফল দেয়:

পূর্ববর্তী অনুচ্ছেদে এই বিষয়টি ছিল যে ন্যূনতম স্কোয়ারের সমাধানগুলির মধ্যে নীচের চিত্রটিতে আপনি যেমন দেখেন ততক্ষণে বিদেশিদের কাছে দৃust়তার ঘাটতি নেই, তবে অন্য চিত্রটিতে কী চলছে এবং এলএস কেন সেখানে খারাপ ফলাফল দেয় তা আমি পাই না।

Comments

দেখে মনে হচ্ছে এটি সেটগুলির মধ্যে বৈষম্য সম্পর্কিত একটি অধ্যায়ের অংশ। আপনার প্রথম জোড়ের গ্রাফে, বাম দিকের একটিটি পরিষ্কারভাবে তিনটি পয়েন্টের মধ্যে আলাদা করতে পারে না। এতে আপনার প্রশ্নের উত্তর হলো কি? যদি না হয়, আপনি কি এটি পরিষ্কার করতে পারেন?

— পিটার ফ্লুম - মনিকা পুনরায়

@ পিটারফ্লম: এলএস সমাধানটি প্রথমটির জন্য খারাপ ফলাফল দেয়, আমি কারণটি জানতে চাই। এবং হ্যাঁ, এটি এলএস শ্রেণিবিন্যাস সম্পর্কে বিভাগের শেষ অনুচ্ছেদ যেখানে পুরো অধ্যায়টি লিনিয়ার বৈষম্যমূলক কার্য সম্পর্কে।

— জিগিলি

Answer 1

$\geq 3$

ইন ইএসএল , পৃষ্ঠা 105 তে চিত্র 4.2, ঘটনাটি বলা হয় মাস্কিং । ESL চিত্র 4.3 দেখুন। ন্যূনতম স্কোয়ার সমাধানের ফলে মিডেল ক্লাসের পূর্বাভাসক থাকে যা বেশিরভাগ দুটি অন্যান্য শ্রেণির জন্য ভবিষ্যদ্বাণীকারীদের দ্বারা প্রাধান্য পায়। এলডিএ বা লজিস্টিক রিগ্রেশন এই সমস্যায় ভোগেন না। কেউ বলতে পারেন যে এটি শ্রেণীর সম্ভাবনার লিনিয়ার মডেলের কঠোর কাঠামো (যা আপনি ন্যূনতম স্কোয়ারগুলি থেকে মাপসই করেন) যা মাস্কিংয়ের কারণ হয়।

$-$

সম্পাদনা: মাস্কিং সম্ভবত দ্বি-মাত্রিক সমস্যার জন্য খুব সহজেই ভিজ্যুয়ালাইজড, তবে এটি এক-মাত্রিক ক্ষেত্রেও একটি সমস্যা এবং এখানে গণিতটি বিশেষত বোঝা সহজ। মনে করুন যে এক-মাত্রিক ইনপুট ভেরিয়েবলগুলি আদেশ করা হয়েছে

$$x_1 < \ldots < x_k < y_1 < \ldots y_m < z_1 < \ldots < z_n$$

$x$$y$$z$

$$\begin{array}{c|cccccccc} & 1 & \ldots & 1 & 0 & \ldots & 0 & 0 & \ldots & 0 \\ \mathbf{T}^T & 0 & \ldots & 0 & 1 & \ldots & 1 & 0 & \ldots & 0 \\ & 0 & \ldots & 0 & 0 & \ldots & 0 & 1 & \ldots & 1 \\ \hline \mathbf{x}^T & x_1 & \ldots & x_k & y_1 & \ldots & y_m & z_1 & \ldots & z_n \\ \end{array}$$

$\mathbf{T}$$\mathbf{x}$$x$$z$$y$-ক্লাস, লিনিয়ার রিগ্রেশনকে মধ্যবিত্ত শ্রেণীর সাথে দুটি বাহ্যিক শ্রেণির জন্য শূন্যগুলিকে ভারসাম্য বজায় রাখতে হবে যার ফলস্বরূপ বরং সমতল রিগ্রেশন রেখা এবং এই শ্রেণীর জন্য শর্তসাপেক্ষ শ্রেণীর সম্ভাবনার বিশেষত দুর্বল ফিট fit যেমনটি দেখা যাচ্ছে যে দুটি বহিরাগত শ্রেণির জন্য সর্বাধিক রিগ্রেশন রেখার ইনপুট ভেরিয়েবলের বেশিরভাগ মানের জন্য মধ্যবিত্তের জন্য রিগ্রেশন লাইনে আধিপত্য থাকে এবং মধ্যবিত্ত বাহ্যিক শ্রেণীর দ্বারা মুখোশযুক্ত ।

$k = m = n{}$$(\bar{x}, 1/3)$

$$\bar{x} = \frac{1}{3k}\left(x_1 + \ldots + x_k + y_1 + \ldots + y_m + z_1 + \ldots + z_n\right).$$

Answer 2

নীচের সরবরাহিত লিঙ্কটির ভিত্তিতে, এলএস বৈষম্যকারী উপরের বাম গ্রাফটিতে ভাল আচরণ না করার কারণগুলি
নিম্নরূপ : - বিদেশিদের কাছে দৃ to়তার অভাব।
- কিছু নির্দিষ্ট ডেটাসেট কমপক্ষে স্কোয়ার শ্রেণিবিন্যাসের জন্য অনুপযুক্ত।
- সিদ্ধান্তের সীমানা গাউসীয় শর্তসাপেক্ষ বন্টনের অধীনে এমএল সমাধানের সাথে মিলে যায়। তবে বাইনারি টার্গেটের মানগুলির গাউসিয়ান থেকে অনেক দূরে বিতরণ রয়েছে।

স্বল্প স্কোয়ারগুলির অসুবিধাগুলিতে পৃষ্ঠা 13 দেখুন ।

Answer 3

আমি বিশ্বাস করি যে আপনার প্রথম গ্রাফের সমস্যাটিকে "মাস্কিং" বলা হয় এবং এটি "পরিসংখ্যানগত শিক্ষার উপাদানসমূহ: ডেটা মাইনিং, ইনফারেন্সেশন এবং প্রেডিকশন" (হাসিটি, তিবশিরানী, ফ্রেডম্যান। স্প্রিংগার 2001), পৃষ্ঠা 83-84 তে উল্লিখিত হয়েছে।

স্বজ্ঞাতভাবে (যা আমি সবচেয়ে ভাল করতে পারি) আমি বিশ্বাস করি কারণ এটি কোনও ওএলএস নিগ্রহের ভবিষ্যদ্বাণীগুলি [0,1] এর মধ্যে আবদ্ধ নয়, সুতরাং আপনি যদি 0 এর মতো আরও চান তবে আপনি -0.33 এর পূর্বাভাস দিয়ে শেষ করতে পারেন .. 1, যা আপনি দুটি ক্লাসের ক্ষেত্রে জরিমানা করতে পারেন তবে যত বেশি ক্লাস আপনার মেলে ততই এই অমিলের সমস্যা হওয়ার কারণ। আমি মনে করি.

Answer 4

সর্বনিম্ন স্কোয়ারটি স্কেলের প্রতি সংবেদনশীল (কারণ নতুন ডেটা বিভিন্ন স্কেলের, এটি সিদ্ধান্তের সীমানাকে আঁকিয়ে দেবে), সাধারণত একটিতে হয় ওজন প্রয়োগ করা (যার অর্থ অপ্টিমাইজেশন অ্যালগরিদমে প্রবেশের জন্য একই স্কেলের হয়) বা একটি উপযুক্ত রূপান্তর সম্পাদন করতে হয় (ক্ষেত্রে কেন্দ্র, লগ (1 + ডেটা) ... ইত্যাদি) এরকম ক্ষেত্রে ডেটার উপর। মনে হচ্ছে আপনি যদি কোনও 3 শ্রেণিবদ্ধকরণ অপারেশন করতে বলেন এবং অবশেষে দুটি আউটপুট ক্লাস একীভূত করতে চান তবে কমপক্ষে স্কয়ারটি নিখুঁতভাবে কাজ করবে।