এলডিএ সিদ্ধান্তের সীমানা গণনা এবং গ্রাফ

Question

আমি একটি এলডিএ (লিনিয়ার বৈষম্যমূলক বিশ্লেষণ) প্লটটি পরিসংখ্যান শিক্ষার উপাদানগুলির সিদ্ধান্তের সীমানা সহ দেখেছি :

আমি বুঝতে পারি যে ডেটাগুলি একটি নিম্ন-মাত্রিক উপ-স্পেসে প্রত্যাশিত। তবে আমি জানতে চাই যে আমরা কীভাবে মূল মাত্রায় সিদ্ধান্তের সীমানা পেয়েছি যেমন আমি সিদ্ধান্তের সীমাটি একটি নিম্ন-মাত্রিক উপ-স্পেসে উপস্থাপন করতে পারি (উপরের চিত্রের কালো রেখাগুলি পছন্দ করে)।

মূল (উচ্চতর) মাত্রায় সিদ্ধান্তের সীমানা গণনা করার জন্য কি এমন কোনও সূত্র ব্যবহার করতে পারি? যদি হ্যাঁ, তবে এই সূত্রটির কী ইনপুট দরকার?

Comments

শ্রেণীর সদস্যতার উত্তরোত্তর সম্ভাবনা বিবেচনায় সিদ্ধান্তের সীমা ছাড়াই আপনি সম্ভবত আরও বেশি উপযোগিতা পাবেন। এটি পলিটমাস (বহুজাতিক) লজিস্টিক রিগ্রেশন ব্যবহার করে কম অনুমান দিয়ে করা যেতে পারে তবে এলডিএ (উত্তরোত্তর সম্ভাবনা) দিয়েও করা যেতে পারে।

— ফ্র্যাঙ্ক হ্যারেল

এলডিএর মধ্যে those শ্রেণিবদ্ধ সীমানাগুলি এমনটি গঠন করে যা একটি অঞ্চলীয় মানচিত্র হিসাবে পরিচিত । আমি এসপিএসএসের সাথে কাজ করি এবং এটি এটি প্লট করে , যদিও পাঠ্য বিন্যাসে রয়েছে। একটি এসপিএসএস ডিজাইনারের মতে , সীমানাগুলি ব্যবহারিক পদ্ধতির মাধ্যমে সহজেই পাওয়া যায়:

— টিএনটিফএনস

(অবিরত) জরিমানা গ্রিডের প্রতিটি পয়েন্টকে এলডিএ-শ্রেণিবদ্ধ করা হয় এবং তারপরে যদি কোনও বিন্দুটিকে তার প্রতিবেশী হিসাবে শ্রেণীবদ্ধ করা হয় তবে সেই বিন্দুটি প্রদর্শিত হয় না। সুতরাং কেবলমাত্র "অস্পষ্টতার ব্যান্ড" হিসাবে সীমানা শেষ পর্যন্ত বাকি রয়েছে। উদ্ধৃতি: they (bondaries) are never computed. The plot is drawn by classifying every character cell in it, then blanking out all those surrounded by cells classified into the same category।

— ttnphns

Answer 1

Hastie এট এ এই নির্দিষ্ট চিত্র। শ্রেণির সীমানার সমীকরণের গণনা ছাড়াই উত্পাদিত হয়েছিল। পরিবর্তে, মন্তব্যগুলিতে @ttnphns দ্বারা বর্ণিত অ্যালগরিদম ব্যবহার করা হয়েছে, বিভাগের ৪.৩, পৃষ্ঠা ১১০ এর পাদটীকা দেখুন:

এই চিত্র এবং বইয়ের অনুরূপ অনেক ব্যক্তির জন্য আমরা সিদ্ধান্তের সীমাটি একটি বিস্তৃত কনট্যুরিং পদ্ধতি দ্বারা গণনা করি। আমরা পয়েন্টের সূক্ষ্ম জালিয়াতিতে সিদ্ধান্তের নিয়মটি গণনা করি এবং তারপরে সীমানাগুলি গণনা করতে কনট্যুরিং অ্যালগরিদম ব্যবহার করি।

তবে, এলডিএ শ্রেণির সীমানার সমীকরণ কীভাবে পাওয়া যায় তার বর্ণনা দিয়ে আমি এগিয়ে যাব।

আসুন একটি সহজ 2D উদাহরণ দিয়ে শুরু করি। এখানে থেকে ডেটাআইরিস ডেটাসেটের ; আমি পাপড়ি পরিমাপ বাতিল করি এবং কেবল সেপালের দৈর্ঘ্য এবং সিপালের প্রস্থ বিবেচনা করি। তিনটি শ্রেণি লাল, সবুজ এবং নীল বর্ণযুক্ত:

আসুন শ্রেণিক অর্থ (সেন্ট্রয়েড )কে হিসাবে চিহ্নিত করি । এলডিএ ধরে নিয়েছে যে সমস্ত শ্রেণীর শ্রেণির কোভেরিয়েন্স একই রকম হয়; ডেটা প্রদত্ত, এই ভাগ করা কোভেরিয়েন্স ম্যাট্রিক্সটি ডাব্লু = ∑ i ( x i - μ কে ) ( x আমি - μ কে ) as হিসাবে ধরা হয়েছে (স্কেলিং পর্যন্ত)$\boldsymbol\mu_1, \boldsymbol\mu_2, \boldsymbol\mu_3$$\mathbf{W} = \sum_i (\mathbf{x}_i-\boldsymbol \mu_k)(\mathbf{x}_i-\boldsymbol \mu_k)^\top$ , যেখানে যোগফলটি সমস্ত ডেটা পয়েন্ট এবং চেয়ে বেশি ক্লাস প্রতিটি বিন্দু থেকে বিয়োগ করা হয়।

প্রতিটি জোড়া ক্লাসের জন্য (উদাহরণস্বরূপ ক্লাস এবং 2 ) তাদের মধ্যে একটি শ্রেণির সীমানা রয়েছে। এটা সুস্পষ্ট যে সীমানাটি দুটি শ্রেণির সেন্ট্রয়েডের ( μ 1 + μ 2 ) / 2 এর মধ্যবর্তী পয়েন্টের মধ্য দিয়ে যেতে হবে । কেন্দ্রীয় এলডিএর ফলাফলগুলির মধ্যে একটি হ'ল এই সীমানাটি ডাব্লু - 1 ( μ 1 - μ 2 ) এর সরলরেখার অরথোগোনাল । এই ফলাফলটি অর্জনের বিভিন্ন উপায় রয়েছে এবং যদিও এটি প্রশ্নের অংশ না ছিল, আমি নীচের পরিশিষ্টে সংক্ষেপে তাদের তিনটির দিকে ইঙ্গিত করব।$1$$2$$(\boldsymbol \mu_{1} + \boldsymbol \mu_{2})/2$$\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$

নোট করুন যে উপরে যা লেখা হয়েছে তা ইতিমধ্যে সীমানার একটি নির্দিষ্ট স্পেসিফিকেশন। যদি কেউ স্ট্যান্ডার্ড ফর্ম একটি রেখার সমীকরণ পেতে চায় , তবে গুণাগুণগুলি a এবং b গুণতে পারে এবং কিছু অগোছালো সূত্র দ্বারা দেওয়া হবে। যখন প্রয়োজন হবে তখনই আমি খুব কমই কল্পনা করতে পারি।$y=ax+b$$a$$b$

আসুন আমরা এখন আইরিস উদাহরণে এই সূত্রটি প্রয়োগ করি। প্রতিটি জোড় শ্রেণীর জন্য আমি একটি মাঝারি বিন্দু খুঁজে পাই এবং জন্য একটি লম্ব আঁকুন :$\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{i} - \boldsymbol \mu_{j})$

তিনটি লাইন এক বিন্দুতে ছেদ করে, যেমনটি আশা করা উচিত ছিল। ছেদ মোড় থেকে শুরু করে রশ্মির দ্বারা সিদ্ধান্তের সীমানা দেওয়া হয়:

$K\gg 2$$K(K-1)/2$

$D>2$$\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$$(\boldsymbol \mu_{1} + \boldsymbol \mu_{2})/2$$D-1$ মাত্রার । উদাহরণস্বরূপ, কেউ সহজেই প্রথম দুটি বৈষম্যমূলক অক্ষের সাথে ডেটাসেট প্রজেক্ট করতে পারে এবং এইভাবে 2 ডি ক্ষেত্রে সমস্যাটি হ্রাস করতে পারে (আমি বিশ্বাস করি যে হাসিটি এট আল এই চিত্রটি তৈরি করতে যা করেছিলেন)।

উপাঙ্গ

$\mathbf{W}^{-1} (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$

1. $\mathbf{W}^{-1}$$\boldsymbol \mu_{1} - \boldsymbol \mu_{2}$

2. $\mathbf x$$k$$(\mathbf x - \boldsymbol \mu_k)^\top \mathbf W^{-1}(\mathbf x - \boldsymbol \mu_k)$$1$$2$$\mathbf x^\top \mathbf W^{-1} (\boldsymbol \mu_{1} - \boldsymbol \mu_{2}) = \mathrm{const}$

3. $\mathbf{W}$$\boldsymbol \mu_1 - \boldsymbol \mu_2$$\mathbf{W}$$\mathbf{W} = \mathbf U \mathbf D \mathbf U^\top$$\mathbf S = \mathbf D^{-1/2} \mathbf U^\top$$\mathbf S$$\mathbf S (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$$\mathbf S^{-1}$$\mathbf S^\top \mathbf S \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$$\mathbf S$

Comments

আমি আপনার উত্তর অধ্যয়ন করা হয়নি। এটি পরিশীলিত বলে মনে হচ্ছে এবং সঠিক হতে পারে। ব্যবহারিক এবং সহজ "ছিটিয়ে দেওয়া পয়েন্টগুলি, শ্রেণিবদ্ধকরণ, তারপরে সীমানা নির্ধারণ করুন" পদ্ধতির সম্পর্কে কী যা আমি একটি মন্তব্যে উল্লেখ করেছি? আপনার পদ্ধতির ফলাফলের সাথে কি তুলনাযোগ্য (যা স্পষ্টতই সঠিক)? আপনি কি মনে করেন?

— ttnphns

@ এনটিএনএফএনএস: আমার উত্তরের একমাত্র প্রযুক্তিগত অংশ (3 টি আইটেম সহ একটি সংখ্যাযুক্ত তালিকা) কিছু প্রমাণ সরবরাহ করছে এবং নিরাপদে এড়িয়ে যেতে পারে। বাকি, আমি বিশ্বাস করি, বিশেষভাবে পরিশীলিত নয়! সম্ভবত আমার "অতিরিক্ত" অংশটি সরানো উচিত একটি পরিশিষ্ট হিসাবে? আপনার মন্তব্য সম্পর্কে: আমি মনে করি এটি একটি বৈধ পন্থা, এবং এসপিএসএস "আঞ্চলিক মানচিত্র" এর ASCII চেহারাটি আমি পছন্দ করি। হতে পারে আপনি আপনার মন্তব্যগুলিকে একটি পৃথক উত্তরে সরিয়ে নিতে পারেন (এবং সেখানে এসপিএস মানচিত্রের অনুকরণীয় চিত্র দেবেন), আমি মনে করি এটি ভবিষ্যতের রেফারেন্সের জন্য সহায়ক হবে। ফলাফল অবশ্যই সমতুল্য হওয়া উচিত।

— অ্যামিবা বলেছেন

@ এনটিএনএফএনএস: দেখা যাচ্ছে যে হাসটি এট আল। ওপিতে পুনরুত্পাদন করা একটি সহ তাদের পরিসংখ্যানগুলি প্লট করার জন্য আপনি এখানে বর্ণিত ঠিক পদ্ধতিটি ব্যবহার করেছিলেন। আমি একটি পাদটীকা খুঁজে পেয়েছিলাম ঠিক এটি (এবং আমার উত্তর আপডেট করেছে, এটি শুরুতে উদ্ধৃত করে)।

— অ্যামিবা

Waouh! চমৎকার উত্তর (3 বছর পরে!) আমি জিজ্ঞাসা করতে পারি যে আপনি এই বিশেষ সমস্যায় বিভাগগুলি কীভাবে আঁকলেন?

— জাভেয়ের বউরেট সিকোটে