পারস্পরিক সম্পর্ককে দূরত্বের মেট্রিক হিসাবে ব্যবহার করুন (শ্রেণিবিন্যাসের ক্লাস্টারিংয়ের জন্য)

আমি আমার ডেটা হায়ারার্কিকভাবে ক্লাস্টার করতে চাই, তবে ইউক্লিডিয়ান দূরত্ব ব্যবহার না করে, আমি পারস্পরিক সম্পর্ক ব্যবহার করতে চাই। এছাড়াও, যেহেতু আমার গবেষণায় -1 এবং 1 উভয় "সহ-নিয়ন্ত্রণ" নির্দেশ করে সহ-সম্পর্কিত সহগের সীমা -1 থেকে 1, সুতরাং আমি -1 এবং 1 উভয়কে ডি = 0 হিসাবে গণ্য করছি। সুতরাং আমার গণনা $\ d = 1-|r|$

আমি (সংক্রান্ত K-মানে ক্লাস্টারিং) একটি পৃথক প্রশ্নে পড়া, আপনি রূপান্তর করা উচিত দ সত্য ইউক্লিডিয় মধ্যে ঘ কোসাইন উপপাদ্য ব্যবহার করছে: $d = \sqrt{2(1-r)}$

শ্রেণিবিন্যাসের ক্লাস্টারিংয়ের জন্য পারস্পরিক সম্পর্ককে দূরত্বে রূপান্তর করার সবচেয়ে সঠিক উপায় কী?

— Megatron
সূত্র

হ্যাঁ, সম্ভাব্য একটি - এবং জ্যামিতিকভাবে সত্য উপায় - এটিই শেষ সূত্র। তবে আপনি যদি

এর চিহ্নটি আপনার কাছে বিবেচনা করে তা উপেক্ষা করতে পারেন , যাতে

। বেশিরভাগ ক্ষেত্রে আপনি ক্লাস্টারিংয়ের ফলাফলগুলিকে প্রভাবিত না করে নিরাপদে

ড্রপ করতে পারেন । দূরত্বটিকে স্কোয়ারড ইউক্লিডিয়ান হিসাবে বিবেচনা করা যেতে পারে । ইন এই থ্রেড এটা আলোচনা করেন কিনা দূরত্ব-রূপান্তরিত পারস্পরিক সম্পর্ক পরিমাপ করে মেট্রিক দূরত্বের হয়।

r

$r$

d^{2} = 2 (1 - | r |)

$d^2=2(1-|r|)$

2

$2$

— ttnphns

এছাড়াও, আপনি না আছে সবসময় রূপান্তর করতে

একটি রৈখিক অনৈক্য মধ্যে যেমন ইউক্লিডিয় দূরত্ব হিসাবে। মানুষ খুব সহজেই

বা

উপর ভিত্তি করে ক্লাস্টারিং করে না

সাদৃশ্য হিসাবে; এটি কৌণিক মিল

r

$r$

r

$r$

| r |

$|r|$

— ttnphns

শ্রেণিবদ্ধ ক্লাস্টারিংয়ের জন্য প্রয়োজনীয়তা

হায়ারার্কিকাল ক্লাস্টারিং স্বেচ্ছাসেবী মিল এবং ভিন্নতা ব্যবস্থার সাথে ব্যবহার করা যেতে পারে। (বেশিরভাগ সরঞ্জামগুলি ভিন্নতার প্রত্যাশা করে তবে নেতিবাচক মানগুলিকে অনুমতি দেবে - ছোট বা বড় মূল্যবানদের পছন্দ করা হবে কিনা তা নিশ্চিত করা আপনার পক্ষে you)

শুধুমাত্র সেন্ট্রয়েড বা বৈকল্পের উপর ভিত্তি করে পদ্ধতিগুলি (যেমন ওয়ার্ডের পদ্ধতি) বিশেষ এবং স্কোয়্যার ইউক্লিডিয়ান ব্যবহার করা উচিত। (কেন তা বুঝতে, দয়া করে এই লিঙ্কগুলি সাবধানে অধ্যয়ন করুন))

একক-লিঙ্কেজ, গড়-লিঙ্কেজ, সম্পূর্ণ লিঙ্কেজ খুব বেশি প্রভাবিত হয় না, এটি এখনও জোড়ায়িত ভিন্নতার ন্যূনতম / গড় / সর্বোচ্চ হবে।

দূরত্ব পরিমাপ হিসাবে সম্পর্ক

আপনি আপনার ডেটা preprocess থাকেন ( $n$ পর্যবেক্ষণ, $p$ যেমন প্রতিটি বৈশিষ্ট্য আছে যা বৈশিষ্ট্য) $\mu=0$ এবং $\sigma=1$ (যা নামঞ্জুর করে ধ্রুবক বৈশিষ্ট্যসমূহ!), তারপর পারস্পরিক সম্পর্ক কোসাইন থেকে হ্রাস:

Corr (এক্স, ওয়াই) = \frac{Cov (এক্স, ওয়াই)}{σ_{এক্স} σ_{ওয়াই}} = \frac{ই [(এক্স - μ_{এক্স}) (ওয়াই - μ_{ওয়াই})]}{σ_{এক্স} σ_{ওয়াই}} = ই [এক্স ওয়াই] = \frac{1}{এন} ⟨ এক্স, ওয়াই ⟩

$\text{Corr} (X,Y) = \frac{\text{Cov}(X, Y)} {\sigma_X \sigma_Y} = \frac{\mathbb{E} \left[ (X - \mu_X) (Y - \mu_Y) \right]} {\sigma_X \sigma_Y} = \mathbb{E} [XY] = \frac1n \left<X, Y\right>$

একই পরিস্থিতিতে, স্কোয়ারড ইউক্লিডিয়ান দূরত্ব কোজিনেও হ্রাস করে:

ঘ_{ইউক্লিড্}^{2} (এক্স, ওয়াই) = Σ ({এক্স}_{আমি} - {ওয়াই}_{আমি})^{2} = Σ {এক্স}_{আমি}^{2} + + Σ {ওয়াই}_{আমি}^{2} - 2 Σ {এক্স}_{আমি} {ওয়াই}_{আমি} = 2 এন - 2 ⟨ এক্স, ওয়াই ⟩ = 2 এন [1 - Corr (এক্স, ওয়াই)]

$d_\text{Euclid}^2(X,Y) = \sum (X_i - Y_i)^2 = \sum X_i^2 + \sum Y_i^2 - 2 \sum X_i Y_i \\ = 2n - 2\left<X, Y\right> = 2n \left[1 - \text{Corr}(X, Y)\right]$

অতএব, আপনার ডেটা অবক্ষয় না হওয়া অবধি হায়ারারিকাল ক্লাস্টারিংয়ের সাথে সম্পর্কিত ব্যবহার করা ঠিক হবে okay উপরে বর্ণিত হিসাবে এটি কেবল প্রাকপ্রসেস করুন, তারপরে স্কোয়ারড ইউক্লিডিয়ান দূরত্ব ব্যবহার করুন।

— Anony-হেয়ার ক্রিম
সূত্র

Only ward's method is special, and should be used with squared Euclidean। শুধু ওয়ার্ডের নয়। জ্যামিতিক নির্ভুলতার জন্য যেকোন পদ্ধতির সেন্ট্রয়েডগুলি থেকে সেন্ট্রয়েডগুলি বা বিচ্যুতিগুলির জন্য ইউক্লিডিয়ান বা স্কোয়ার্ড ইউক্লিডিয়ান (প্রয়োগের উপর নির্ভর করে) দূরত্বের প্রয়োজন হবে। এ জাতীয় ক্ষতি এবং যথাযথ সতর্কতার সাথে, এগুলি অন্যান্য মেট্রিক দূরত্বের সাথে ব্যবহার করা যেতে পারে। সেই পদ্ধতিগুলি হ'ল সেন্ট্রয়েড, "মিডিয়ান", ওয়ার্ডের, ভেরিয়েন্স (ওয়ার্ডের সাথে বিভ্রান্ত হওয়ার দরকার নেই!) এবং আরও কিছু।

— ttnphns

ধন্যবাদ, আমি আরও স্পষ্ট করে তুলেছি আমি এই প্রকরণগুলি সম্পর্কে অবগত ছিলাম না, আমি কেবল একক / গড় / সম্পূর্ণ / ওয়ার্ডের কথা ভাবছিলাম।

— অ্যানি-মাউস

⟨, ⟩

$\langle, \rangle$

d i m

$dim$