এই পারস্পরিক সম্পর্ক ভিত্তিক দূরত্বগুলির জন্য কি ত্রিভুজ বৈষম্য পূরণ হয়?

13

শ্রেণিবদ্ধ ক্লাস্টারিংয়ের জন্য আমি প্রায়শই দুটি এবং এলোমেলো ভেরিয়েবল $X$ এবং মধ্যবর্তী দূরত্ব পরিমাপ করার জন্য নিম্নলিখিত দুটি "মেট্রিক" (তারা ঠিক বলছেন না) দেখতে পাই $Y$ : either হয় হয় এক ত্রিভুজ অসমতা পূরণ? যদি তাই হয় তবে আমি কীভাবে এটি কেবলমাত্র একটি ব্রুটফোর্স গণনা করা ছাড়া অন্য প্রমাণ করব? যদি তারা মেট্রিক না হয় তবে একটি সহজ পাল্টা উদাহরণ কী? $\newcommand{\Cor}{\mathrm{Cor}}$

\begin{aligned} d_{1} (X, Y) & = 1 - | C o r (X, Y) |, \\ d_{2} (X, Y) & = 1 - (C o r (X, Y))^{2} \end{aligned}

$\begin{align} d_1(X,Y) &= 1-|\Cor(X,Y)|, \\ d_2(X,Y) &= 1-(\Cor(X,Y))^2 \end{align}$

— লিন্ডা
সূত্র

আপনি এই কাগজটি পর্যালোচনা করতে আগ্রহী হতে পারেন: arxiv.org/pdf/1208.3145.pdf ।

— ক্রিস

5

ত্রিভুজ বৈষম্য আপনার এর উপর $d_1$ উত্পাদ হবে: $\newcommand{\Cov}{\mathrm{Cov}}$ $\newcommand{\Cor}{\mathrm{Cor}}$ $\newcommand{\Var}{\mathrm{Var}}$

\begin{aligned} d_{1} (X, Z) & \leq d_{1} (X, Y) + d_{1} (Y, Z) \\ 1 - | C o r (X, Z) | & \leq 1 - | C o r (X, Y) | + 1 - | C o r (Y, Z) | \\ ⟹ | C o r (X, Y) | + | C o r (Y, Z) | & \leq 1 + | C o r (X, Z) | \end{aligned}

$\begin{align*} d_1(X,Z) &\leq d_1(X,Y) + d_1(Y,Z) \\ 1 - |\Cor(X,Z)| &\leq 1 - |\Cor(X,Y)| + 1 - |\Cor(Y,Z)| \\ \implies |\Cor(X,Y)| + |\Cor(Y,Z)| &\leq 1 + |\Cor(X,Z)| \end{align*}$

এটি পরাজয় করা বেশ সহজ বৈষম্য বলে মনে হচ্ছে। $X$ এবং $Z$ স্বতন্ত্র করে আমরা ডান হাতটিকে যতটা সম্ভব ছোট (ঠিক এক) করতে পারি । তারপরে আমরা কী এমন কোনও খুঁজে পেতে পারি $Y$ যার জন্য বাম-হাতটি একের বেশি?

যদি এবং এবং অভিন্ন ভ্যারিয়েন্স, তারপর আছে এবং একইভাবে জন্য , তাই বাম দিকটি একের উপরে ভাল এবং বৈষম্য লঙ্ঘিত হয়েছে। আরে এই লঙ্ঘনের উদাহরণ, যেখানে এবং একটি মাল্টিভারিয়েট সাধারণের উপাদান: $Y=X+Z$ $X$ $Z$ $\Cor(X,Y) = \frac{\sqrt{2}}{2} \approx 0.707$ $\Cor(Y,Z)$ $X$ $Z$

library(MASS)
set.seed(123)
d1 <- function(a,b) {1 - abs(cor(a,b))}

Sigma    <- matrix(c(1,0,0,1), nrow=2) # covariance matrix of X and Z
matrixXZ <- mvrnorm(n=1e3, mu=c(0,0), Sigma=Sigma, empirical=TRUE)
X <- matrixXZ[,1] # mean 0, variance 1
Z <- matrixXZ[,2] # mean 0, variance 1
cor(X,Z) # nearly zero
Y <- X + Z

d1(X,Y) 
# 0.2928932
d1(Y,Z)
# 0.2928932
d1(X,Z)
# 1
d1(X,Z) <= d1(X,Y) + d1(Y,Z)
# FALSE

যদিও নোট করুন যে এই আপনার সাথে কাজ করে না : $d_2$

d2 <- function(a,b) {1 - cor(a,b)^2}
d2(X,Y) 
# 0.5
d2(Y,Z)
# 0.5
d2(X,Z)
# 1
d2(X,Z) <= d2(X,Y) + d2(Y,Z)
# TRUE

তে তাত্ত্বিক আক্রমণ চালিয়ে , এই পর্যায়ে আমি আর- এ কোভারিয়েন্স ম্যাট্রিক্সের সাথে খেলা করা খুব সহজ খুঁজে পেলাম যতক্ষণ না একটি দুর্দান্ত কাউন্টারিক্স নমুনা বের হয়ে যায়। মঞ্জুরি , এবং দেয়: $d_2$ Sigma $\Var(X)=2$ $\Var(Z)=1$ $\Cov(X,Z)=1$

V a r (Y) = V a r (X + Y) = V a r (X) + V a r (Z) + 2 C o v (X, Z) = 2 + 1 + 2 = 5

$\Var(Y)=\Var(X+Y)=\Var(X)+\Var(Z)+2\Cov(X,Z)=2+1+2=5$

আমরা সমবায়ীরা তদন্ত করতে পারি:

C o v (X, Y) = C o v (X, X + Z) = C o v (X, X) + C o v (X, Z) = 2 + 1 = 3

$\Cov(X,Y)=\Cov(X,X+Z)=\Cov(X,X)+\Cov(X,Z)=2+1=3$

C o v (Y, Z) = C o v (X + Z, Z) = C o v (X, Z) + C o v (Z, Z) = 1 + 1 = 2

$\Cov(Y,Z)=\Cov(X+Z,Z)=\Cov(X,Z)+\Cov(Z,Z)=1+1=2$

স্কোয়ার সম্পর্কিত সম্পর্কগুলি তখন:

C o r (X, Z)^{2} = \frac{C o v (X, Z)^{2}}{V a r (X) V a r (Z)} = \frac{1^{2}}{2 \times 1} = 0.5

$\Cor(X,Z)^2 = \frac{\Cov(X,Z)^2}{\Var(X)\Var(Z)}=\frac{1^2}{2\times1}=0.5$

C o r (X, Y)^{2} = \frac{C o v (X, Y)^{2}}{V a r (X) V a r (Y)} = \frac{3^{2}}{2 \times 5} = 0.9

$\Cor(X,Y)^2 = \frac{\Cov(X,Y)^2}{\Var(X)\Var(Y)}=\frac{3^2}{2\times5}=0.9$

C o r (Y, Z)^{2} = \frac{C o v (Y, Z)^{2}}{V a r (Y) V a r (Z)} = \frac{2^{2}}{5 \times 1} = 0.8

$\Cor(Y,Z)^2 = \frac{\Cov(Y,Z)^2}{\Var(Y)\Var(Z)}=\frac{2^2}{5\times1}=0.8$

তারপরে যখন এবং তাই ত্রিভুজ যথেষ্ট পরিমাণে লঙ্ঘিত হয়। $d_2(X,Z)=0.5$ $d_2(X,Y)=0.1$ $d_2(Y,Z)=0.2$

Sigma    <- matrix(c(2,1,1,1), nrow=2) # covariance matrix of X and Z
matrixXZ <- mvrnorm(n=1e3, mu=c(0,0), Sigma=Sigma, empirical=TRUE)
X <- matrixXZ[,1] # mean 0, variance 2
Z <- matrixXZ[,2] # mean 0, variance 1
cor(X,Z) # 0.707
Y  <- X + Z
d2 <- function(a,b) {1 - cor(a,b)^2}
d2(X,Y) 
# 0.1
d2(Y,Z)
# 0.2
d2(X,Z)
# 0.5
d2(X,Z) <= d2(X,Y) + d2(Y,Z)
# FALSE

— Silverfish
সূত্র

5

আমাদের তিনটি ভেক্টর থাকতে পারে (এটি ভেরিয়েবল বা ব্যক্তি হতে পারে) , এবং । এবং আমরা তাদের প্রত্যেককে জেড-স্কোর (মানে = 0, ভেরিয়েন্স = 1) এ মানক করে দিয়েছি। $X$ $Y$ $Z$

$\newcommand{\Cor}{\mathrm{Cor}}$

তারপরে কোসাইন উপপাদ্য ("কোস্টিনের আইন") অনুসারে দুটি মানকৃত ভেক্টর (বলুন, এক্স এবং ওয়াই) এর মধ্যে , , যেখানে , কোসাইন আদল, হয় পিয়ারসন ভেক্টর Z-প্রমিতকরণ কারণে। আমরা আমাদের বিবেচনা থেকে ধ্রুবক গুণকটি নিরাপদে বাদ দিতে পারি । $d_{XY}^2 = 2(n-1)(1-\cos_{XY})$ $\cos_{XY}$ $r_{XY}$ $2(n-1)$

সুতরাং, এটি আসে যে প্রশ্নটিতেসূত্রটি পারস্পরিক সম্পর্ক সহগের চিহ্নটিকে উপেক্ষা না করা হলে স্কোয়ারড ইউক্লিডিয়ান দূরত্ব হবে। $d_1(X,Y)=1-|\Cor(X,Y)|$

ম্যাট্রিক্স হলে s গ্রামীণ (ধনাত্মক সেমিাইডাইফিনেট) হয় তবে "ডি 1" দূরত্বের বর্গমূলটি ইউক্লিডিয়ান দূরত্ব হয়, যা অবশ্যই মেট্রিক। বড় ম্যাট্রিক নেই এটি প্রায়শই একটি কেস বা কেস এর কাছাকাছি হয় যখন ইউক্যালিডিয়ান স্পেসে দূরত্বগুলি ভাল রূপান্তর থেকে খুব বেশি দূরে থাকে না। যেহেতু মেট্রিক ইউক্যালিডের চেয়ে বৃহত্তর শ্রেণি, তাই প্রদত্ত ম্যাট্রিক্সের দূরত্বের "স্কয়ার্ট (ডি 1)" বেশিরভাগ সময় মেট্রিক উপস্থিত হওয়ার প্রত্যাশা করতে পারে। $|r|$ $|r|$

প্রতি সেটের জন্য "ডি 1", যা স্কোয়ারড ইউক্লিডিয়ান দূরত্বের "মত" , এটি অবশ্যই মেট্রিক নয়। এমনকি সত্য স্কোয়ারড ইউক্লিডিয়ান দূরত্ব মেট্রিক নয়: এটি কখনও কখনও ত্রিভুজ অসমতার নীতি লঙ্ঘন করে। [গুচ্ছ বিশ্লেষণে, স্কোয়ারড ইউক্লিডিয়ান দূরত্বটি প্রায়শই ব্যবহৃত হয়; তবে, এরকম বেশিরভাগ ক্ষেত্রে প্রকৃতপক্ষে অংকিত দূরত্বের বিশ্লেষণকে বোঝানো হয়, বর্গক্ষেত্রগুলি গণনার জন্য কেবল একটি সুবিধাজনক ইনপুট]] এটি দেখতে (স্কোয়ারড ইউক্যালিডিয়ান সম্পর্কে ), আমাদের তিনটি ভেক্টর আঁকুন। $d$

এখানে চিত্র বর্ণনা লিখুন

ভেক্টরগুলি ইউনিট-দৈর্ঘ্য (কারণ মানক)। কোণগুলির কসাইনগুলি ( , , pha ) যথাক্রমে , , হয়। : এই কোণ ভেক্টর মধ্যে ইউক্লিডিয় দুরুত্ব সংশ্লিষ্ট ছড়িয়ে , , । সরলতার জন্য, তিনটি ভেক্টর সমস্ত একই প্লেনে রয়েছে (এবং তাই এবং মধ্যবর্তী কোণটি অন্য দুটি, যোগফল )। এটি এমন অবস্থান যেখানে দূরত্ব বর্গাকার দ্বারা ত্রিভুজ অসমতার লঙ্ঘন সর্বাধিক সুস্পষ্ট। $\alpha$ $\beta$ $\alpha+\beta$ $r_{XY}$ $r_{XZ}$ $r_{YZ}$ $d_{XY}$ $d_{XZ}$ $d_{YZ}$ $X$ $Z$ $\alpha+\beta$

কারণ, আপনি চোখের সাথে দেখতে পাচ্ছেন, সবুজ বর্গক্ষেত্র অঞ্চলটি দুটি লাল স্কোয়ারের যোগফলকে : । $d_{YZ}^2 > d_{XY}^2 + d_{XZ}^2$

সুতরাং সম্পর্কিত

$d_1(X,Y)=1-|\Cor(X,Y)|$

দূরত্ব আমরা বলতে পারি এটি মেট্রিক নয়। কারণ এমনকি যখন সমস্ত গুলি মূলত ইতিবাচক ছিল তবে দূরত্ব হ'ল ইউক্লিডিয়ান যা নিজেই মেট্রিক নয়। $r$ $d^2$

দ্বিতীয় দূরত্ব সম্পর্কে কি?

$d_2(X,Y)=1-(\Cor(X,Y))^2$

ভেক্টরগুলির ক্ষেত্রে যেহেতু পারস্পরিক সম্পর্ক , তাই হ'ল । (বস্তুত, হয় একটি রৈখিক নির্ভরণ, একটি পরিমাণ যা কিছু নির্ভরশীল ভেরিয়েবলের স্কোয়ারড কোরিলেশন লম্ব predictor করার।) যে ক্ষেত্রে ভেক্টর Sines আঁকা এবং সেগুলি মনে ছক (কারণ আমরা দূরত্বটি যা ) সম্পর্কে কথা বলছে : $r$ $\cos$ $1-r^2$ $\sin^2$ $1-r^2$ SSerror/SStotal $\sin^2$

এখানে চিত্র বর্ণনা লিখুন

যদিও এটি দৃশ্যত বেশ স্পষ্ট নয়, তবে সবুজ বর্গক্ষেত্র আবার লাল অঞ্চলের যোগফল । $\sin_{YZ}^2$ $\sin_{XY}^2 + \sin_{XZ}^2$

এটা প্রমাণিত হতে পারে। বিমানে, । আমরা আগ্রহী হওয়ায় উভয় পক্ষকে স্কোয়ার করুন । $\sin(\alpha+\beta) = \sin\alpha \cos\beta + \cos\alpha \sin\beta$ $\sin^2$

\begin{aligned} \sin^{2} (α + β) & = \sin^{2} α (1 - \sin^{2} β) + (1 - \sin^{2} α) \sin^{2} β + 2 \sin α \cos β \cos α \sin β \\ = \sin^{2} α + \sin^{2} β - 2 [\sin^{2} α \sin^{2} β] + 2 [\sin α \cos α \sin β \cos β] \end{aligned}

$\begin{align} \sin^2(\alpha+\beta) &= \sin^2\alpha (1-\sin^2\beta) + (1-\sin^2\alpha) \sin^2\beta + 2 \sin\alpha \cos\beta \cos\alpha \sin\beta \\ &= \sin^2\alpha + \sin^2\beta -2 [\sin^2\alpha \sin^2\beta] +2 [\sin\alpha \cos\alpha \sin\beta \cos\beta] \end{align}$

শেষ অভিব্যক্তিটিতে দুটি গুরুত্বপূর্ণ পদটি বন্ধনীযুক্ত দেখানো হয়েছে। যদি দুজনের দ্বিতীয়টি প্রথমটির চেয়ে বড় হয় (বা হতে পারে) তবে এবং "ডি 2" দূরত্ব লঙ্ঘন করে ত্রিভুজাকার বৈষম্য। এবং এটি আমাদের ছবিতেও রয়েছে যেখানে প্রায় 40 ডিগ্রি এবং প্রায় 30 ডিগ্রি হয় (পদ 1 হয় এবং 2 পদ হয় )। "ডি 2" মেট্রিক নয়। $\sin^2(\alpha+\beta) > \sin^2\alpha + \sin^2\beta$ $\alpha$ $\beta$ .1033.2132

"ডি 2" দূরত্বের বর্গমূল - সাইন ভিন্নতা পরিমাপ - যদিও মেট্রিক (আমি বিশ্বাস করি)। আপনি নিশ্চিত করতে আমার বৃত্তে বিভিন্ন এবং কোণ দিয়ে খেলতে পারেন। "ডি 2" নন-কলিনারি সেটিংয়ে (যেমন বিমানে তিনজন ভেক্টর নেই) মেট্রিক দেখানো হবে কিনা - আমি এই মুহুর্তে বলতে পারছি না, তবে আমি এটি অস্থায়ীভাবে মনে করি এটি হবে। $\alpha$ $\beta$

— ttnphns
সূত্র

3

এই প্রিপ্রিন্টটিও দেখুন যা আমি লিখেছি: http://arxiv.org/abs/1208.3145 । আমার এখনও সময় নিতে হবে এবং এটি সঠিকভাবে জমা দিতে হবে। বিমূর্ত:

আমরা মেট্রিক-সংরক্ষণের ফাংশনগুলির সহজ সরঞ্জামটি ব্যবহার করে কোটোজিন মিলের দুটি শ্রেণীর রূপান্তর এবং পিয়ারসন এবং স্পিয়ারম্যান পারস্পরিক সম্পর্ককে মেট্রিক দূরত্বে তদন্ত করি। প্রথম শ্রেণি বিরোধী-সম্পর্কযুক্ত বস্তুকে সর্বাধিক দূরে রাখে। পূর্বে পরিচিত রূপান্তরগুলি এই শ্রেণীর মধ্যে পড়ে। দ্বিতীয় শ্রেণীর কোলেটেটেড এবং অ্যান্টি-কোলেস্টেড অবজেক্টগুলি কোলাজ করে। কেন্দ্রিক ডেটা প্রয়োগ করার সময় একটি পরিবর্তনীয় উদাহরণ যা একটি মেট্রিক দূরত্ব দেয় তা হ'ল সাইন ফাংশন।

আপনার প্রশ্নের জন্য ফল যে D1 , D2 প্রকৃতপক্ষে মেট্রিক্স নয় এবং যে বর্গমূল D2 একটি সঠিক মেট্রিক আসলে।

— micans
সূত্র

2

না।

সবচেয়ে সহজ পাল্টা উদাহরণ:

জন্য দূরত্ব এ সব সংজ্ঞায়িত করা হয় না, যাই হোক না কেন আপনার হয়। $X=(0,0)$ $Y$

যে কোনও ধ্রুবক সিরিজের স্ট্যান্ডার্ড বিচ্যুতি এবং এটি সংজ্ঞায় শূন্য দ্বারা বিভাজন ঘটায় ... $\sigma=0$ $Cor$

বেশিরভাগ ক্ষেত্রে এটি কোনও ধ্রুবক সিরিজ সহ ডেটা স্পেসের একটি উপসেটে একটি মেট্রিক।

— কুইট আছে - অ্যানি-মুউসে
সূত্র

ভাল যুক্তি! আমার অবশ্যই এটি অন্য কোথাও উল্লিখিত প্রাক-মুদ্রণে উল্লেখ করতে হবে।

— mican