দূরত্ব পারস্পরিক সম্পর্ক গণনা বোঝা

Question

যতদূর আমি বুঝতে পেরেছি, দূরত্বের পারস্পরিক সম্পর্ক দুটি সংখ্যক ভেরিয়েবলের মধ্যে কোনও সম্পর্ক আছে কিনা তা যাচাই করার একটি মজবুত এবং সর্বজনীন উপায়। উদাহরণস্বরূপ, যদি আমাদের সংখ্যার জোড়া থাকে:

(x1, y1)
(x2, y2)
...
(xn, yn)

দুটি ভেরিয়েবল ( xএবং y) এর মধ্যে কোনও (অগত্যা রৈখিক নয়) সম্পর্ক আছে কিনা তা পরীক্ষা করতে আমরা দূরত্বের সম্পর্কটি ব্যবহার করতে পারি । তদতিরিক্ত, xএবং yবিভিন্ন মাত্রার ভেক্টর হতে পারে।

দূরত্ব পারস্পরিক সম্পর্ক গণনা করা তুলনামূলকভাবে সহজ। প্রথমে আমরা দূরত্বের ম্যাট্রিক্স গণনা করতে ব্যবহার $x_i$ । তারপরে আমরা ব্যবহার করে দূরত্বের ম্যাট্রিক্স গণনা $y_i$ । দুটি দূরত্বের ম্যাট্রিকের একই মাত্রা থাকবে কারণ $x_i$ এবং$y_i$একই (কারণ তারা জোড়ায় আসে)।

এখন আমাদের অনেকগুলি দূরত্ব রয়েছে যা যুক্ত করা যায়। উদাহরণস্বরূপ (2,3), প্রথম দূরত্বের ম্যাট্রিক্সের উপাদানটি (2,3)দ্বিতীয় দূরত্বের ম্যাট্রিক্সের সাথে উপাদানটির সাথে যুক্ত হয় । সুতরাং, আমাদের কাছে দূরত্বের জোড়া রয়েছে এবং আমরা এটি ব্যবহার করতে পারি পারস্পরিক সম্পর্ক (দূরত্বগুলির মধ্যে পারস্পরিক সম্পর্ক) গণনা করতে।

দুই ধরণের দূরত্ব যদি পারস্পরিক সম্পর্কযুক্ত হয় তবে এর চেয়ে কাছে ক্লোজ এক্স এর অর্থ সাধারণত ঘনিষ্ঠ ইয়াস হয়। উদাহরণস্বরূপ, যদি পাসে হবে এক্স 13 তুলনায় এটি তার মানে Y 7 পাসে হতে পারে Y $x_7$$x_{13}$$y_7$$y_{13}$ । সুতরাং, আমরা সিদ্ধান্ত নিতে পারি যে এক্স এবং ওয়াই নির্ভরশীল।

যুক্তিসঙ্গত শোনায়, তবে দুটি দিক রয়েছে যা আমি বুঝতে পারি না ।

প্রথমত , দূরত্বের পারস্পরিক সম্পর্ক গণনা করতে আমরা সরাসরি দুটি দূরত্বের ম্যাট্রিক ব্যবহার করি না। আমরা তাদের জন্য ডাবল কেন্দ্রীকরণ পদ্ধতি প্রয়োগ করি (যাতে কোনও সারিতে (বা কলাম) সমস্ত উপাদানের যোগফল শূন্যের সমান হয়)। আমাদের কেন এটি করা দরকার তা আমি বুঝতে পারি না। এই পদক্ষেপের পিছনে যুক্তি (বা অন্তর্দৃষ্টি) কী?

দ্বিতীয়ত , মূল দূরত্বের ম্যাট্রিকগুলিতে আমাদের তির্যকের উপর জিরো থাকে। সুতরাং, আমরা যদি দূরত্বগুলির মধ্যে পারস্পরিক সম্পর্কগুলি গণনা করি তবে আমাদের কাছে একটি পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ সম্পর্ক থাকবে কারণ প্রথম ম্যাট্রিক্সের অনেকগুলি শূন্যের সাথে দ্বিতীয় ম্যাট্রিক্সের সংশ্লিষ্ট শূন্যগুলির সাথে জুটিবদ্ধ। কীভাবে এই সমস্যার সমাধান হয়?

Answer 1

দূরত্বের কোভেরিয়েন্স / পারস্পরিক সম্পর্ক (= ব্রাউনিয়ান কোভেরিয়েন্স / পারস্পরিক সম্পর্ক) নিম্নলিখিত পদক্ষেপে গণনা করা হয়:

1. Nভেরিয়েবল দ্বারা কেসগুলির মধ্যে ইউক্যালিডিয়ান দূরত্বের গণনা ম্যাট্রিক্স এবং ভেরিয়েবল ওয়াই দ্বারা অন্য একইভাবে ম্যাট্রিক্স । এক্স বা ওয়াই , দুটি পরিমাণগত বৈশিষ্ট্যগুলির মধ্যে যে কোনওটি কেবল অবিচ্ছিন্ন নয়, বহুবিবাহ হতে পারে।$X$$Y$$X$$Y$
2. প্রতিটি ম্যাট্রিক্সের ডাবল সেন্টারিং সম্পাদন করুন। দেখুন কিভাবে ডবল কেঁদ্রীকরণ সাধারণত সম্পন্ন করা হয়। যাইহোক, আমাদের ক্ষেত্রে, যখন এটি না করছেন না বর্গ দূরত্বের প্রাথমিকভাবে এবং দ্বারা বিভক্ত করা হবে না শেষ। সারি, কলামের অর্থ এবং সামগ্রিক গড়ের উপাদানগুলি শূন্য হয়ে যায়।$-2$
3. ফলস্বরূপ দুটি ফলাফলের ম্যাট্রিককে গুণিত করে যোগফলটি গণনা করুন; বা সমতুল্য, ম্যাট্রিকগুলি দুটি কলাম ভেক্টরগুলিতে মোড়ক করুন এবং তাদের যোগফলের ক্রস-পণ্য গণনা করুন।
4. গড়, উপাদানগুলির সংখ্যা দ্বারা বিভাজক N^2,।
5. বর্গমূল নিন। ফলাফলটি এক্স এবং ওয়াইয়ের মধ্যে দূরত্বের সমবায়তা ।$X$$Y$
6. দূরত্ব ভেরিয়ানস দূরত্ব covariances হয় , এর ওয়াই , নিজেদের সঙ্গে আপনি তাদের একইভাবে গনা, পয়েন্ট 3-4-5।$X$$Y$
7. তিনটি সংখ্যার সাথে দূরত্ব সম্পর্কিত সম্পর্কটি একইভাবে পাওয়া যায় যে কীভাবে পিয়ারসন পারস্পরিক সম্পর্কটি সাধারণ কোভেরিয়েন্স এবং বৈচিত্রের জোড় থেকে প্রাপ্ত হয়: দুটি বৈকল্পিকের উত্পাদনের বর্গমূল দিয়ে কোভেরিয়েন্সকে বিভক্ত করুন।

দূরত্ব সহভেদাংক (এবং পারস্পরিক সম্পর্ক) হল না সহভেদাংক (অথবা পারস্পরিক সম্পর্ক) দূরত্বের নিজেদের মধ্যে। এটি "বিশেষত স্কেলার পণ্য (বিন্দু পণ্য)" যা "দ্বিগুণ কেন্দ্রীভূত" ম্যাট্রিকগুলির সমন্বয়ে গঠিত এর মধ্যে কোভেরিয়েন্স (সম্পর্ক) ।

ইউক্লিডিয়ান স্পেসে, স্কেলার পণ্যটি একই দূরত্বের সাথে অবিচ্ছিন্নভাবে আবদ্ধ হয়। আপনার যদি দুটি পয়েন্ট (ভেক্টর) থাকে তবে আপনি তথ্য হারানো ছাড়াই তাদের দূরত্বের পরিবর্তে স্কেলার পণ্য হিসাবে তাদের ঘনিষ্ঠতা প্রকাশ করতে পারেন।

তবে কোনও স্কেলারের পণ্য গণনা করতে আপনাকে স্থানের মূল পয়েন্টটি উল্লেখ করতে হবে (ভেক্টরগুলি উত্স থেকে আসে)। সাধারণত, কেউ তার পছন্দসই উত্সটি স্থাপন করতে পারে তবে প্রায়শই এবং সুবিধাজনক হ'ল এটি বিন্দুর মেঘের জ্যামিতিক মাঝখানে স্থাপন করা হয় mean কারণ গড়টি একই স্থানের সাথে মেঘ দ্বারা বিস্তৃত মাত্রিক মাত্রাটি ফুলে উঠবে না।

এখন, দূরত্বের ম্যাট্রিক্সের সাধারণ ডাবল সেন্ট্রিং (মেঘের পয়েন্টগুলির মধ্যে) হ'ল জ্যামিতিক মাঝখানে উত্স স্থাপন করার সময় স্কেলারের পণ্যগুলিতে দূরত্বকে রূপান্তরিত করার কাজ। এটি করতে গিয়ে দূরত্বের "নেটওয়ার্ক" সমানভাবে ভেক্টরগুলির "ফেটে", নির্দিষ্ট দৈর্ঘ্য এবং জোড়াযুক্ত কোণগুলির দ্বারা উত্স থেকে প্রতিস্থাপিত হয়:

$X$$X$

n points x p dimensions$\bf X$p=1$\bf D$n x nn$\bf C$$\bf X$$\mathbf S = \text{double-centered } \mathbf D^2$$\bf CC'$$\frac{1}{2n} \mathbf {\sum D^2} = trace(\mathbf S) = trace(\mathbf {C'C})$$\bf S$

দূরত্বের সম্পর্কের দিকে ফিরে যান। আমরা যখন দূরত্বের সমবায় গণনা করি তখন আমরা কী করছি? আমরা দূরত্বের উভয় জালকে তাদের সংশ্লিষ্ট ভেক্টরগুলিতে রূপান্তরিত করেছি। এবং তারপরে আমরা দুটি গুচ্ছের সংশ্লিষ্ট মানগুলির মধ্যে কোভেরিয়েশন (এবং পরবর্তীকালে পারস্পরিক সম্পর্ক) গণনা করি: একটি কনফিগারেশনের প্রতিটি স্কেলারের পণ্য মান (পূর্ববর্তী দূরত্বের মান) এর সাথে অন্য একটি কনফিগারেশনের সাথে একই গুণ করা হয়। এটি "পয়েন্ট 3 তে বলা হয়েছিল) হিসাবে দেখা যেতে পারে যে দুটি" ভেরিয়েবলগুলি "তে দুটি ম্যাট্রিককে ভেক্টরাইজ করার পরে দুটি ভেরিয়েবলের মধ্যে স্বাভাবিক সমবায় গণনা করা হয়।

সুতরাং, আমরা সাদৃশ্য দুটি সেট (স্কেলার পণ্য, যা রূপান্তরিত দূরত্ব) সেট করা হয়। যে কোনও প্রকারের সাম্প্রদায়িকতা মুহুর্তের ক্রস-প্রোডাক্ট: আপনাকে এই মুহুর্তগুলি গণনা করতে হবে, গড় থেকে বিচ্যুতি, প্রথম - এবং দ্বিগুণ কেন্দ্রীকরণ ছিল সেই গণনা। এটি আপনার প্রশ্নের উত্তর: একটি স্বৈরশাসনের মুহুর্তের উপর ভিত্তি করে হওয়া দরকার তবে দূরত্বগুলি মুহূর্ত নয়।

(পয়েন্ট 5) পর বর্গমূল অতিরিক্ত গ্রহণ যৌক্তিক বলে মনে কারণ আমাদের ক্ষেত্রে মুহূর্ত ইতিমধ্যে নিজেই সহভেদাংক কেমন (ক স্কালে পণ্য এবং একটি সহভেদাংক ছিল compeers হয় গঠনের দিক) এবং তাই এটি যে আপনি এসেছেন multiplyed covariances এক ধরনের দুইবার। সুতরাং মূল তথ্যগুলির মানগুলির স্তরে ফিরে আসতে (এবং পারস্পরিক সম্পর্কের মান গণনা করতে সক্ষম হতে) তার পরে মূলটি গ্রহণ করতে হবে।

$(0,2)$$1$$2$

Comments

পদক্ষেপ 3 এ "সংক্ষিপ্ত ক্রস পণ্য" দ্বারা, আপনি কি কেবল একটি সাধারণ স্কেলার পণ্য বোঝায়?

— kram1032

@ ক্র্যাম 1032, হ্যাঁ স্কিপ এবং স্কেলার পণ্য সমার্থক শব্দগুলি stats.stackexchange.com/a/22520/3277

— ttnphns

Answer 2

আমি মনে করি আপনার দুটি প্রশ্নই গভীরভাবে জড়িত। যদিও দূরত্বের ম্যাট্রিক্সের মূল ত্রিভুজগুলি 0, তবে কোভেরিয়েন্সের জন্য যা ব্যবহার করা হয়েছে (যা পারস্পরিক সম্পর্কের অঙ্কটি নির্ধারণ করে) হ'ল দূরত্বের দ্বিগুণ কেন্দ্রিক মান - যা কোনও প্রকারের ভেক্টরের জন্য, ত্রিভুজগুলি হবে নেতিবাচক.

সুতরাং আসুন একটি সহজ স্বাধীন ক্ষেত্রে পদক্ষেপ এবং দেখুন যে এটি আমাদের কোনও অন্তর্দৃষ্টি দেয় যদি দুটি ভেরিয়েবলগুলি স্বতন্ত্র হয় তখন পারস্পরিক সম্পর্ক 0 কেন হয়।

$(X,Y)= [(0,0),(0,1),(1,0),(1,1)]$

$X$$Y$

$a=\left[\begin{array}{cccc} 0&0&1&1\\ 0&0&1&1\\ 1&1&0&0\\ 1&1&0&0\end{array}\right]$

$b=\left[\begin{array}{cccc} 0&1&0&1\\ 1&0&1&0\\ 0&1&0&1\\ 1&0&1&0\end{array}\right]$

$A$

$A=\left[\begin{array}{rrrr} -.5&-.5&.5&.5\\ -.5&-.5&.5&.5\\ .5&.5&-.5&-.5\\ .5&.5&-.5&-.5\end{array}\right]$

$B=\left[\begin{array}{rrrr} -.5&.5&-.5&.5\\ .5&-.5&.5&-.5\\ -.5&.5&-.5&.5\\ .5&-.5&.5&-.5\end{array}\right]$

$-.5\cdot-.5=.25$$.5\cdot.5=.25$$-.5\cdot.5=-.25$$0$

$0$

$0$$a$$b$$0.25$

(টিটিএনফেন্সগুলি যেমন উল্লেখ করেছে, শক্তি নিজেও গুরুত্বপূর্ণ হিসাবে এটি নিজেই যথেষ্ট নয় We আমরা একই ডাবল সেন্টারিং করতে পারি তবে আমরা যদি তাদেরকে চতুর্ভুজগুলিতে যুক্ত করি তবে আমরা যদি সম্পত্তিটি হারাতে পারি তবে তা হারাব))

Comments

আমি যদি এই উত্তরে ম্যাট্রিকগুলি সম্পাদনা করি তবে আপনি কি আপত্তি করবেন?

— ছায়াছবির

@ এসএসডেকট্রোল অফারটির জন্য ধন্যবাদ! আমি নিজে গিয়েছিলাম এবং নিজেই করেছি, তবে অন্য কোনও বিন্যাসে পরিবর্তন আনতে নির্দ্বিধায়।

— ম্যাথু গ্রেভস

এই ক্ষেত্রে "একক" বলতে আপনি কী বোঝাতে চেয়েছি তা আমি পুরোপুরি বুঝতে পারি না (এটি কী ম্যাটিউ বলেছেন বা অন্যথায় কি বলেছেন?) আমার কাছে সত্যই রহস্যজনক / গুরুত্বপূর্ণ কী (আমি আমার উত্তরের শেষে এটি প্রকাশ করেছি) কেন ( তাত্ত্বিকভাবে) যখন আমরা প্রথমে দূরত্বে স্কোয়ারিং না করে ডাবল সেন্টারিং করি তখন আমরা ডিকভকে তার অনন্য এবং দরকারী বৈশিষ্ট্যগুলি সরবরাহ করতে সহায়তা করি।

— ttnphns

@ এনটিএনএফএনএস: একক কেন্দ্রীকরণের অর্থ আমি প্রতিটি দূরত্বের মান থেকে গ্র্যান্ড গড়কে বিয়োগ করতে চাইছি। যাই হোক না কেন, আমি একমত যে দূরত্বের covariance রহস্যজনক।

— অ্যামিবা

@ আমেবা আমি আশা করি লেখকরা একাধিক যুগের ভেরিয়েবলের জন্য স্বজ্ঞাত ব্যাখ্যা এবং দক্ষ প্রয়োগের সাথে একটি ফলোআপ লিখেছিলেন। এটি এক দশকের মধ্যে বন্ধ হওয়ায় তাদের মূল কাগজ এবং দূরত্বের সমবায়টি এখনও গ্রেড শিক্ষার্থীদের জন্য বেশিরভাগ ক্ষেত্রে কেবল একটি কুইক্সোটিক ডাইভার্সন। এমসি চেইনগুলি নির্ণয়ের জন্য স্ট্যানের একমাত্র অ-বাস্তবায়িত বৈশিষ্ট্যটিতে আমি কখনও অনুশীলনে এটি ব্যবহার করে দেখেছি

— শ্যাডোটালকার