পারস্পরিক তথ্য বনাম পারস্পরিক সম্পর্ক

Question

"পিয়ারসন", "স্পিয়ারম্যান" বা "কেন্ডালের টাউ" এর মতো পরিসংখ্যানগত পারস্পরিক পরিমাপের উপর কেন আমাদের কখন পারস্পরিক তথ্য ব্যবহার করা উচিত?

Answer 1

আসুন (লিনিয়ার) পারস্পরিক সম্পর্কের একটি মৌলিক ধারণা বিবেচনা করা যাক, কোভেরিয়েন্স (যা পিয়ারসনের পারস্পরিক সম্পর্কের সহগ "অ-মানক")। দুই বিযুক্ত র্যান্ডম ভেরিয়েবল জন্য এবং সম্ভাব্যতা ভর ফাংশন সঙ্গে , এবং জয়েন্ট pmf আমরা আছেY p ( x ) p ( y ) p ( x , y $X$$Y$$p(x)$$p(y)$$p(x,y)$

$$\operatorname{Cov}(X,Y) = E(XY) - E(X)E(Y) = \sum_{x,y}p(x,y)xy - \left(\sum_xp(x)x\right)\cdot \left(\sum_yp(y)y\right)$$

$$\Rightarrow \operatorname{Cov}(X,Y) = \sum_{x,y}\left[p(x,y)-p(x)p(y)\right]xy$$

উভয়ের মধ্যে পারস্পরিক তথ্য হিসাবে সংজ্ঞায়িত করা হয়

$$I(X,Y) = E\left (\ln \frac{p(x,y)}{p(x)p(y)}\right)=\sum_{x,y}p(x,y)\left[\ln p(x,y)-\ln p(x)p(y)\right]$$

দুটিটির সাথে তুলনা করুন: প্রতিটি "প্রান্তিক পিএমএফের পণ্য থেকে যৌথ পিএমএফের দূরত্ব দ্বারা প্রকাশিত হওয়ার সাথে" স্বাধীনতার থেকে দুটি আরভি'র দূরত্বের "বিন্দু অনুসারে" পরিমাপ "ধারণ করে: এর স্তরগুলির পার্থক্য হিসাবে এটি রয়েছে, যখন এর লগারিদমের পার্থক্য রয়েছে। আমি ( এক্স , ওয়াই $\operatorname{Cov}(X,Y)$$I(X,Y)$

এবং এই ব্যবস্থাগুলি কী করে? ইন তারা দুটি র্যান্ডম ভেরিয়েবল পণ্যের একটি ভরযুক্ত সমষ্টি তৈরি করুন। ইন তারা তাদের যৌথ সম্ভাব্যতা একটি ভরযুক্ত সমষ্টি তৈরি করুন।আমি ( এক্স , ওয়াই $\operatorname{Cov}(X,Y)$$I(X,Y)$

সুতরাং আমরা দেখি যে অ-স্বাধীনতা তাদের পণ্যকে কী করে, আমরা দেখি যে অ-স্বাধীনতা তাদের যৌথ সম্ভাব্যতা বিতরণে কী করে। আমি ( এক্স , ওয়াই $\operatorname{Cov}(X,Y)$$I(X,Y)$

বিপরীতভাবে, হ'ল স্বাধীনতা থেকে দূরত্বের লোগারিথমিক পরিমাপের গড় মান, যখন হ'ল স্বাধীনতা থেকে দূরত্বের মাত্রা-পরিমাপের ভারিত মান, যা পণ্য দ্বারা ভারিত দুটি আরভিরকোভ ( এক্স , ওয়াই $I(X,Y)$$\operatorname{Cov}(X,Y)$

সুতরাং দু'টি বৈরী নয় — এগুলি পরিপূরক, দুটি র্যান্ডম ভেরিয়েবলের মধ্যে অ্যাসোসিয়েশনের বিভিন্ন দিক বর্ণনা করে। কেউ মন্তব্য করতে পারেন যে মিউচুয়াল ইনফরমেশন "লিন্কড" না যদিও সমিতিটি লিনিয়ার কিনা, যদিও কোভারিয়েন্স শূন্য হতে পারে এবং ভেরিয়েবলগুলি এখনও স্থিরভাবে নির্ভরশীল হতে পারে। অন্যদিকে, কোভরিয়েন্সকে সরাসরি কোনও ডেটা নমুনা থেকে গণনা করা যেতে পারে প্রকৃতপক্ষে সম্ভাব্য বিতরণগুলি জড়িত (কারণ এটি বিতরণের মুহুর্তের সাথে জড়িত একটি অভিব্যক্তি) জেনে রাখা প্রয়োজন ছাড়া অন্যদিকে পারস্পরিক তথ্য বিতরণের জ্ঞান প্রয়োজন, যার মূল্যায়ন যদি অজানা, কোভারিয়েন্সের অনুমানের তুলনায় অনেক বেশি সূক্ষ্ম এবং অনিশ্চিত কাজ।

Comments

@ আলেকোস প্যাপাডোপ্লোস; আপনার ব্যাপক উত্তরের জন্য ধন্যবাদ।

— সাজা

আমি নিজেকে একই প্রশ্ন জিজ্ঞাসা করছিলাম কিন্তু আমি উত্তরটি পুরোপুরি বুঝতে পারি নি। @ অ্যালেকোস পাপাদোপল্লোস: আমি বুঝতে পেরেছিলাম যে পরিমাপকৃত নির্ভরতা এক নয়, ঠিক আছে। তাহলে এক্স এবং ওয়াইয়ের মধ্যে কী ধরনের সম্পর্কের জন্য কোভ (এক্স, ওয়াই) এর চেয়ে পারস্পরিক তথ্য I (এক্স, ওয়াই) পছন্দ করা উচিত? আমি সম্প্রতি একটি অদ্ভুত উদাহরণ পেয়েছি যেখানে ওয়াই প্রায় এক্সের উপর নির্ভরশীল ছিল (এটি একটি বিক্ষিপ্ত প্লটের প্রায় সোজা রেখা ছিল) এবং করর (এক্স, ওয়াই) ছিল 0.87 এর সমান যেখানে আমি (এক্স, ওয়াই) 0.45 এর সমান । সুতরাং স্পষ্টভাবে কিছু ক্ষেত্রে রয়েছে যেখানে একটি সূচককে অন্য একটির চেয়ে বেছে নেওয়া উচিত? সাহায্য করার জন্যে ধন্যবাদ!

— গান্ধী 91

@ গান্ধী ৯ এই নির্দিষ্ট ক্ষেত্রে , এর এনট্রপি কী ছিল ? এইচ ( এক্স $X$$H(X)$

— অ্যালেকোস পাপাদোপল্লোস

এটি একটি দুর্দান্ত এবং খুব পরিষ্কার উত্তর। আমি ভাবছিলাম যে আপনার যদি খুব সহজেই উপলভ্য উদাহরণ থাকে যেখানে কোভ 0, তবে পিএমআই নেই।

— থ্যাং করুন

@thang। আসলে তা না. পার্শ্ববর্তী তথ্য শূন্য এবং একই সময়ে যৌথ বন্টন পারস্পরিক তথ্য গণনা করার জন্য একটি উদাহরণ খুঁজে পেতে সক্ষম হওয়া উচিত (এবং যৌথ বন্টন প্রান্তিকের পণ্য হবে না, কারণ আমরা চাই ভেরিয়েবলগুলি না হয় স্বাধীন)।

— অ্যালেকোস পাপাদোপ্লোস

Answer 2

পারস্পরিক তথ্য দুটি সম্ভাব্য বন্টনের মধ্যে একটি দূরত্ব। দুটি সম্পর্কহীন ভেরিয়েবলের মধ্যে সমাসীনতা একটি লিনিয়ার দূরত্ব।

চিহ্নগুলির সেটের জন্য সংজ্ঞায়িত যে কোনও দুটি সম্ভাবনার মধ্যে আপনার পারস্পরিক তথ্য থাকতে পারে, অন্যদিকে আপনার প্রতীকগুলির মধ্যে কোনও সম্পর্ক থাকতে পারে না যা প্রাকৃতিকভাবে কোনও আর ^ এন স্পেসে ম্যাপ করা যায় না।

অন্যদিকে, পারস্পরিক তথ্য ভেরিয়েবলের কিছু বৈশিষ্ট্য সম্পর্কে ধারণা অনুমান করে না ... আপনি যদি মসৃণ চলকগুলির সাথে কাজ করছেন তবে পারস্পরিক সম্পর্ক আপনাকে সে সম্পর্কে আরও কিছু বলতে পারে; উদাহরণস্বরূপ যদি তাদের সম্পর্ক একঘেয়ে হয়।

আপনার যদি কিছু পূর্বের তথ্য থাকে তবে আপনি এক থেকে অন্যটিতে যেতে সক্ষম হতে পারেন; চিকিত্সা রেকর্ডে আপনি চিহ্নগুলি "জিনোটাইপ এ" কে 1 হিসাবে মানচিত্র করতে পারেন এবং "জিনোটাইপ এ" 0 এবং 1 মানগুলিতে তৈরি করতে পারেন এবং দেখুন এটির কোনও অসুস্থতার সাথে অন্যরকম সম্পর্ক রয়েছে। একইভাবে, আপনি অবিচ্ছিন্ন একটি পরিবর্তনশীল নিতে পারেন (উদা: বেতন), এটিকে পৃথক বিভাগে রূপান্তর করতে পারেন এবং সেই বিভাগগুলি এবং প্রতীকগুলির একটি সেটের মধ্যে পারস্পরিক তথ্য গণনা করতে পারেন।

Comments

সম্পর্ক স্থাপন কোনও লিনিয়ার ফাংশন নয়। এটি কি বলা উচিত যে পারস্পরিক সম্পর্ক র্যান্ডম ভেরিয়েবলের মধ্যে লিনিয়ার সম্পর্কের একটি পরিমাপ?

— ম্যাথু গন

আমি এটি মনে করি: "চিহ্নগুলির সেটের জন্য সংজ্ঞায়িত যে কোনও দুটি সম্ভাবনার মধ্যে আপনার পারস্পরিক তথ্য থাকতে পারে, যখন যে চিহ্নগুলির মধ্যে কোনও প্রাকৃতিক সম্পর্ক নেই যা প্রাকৃতিকভাবে কোনও আর-এন স্পেসে ম্যাপ করা যায় না" সম্ভবত এটিই মূল কথা। আপনার কাছে সম্পূর্ণ র্যান্ডম ভেরিয়েবল না থাকলে করর কোনও অর্থ হবে না; যাইহোক, পিএমআই এমনকি পিডিএফ এবং সিগমা (স্পেস) দিয়েও বোঝায়। এই কারণেই অনেকগুলি অ্যাপ্লিকেশনগুলিতে যেখানে আরভিগুলি বোঝায় না (যেমন এনএলপি), পিএমআই ব্যবহৃত হয়।

— থ্যাং করুন

Answer 3

এখানে একটি উদাহরণ।

এই দুটি প্লটের মধ্যে পারস্পরিক সম্পর্ক সহগ শূন্য। তবে পারস্পরিক সম্পর্ক শূন্য হলেও আমরা উচ্চ ভাগ করে নেওয়া পারস্পরিক তথ্য পেতে পারি।

প্রথমটিতে, আমি দেখতে পাচ্ছি যে যদি আমার এক্স এর উচ্চ বা নিম্ন মানের হয় তবে আমি সম্ভবত ওয়াইয়ের উচ্চ মান পাব But তবে যদি এক্সের মানটি মাঝারি হয় তবে আমার ওয়াইয়ের কম মান হবে The প্রথম প্লট এক্স এবং ওয়াই দ্বারা ভাগ করা পারস্পরিক তথ্য সম্পর্কে তথ্য ধারণ করে the দ্বিতীয় চক্রান্তে এক্স আমাকে ওয়াই সম্পর্কে কিছুই বলেনি।

Answer 4

যদিও উভয়ই বৈশিষ্ট্যগুলির মধ্যে সম্পর্কের একটি পরিমাপ, এমআই সহসাংগন সহগ (সিই) এর চেয়ে বেশি সাধারণ সিই কেবলমাত্র লিনিয়ার সম্পর্কগুলিকে বিবেচনা করতে সক্ষম তবে এমআইও অ-লিনিয়ার সম্পর্কগুলি পরিচালনা করতে পারে।

Comments

এটা সত্যি না. পিয়ারসন সম্পর্কের সহগ দুটি র্যান্ডম ভেরিয়েবলের স্বাভাবিকতা এবং রৈখিকতা ধরে নিয়েছে, নন-প্যারাম্যাট্রিক স্পিয়ারম্যানের মতো বিকল্পগুলি নয়। দুটি আরভির মধ্যে কেবল একঘেয়েমি অনুমান করা হয়।

— মেও