মিউচুয়াল ইনফরমেশন ম্যাট্রিক্সের ইগেনভেেক্টরগুলির অর্থ কী?

Question

কোভেরিয়েন্স ম্যাট্রিক্সের ইগেনভেেক্টরগুলির দিকে তাকানোর সময় আমরা সর্বাধিক বৈকল্পিকের দিকনির্দেশ পাই (প্রথম ইগেনভেেক্টরটি সেই দিক যা ডেটা সর্বাধিক পরিবর্তিত হয় ইত্যাদি); একে বলা হয় মূল উপাদান বিশ্লেষণ (পিসিএ)।

আমি ভাবছিলাম যে মিউচুয়াল ইনফরমেশন ম্যাট্রিক্সের ইগেনভেেক্টর / মানগুলি দেখার অর্থ কী, তারা কি সর্বাধিক এনট্রপির দিক নির্দেশ করবে?

Comments

আমি জানি না, তবে কেবল শিখেছি যে পারস্পরিক তথ্য ম্যাট্রিকগুলি সর্বদা ইতিবাচক অর্ধ-নির্দিষ্ট নয়: arxiv.org/abs/1307.6673 ।

— অ্যামিবা বলছেন মনিকা

এটি আমাদের কাজ করা কিছুটির

— সিমোন

Answer 1

যদিও এটা একটি সরাসরি উত্তর না (যেমন এটি সম্পর্কে pointwise , সংক্রান্ত কাগজ এ বর্ণন পারস্পরিক তথ্য) word2vec একটি থেকে একবচন মান পচানি পিএমআই ম্যাট্রিক্সের:

• ও লেভি, ওয়াই গোল্ডবার্গ, ইম্পিলিটিড ম্যাট্রিক্স ফ্যাক্টোরাইজেশন হিসাবে নিউরাল ওয়ার্ড এম্বেডিং

আমরা মাইকোলভ এট আল দ্বারা প্রবর্তিত একটি শব্দ এম্বেডিং পদ্ধতিতে নেতিবাচক-নমুনা (এসজিএনএস) সহ স্কিপ-গ্রাম বিশ্লেষণ করি এবং দেখাই যে এটি স্পষ্টভাবে একটি শব্দ-প্রসঙ্গ ম্যাট্রিক্সকে ফ্যাক্টরাইজ করছে, যার কোষগুলি সংশ্লিষ্টদের পয়েন্টওয়াইজ মিউচুয়াল তথ্য (পিএমআই) শব্দ এবং প্রসঙ্গের জোড়, একটি বিশ্ব ধ্রুবক দ্বারা স্থানান্তরিত। আমরা দেখতে পেলাম যে আরও একটি এম্বেডিং পদ্ধতি, এনসিই, স্পষ্টতই একটি অনুরূপ ম্যাট্রিক্সকে ফ্যাক্টরিজ করছে, যেখানে প্রতিটি ঘর তার প্রসঙ্গে প্রদত্ত কোনও শব্দের (স্থানান্তরিত) লগ শর্তযুক্ত সম্ভাবনা। আমরা দেখাই যে শব্দের প্রতিনিধিত্ব করতে একটি বিচ্ছিন্ন শিফ্ট পজিটিভ পিএমআই শব্দ-প্রসঙ্গ ম্যাট্রিক্স ব্যবহার করে দুটি শব্দের মিলের কার্য এবং দুটি উপমা কার্যকারিতার মধ্যে একটিতে ফলাফলের উন্নতি হয়। যখন ঘন নিম্ন-মাত্রিক ভেক্টরগুলিকে অগ্রাধিকার দেওয়া হয়, এসভিডি দিয়ে সঠিক ফ্যাক্টেরাইজেশন এমন সমাধানগুলি অর্জন করতে পারে যা শব্দের অনুরূপতার জন্য এসজিএনএসের সমাধানগুলির মতো কমপক্ষে ভাল। সাদৃশ্যমূলক প্রশ্নে এসজিএনএস এসভিডি থেকে উচ্চতর থাকে। আমরা অনুমান করি যে এটি এসজিএনএসের গুণগতকরণের ভারী প্রকৃতি থেকে উদ্ভূত।