2 ডি তে বহু-মাত্রিক ডেটা (এলএসআই) ভিজ্যুয়ালাইজ করা

Question

আমি নথিগুলির মধ্যে সাদৃশ্য খুঁজে পেতে সুপ্ত সিমেটিক ইনডেক্সিং ব্যবহার করছি ( ধন্যবাদ, জেএমএস! )

মাত্রা হ্রাসের পরে, আমি কে-মানে ক্লাস্টার করে ডকুমেন্টগুলিকে ক্লাস্টারে গ্রুপ করার জন্য চেষ্টা করেছি, যা খুব ভাল কাজ করে। তবে আমি আরও কিছুটা এগিয়ে যেতে চাই এবং নোডগুলির সেট হিসাবে নথিগুলি ভিজ্যুয়ালাইজ করতে চাই, যেখানে দুটি নোডের মধ্যকার দূরত্বটি তাদের মিলের সাথে বিপরীতভাবে সমানুপাতিক হয় (যে নোডগুলি খুব বেশি অনুরূপ থাকে তারা একে অপরের কাছাকাছি থাকে)।

এটি আমাকে আঘাত করে যে আমার ডেটা> ২ মাত্রা হওয়ায় আমি সঠিকভাবে একটি 2-মাত্রিক গ্রাফের সাথে একটি মিলের ম্যাট্রিক্স হ্রাস করতে পারি না। সুতরাং আমার প্রথম প্রশ্ন: এটি করার কোনও মানক উপায় আছে?

আমি কি কেবল আমার ডেটা দুটি মাত্রায় কমাতে এবং তারপরে এটিকে এক্স এবং ওয়াই অক্ষ হিসাবে প্লট করতে পারি, এবং এটি কি -2 100-200 ডকুমেন্টের একটি গ্রুপের জন্য যথেষ্ট? যদি এটি সমাধান হয় তবে আমার ডেটাটি শুরু থেকে ২ টি মাত্রায় কমিয়ে আনাই ভাল, বা আমার বহুমাত্রিক ডেটা থেকে দুটি "সেরা" মাত্রা বাছাই করার কোনও উপায় আছে কি?

আমি পাইথন এবং জিনসিম লাইব্রেরি ব্যবহার করছি যদি এতে কোনও পার্থক্য আসে।

Comments

আপনার মাত্রিকতা কমাতে কেন দরকার? আপনি যে গ্রাফটি চান তা বানাতে আপনার কেবল এমন প্রান্তগুলি প্রয়োজন যেখানে একটি প্রান্তের দৈর্ঘ্য নথির মধ্যবর্তী দূরত্বের সাথে সমানুপাতিক। আপনার কে-ক্লাস্টারিংয়ের জন্য ব্যবহৃত মেট্রিক থেকে এটি ইতিমধ্যে আপনার কাছে রয়েছে।

— আমান

@ আমান যা 2D বিমানের (গ্রাফ) 2> নথির মধ্যে সাদৃশ্য প্রদর্শনের জন্য কাজ করে না। অবশ্যই, আমি কে-মানে দূরত্বের ভিত্তিতে পৃথকীকরণের সাথে A এবং B পয়েন্টগুলি প্লট করতে পারি। তবে তারপরে যখন আমার A এবং B এর দূরত্বের উপর ভিত্তি করে C বিন্দুতে প্লট করা দরকার তখন সাধারণত 2D স্পেসে কোনও পয়েন্ট থাকে না যা সমস্ত জোড়াযুক্ত সম্পর্ককে সন্তুষ্ট করে।

— জেফ

Answer 1

এমডিএস (বহুমাত্রিক স্কেলিং) এর জন্য এটি ডিজাইন করা হয়েছে। সংক্ষেপে, যদি আপনাকে একটি ম্যাট্রিক্স এম দেওয়া হয় তবে আপনি নিকটতম সান্নিধ্য যেখানে এর র‌্যাঙ্ক ২ রয়েছে। এটি এসভিডি গণনা করে করা যেতে পারে যেখানে । এস এম = ভী Λ ভী ⊤ = এক্স এক্স ⊤ এক্স = ভী Λ 1 /$S = X X^\top$$S$$M = V \Lambda V^\top = X X^\top$$X = V \Lambda^{1/2}$

এখন ধরে নেওয়া, amb তাই ইগেনভ্যালুগুলি ক্রমহ্রাসমান ক্রমে, এর প্রথম দুটি কলাম হ'ল বিমানে আপনার কাঙ্ক্ষিত এম্বেডিং।$\Lambda$$X$

এমডিএস-এর জন্য প্রচুর কোড উপলব্ধ রয়েছে (এবং স্কিপিটির কোনও সংস্করণ না থাকলে আমি অবাক হয়ে যাব)। যে কোনও ক্ষেত্রে যতক্ষণ না আপনি অজগরকে সেট করে রেখেছেন এমন কোনও এসভিডি রুটিনে অ্যাক্সেস রয়েছে।

Comments

আমি মনে করি এলডিএ এর জন্য আরও ভাল হবে। পিসিএ-যেমন আপনি এসভিডি-এর মাধ্যমে পাবেন- কোনও ক্লাস্টার (শ্রেণি) বৈষম্যমূলক তথ্য সংরক্ষণ করবে না, যা ওপি পরে is

— ঝুবার্ব

Answer 2

গিগবি নামে একটি সফটওয়্যার রয়েছে যা আপনাকে সহায়তা করতে পারে। এটি আপনাকে বহুমাত্রিক সিউডো-স্পেসগুলি অন্বেষণ করতে দেয়। এটি বেশিরভাগ ডেটা অনুসন্ধানের জন্য তবে এর ইন্টারফেসটি অত্যন্ত বন্ধুত্বপূর্ণ এবং 'এটি-কেবল-কাজগুলি'!

আপনার কেবলমাত্র একটি সিএসভি ফর্ম্যাট প্রয়োজন (আরআই তে সাধারণত ডিফল্ট প্যারামিটারগুলি দিয়ে রাইট.সিএসভি ব্যবহার করুন) বা একটি এক্সএমএল ফাইল (এই ফর্ম্যাটটি আপনাকে আরও নিয়ন্ত্রণের অনুমতি দেয়; আমি সাধারণত আমার টেবিলটি সিএসভিতে সংরক্ষণ করি তারপরে এটি জিজিওবি দিয়ে এক্সএমএলে রপ্তানি করে ম্যানুয়ালি সম্পাদনা করে) উদাহরণস্বরূপ কিছু কারণের ক্রম পরিবর্তন করতে)।