আপনি যখন কোনও সহযোগী ফিল্টারিং সমস্যাতে এসভিডি প্রয়োগ করেন তখন কী ঘটে? এই দুটির মধ্যে পার্থক্য কী?

Question

সহযোগী ফিল্টারিংয়ে, আমাদের মানগুলি পূরণ করা হয় নি। মনে করুন কোনও ব্যবহারকারী কোনও সিনেমা দেখেনি তবে আমাদের সেখানে একটি 'না' রাখতে হবে।

আমি যদি এই ম্যাট্রিক্সের একটি এসভিডি নিতে যাচ্ছি, তবে আমাকে সেখানে কিছু নম্বর রাখতে হবে - বলুন 0 এখন এখন আমি যদি ম্যাট্রিক্সকে ফ্যাক্টরিজ করি তবে অনুরূপ ব্যবহারকারীর সন্ধান করার জন্য আমার একটি পদ্ধতি রয়েছে (কোন ব্যবহারকারীরা একত্রে আরও কাছাকাছি আছেন তা খুঁজে বের করে) হ্রাস মাত্রিক স্থান)। তবে নিজেই পূর্বাভাস দেওয়া পছন্দ - কোনও আইটেমের ব্যবহারকারীর পক্ষে শূন্য। (কারণ আমরা অজানা কলামগুলিতে যা লিখেছি তা হ'ল)।

সুতরাং আমি বনাম এসভিডি সহযোগী ফিল্টারিংয়ের সমস্যায় আটকে আছি। এগুলি প্রায় একই রকম বলে মনে হয় তবে বেশ নয়।

তাদের মধ্যে পার্থক্য কী এবং যখন আমি কোনও সহযোগী ফিল্টারিং সমস্যাটিতে একটি এসভিডি প্রয়োগ করি তখন কী হয়? আমি করেছি, এবং ফলাফলগুলি নিকটবর্তী ব্যবহারকারীদের সন্ধানের ক্ষেত্রে গ্রহণযোগ্য বলে মনে হচ্ছে, যা দুর্দান্ত তবে কীভাবে?

Answer 1

$\DeclareMathOperator*{\argmin}{arg\,min}$ ঠিক আছে, যখন আপনি SVD বলছি, সম্ভবতঃ আপনার সম্পর্কে কথা বলছি ছেঁটে ফেলা SVD (যেখানে আপনি শুধুমাত্র রাখা সবচেয়ে বড় একবচন মান)। ম্যাট্রিক্সের কাটা কাটা এসভিডি দেখার জন্য দুটি ভিন্ন উপায় রয়েছে। একটি হ'ল মান সংজ্ঞা:$k$

প্রথমে আপনি এসভিডি করুন: , যেখানে ইউ এবং ভি ঘূর্ণন ম্যাট্রিক্স এবং Σ এর তির্যক বরাবর একক মান রয়েছে। তারপরে আপনি শীর্ষ কে একবচনীয় মানগুলি বেছে নেবেন, বাকীটি শূন্য করুন, এবং কে- ক্র্যাঙ্কের মূলটির সাথে আনুষঙ্গিক সারি এবং কলামগুলি হ্যাক করুন : এক্স ≈ ˜ এক্স = ˜ ইউ এন × কে কে × $\underset{n\times m}{X} = \underset{n\times n}{U} \overset{n\times m}{\Sigma} \underset{m\times m}{V^T}$$U$$V$$\Sigma$$k$$k$$X \approx \tilde{X} = \underset{n\times k}{\tilde{U}} \overset{k\times k}{\tilde{\Sigma}} \underset{k\times m}{\tilde{V}^T}$

এটি সমস্ত সূক্ষ্ম এবং জঘন্য (আর বা ম্যাট্লাবের মধ্যে প্রয়োগ করা সহজ) তবে অনুপস্থিত মানগুলির সাথে ম্যাট্রিকগুলির বিষয়ে কথা বলার সময় কোনও অর্থ হয় না। তবে, ছিন্ন এসভিডি- র একটি আকর্ষণীয় সম্পত্তি রয়েছে - এটি আসলটির সর্বোত্তম কে- ক্র্যাঙ্কের কাছাকাছি! এটাই:$k$$k$

$\tilde{X} = \argmin_{B : rank(B)=k} \displaystyle\sum\limits_{i,j} (X_{ij} - B_{ij})^2$

এই সম্পত্তিটি অনুপস্থিত মানের ক্ষেত্রে সাধারণ করা সহজ বলে মনে হচ্ছে। মূলত আপনি একটি ক্র্যাঙ্ক ম্যাট্রিক্সের সন্ধান করছেন যা মূল ম্যাট্রিক্সের জ্ঞাত এন্ট্রিগুলিতে উপাদান অনুসারে গড় স্কোয়ার ত্রুটি হ্রাস করে । এটি হ'ল, আপনি যখন সিস্টেমটিকে প্রশিক্ষণ দিচ্ছেন, আপনি সমস্ত অনুপস্থিত মানটিকে উপেক্ষা করবেন । (কিভাবে আপনি আসলে খুঁজে নেওয়ার বিষয়ে যেতে পারে টিপসের জন্য একটি ট -rank পড়তা, এখানে হয় কিছু স্থান চেহারায়)।$k$$k$

তারপরে, একবার আপনি আসলটির সাথে উপযুক্ত "বন্ধ" ক্র্যাঙ্কের কাছাকাছি এসেছেন, আপনি অনুপস্থিত মান পূরণ করতে এটি ব্যবহার করেন। অর্থাৎ, যদি এক্স আই জে অনুপস্থিত থাকে তবে আপনি ˜ এক্স আই জেটি পূরণ করুন । Tada! আপনি এখন সম্পন্ন হয়েছে।$k$$X_{ij}$$\tilde{X}_{ij}$

Answer 2

দেখে মনে হচ্ছে কীভাবে অনুপস্থিত মানগুলি মোকাবিলা করতে হবে সে সম্পর্কে অনেকগুলি পন্থা রয়েছে। বিভাগ 1.3 পর্যালোচনা সহ নিম্নলিখিত কাগজটি একটি ভাল সূচনা পয়েন্ট হতে পারে।

Answer 3

স্টম্পি জো পিট এর উত্তর সম্পর্কে মন্তব্য করার জন্য আমার আরও খ্যাতি দরকার তাই আমি এটি একটি উত্তর হিসাবে পোস্ট করি।

উত্তরের জন্য স্টম্পি ধন্যবাদ যদিও আমি মনে করি এটির কিছুটা ব্যাখ্যা দরকার। বিশেষত আমি এই বাক্যটি বোঝাতে চাইছি:

মূলত আপনি একটি কে-র‌্যাঙ্কের ম্যাট্রিক্সের সন্ধান করছেন যা মূল ম্যাট্রিক্সের জ্ঞাত এন্ট্রিগুলিতে উপাদান অনুসারে গড় স্কোয়ার ত্রুটি হ্রাস করে।

প্রথম - সর্ব্বোচ্চ র‌্যাঙ্কটি কি সর্বদা এটি হ্রাস করবে না, বা প্রকৃতপক্ষে মূল এক্স ম্যাট্রিক্সটি পুনর্গঠন করবে? দ্বিতীয়ত - কেন আপনি কেবল পরিচিত প্রবেশিকা গ্রহণ করবেন। স্বজ্ঞাতভাবে এটি বোধগম্য হয়, তবে পদ্ধতিটি আসলে খালি জায়গাগুলিও ফিট করে যা কিছু যুক্তিসঙ্গত সংখ্যার সাথে প্রতিস্থাপন করা হয়েছিল।

আমার পদ্ধতির ক্রস বৈধতার মতো কিছু করাতে হবে:

1. 0 টি বা উপায় বা অন্য কোনও যুক্তিসঙ্গত সংখ্যা দিয়ে ফাঁকা জায়গায় পূরণ করুন।
2. পরিচিত নামগুলির একটিকে 0 বা যুক্তিসঙ্গত সংখ্যার সাথে প্রতিস্থাপন করুন
3. K র‍্যাঙ্কের এসভিডি পুনর্গঠন সম্পাদন করুন
4. জ্ঞাত পুনর্গঠিত উপাদানটির মান পরীক্ষা করুন ।
5. সমস্ত সম্ভাব্য পরিচিত উপাদানগুলির জন্য পুনরাবৃত্তি করুন এবং এমএসই গণনা করুন
6. সমস্ত সম্ভাব্য কে এর জন্য পুনরাবৃত্তি করুন এবং সর্বনিম্ন এমএসই সহ একটি চয়ন করুন।

Comments

১. অতিরিক্ত চাপ এড়াতে আপনি লো কে বেছে নিতে চান (এক্স এর মাত্রাগুলি যাই হোক না কেন তার চেয়ে অনেক কম)। এটি মূলত একই কারণে ar পয়েন্টের একটি ডেটাসেট লাগানোর জন্য কুইন্টিকের চেয়ে লিনিয়ার রিগ্রেশন একটি ভাল পছন্দ। ২. অজানা এন্ট্রিগুলি কী হতে হবে তা আপনি জানেন না, সুতরাং আপনি তাদের জুড়ে "উপাদান-ভিত্তিক এমএসই" পরিমাপ করতে পারবেন না। আমার পদ্ধতিটি অনুপস্থিত মানগুলি সংখ্যার সাথে পূর্ণ করে যা জ্ঞাত মানগুলির বিরুদ্ধে ত্রুটি হ্রাস করে (এবং ম্যাট্রিক্সটি নিম্ন-পদমর্যাদায় হওয়া আবশ্যক) দ্বারা উদ্ভূত হয়েছিল।

— স্টম্পি জো পিট