টিএফ-আইডিএফ লগারিদমে লোগারিদমের ব্যবহার বোঝা

Question

আমি পরিতেছিলাম:

https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition

তবে সূত্রটি কেন ঠিক এমনভাবে তৈরি করা হয়েছিল তা আমি বুঝতে পারি না।

আমি কি বুঝতে পারি:

আইডিএফকে কিছু স্তরে পরিমাপ করা উচিত যে প্রতিটি নথিতে একটি শব্দ এস কতবার প্রকাশিত হয়, শব্দটি আরও ঘন ঘন প্রদর্শিত হওয়ায় মান হ্রাস পায়।

সেই দৃষ্টিকোণ থেকে

$$iDF(S) = \frac{\# \text{ of Documents}}{\# \text{ of Documents containing S}}$$

তদুপরি টার্ম ফ্রিকোয়েন্সি যথাযথভাবে বর্ণনা করা যায়

$$tf(S,D) = \frac{\# \ \text{of Occurrences of S in document D}}{\# \ \text{maximum number of occurrences for any string Q in document D}}$$

সুতরাং তারপর পরিমাপ

$$iDF(S) \times tf(S,D)$$

কোনও উপায়ে কোনও প্রদত্ত নথিতে প্রায়শই কী শব্দটি প্রকাশিত হয় তার সাথে আনুপাতিক এবং ডকুমেন্টগুলির সেটের তুলনায় সেই শব্দটি কতটা অনন্য।

আমি কি বুঝতে পারি না

তবে প্রদত্ত সূত্রটি এটিকে বর্ণনা করে

$$\left( \log(iDF(S)) \right) \left( \frac{1}{2} + \log(\frac{1}{2} tf(S,D)) \right)$$

সংজ্ঞায় বর্ণিত লগারিদমগুলির প্রয়োজনীয়তাটি বুঝতে আগ্রহী। যেমন, তারা সেখানে কেন? তারা কোন দিকটি জোর দেয়?

Answer 1

জোর দেওয়া দিকটি হ'ল একটি পদ বা ডকুমেন্টের প্রাসঙ্গিকতা (বা ডকুমেন্ট) ফ্রিকোয়েন্সি সহ আনুপাতিকভাবে বৃদ্ধি পায় না। একটি সাব-লিনিয়ার ফাংশন ব্যবহার করে সুতরাং এই প্রভাবটি ডাম্প করতে সহায়তা করে। খুব বড় বা খুব ছোট মানগুলির প্রভাবকে প্রসারিত করতে (যেমন খুব বিরল শব্দ) এছাড়াও মোড়কিত করা হয়। অবশেষে বেশিরভাগ লোকেরা স্বজ্ঞাতভাবে লোগারিদমগুলি ব্যবহার করে স্কোরিং ফাংশনগুলি কিছুটা যুক্ত করার জন্য উপলব্ধি করে যা থেকে পৃথক পৃথক পদগুলির সম্ভাবনা তৈরি করবে$P(A, B) = P(A) \, P(B)$$\log(P(A,B)) = \log(P(A)) + \log(P(B))$

উইকিপিডিয়া নিবন্ধ হিসাবে আপনি সংযুক্ত করেছেন যে নোটগুলি টিএফ-আইডিএফ এর ন্যায়সঙ্গত এখনও সুপ্রতিষ্ঠিত নয়; এটি একটি বাতুল্য যে আমরা কঠোর করতে চাই, একটি কঠোর ধারণা নয় যা আমরা আসল বিশ্বে স্থানান্তর করতে চাই। @ অ্যানি-মৌসে যে বিষয়টি খুব ভালভাবে পড়েছেন হিসাবে উল্লেখ করেছেন তা হ'ল রবার্টসনের বোঝাপড়া বিপরীত দলিল ফ্রিকোয়েন্সি: আইডিএফের জন্য তাত্ত্বিক যুক্তিগুলিতে । এটি পুরো কাঠামোটির একটি বিস্তৃত ওভারভিউ দেয় এবং অনুসন্ধান শব্দগুলির প্রাসঙ্গিকতা ওজনকে টিএফ-আইডিএফ পদ্ধতিটি ভিত্তি করে দেওয়ার চেষ্টা করে।

Comments

টিএফ-আইডিএফ-এর কিছুটা ন্যায়সঙ্গততা পাওয়া যায় "ফ্যাং, হুই এট আল ( পিডিএফ ) দ্বারা 2004" তথ্য পুনরুদ্ধার হিউরিস্টিক্সের একটি আনুষ্ঠানিক গবেষণা "in

— আলেক্সি গ্রিগোরভ

আমি মনে করি এটি টিএফ-আইডিএফ ন্যায্যতার জন্য আরও ভাল রেফারেন্স: রবার্টসন, এস। (2004)। "বিপরীত দলিলের ফ্রিকোয়েন্সি বোঝা: আইডিএফের জন্য তাত্ত্বিক আর্গুমেন্টগুলিতে"। জার্নাল অফ ডকুমেন্টেশন 60 (5): 503–520।

— কিট আছে - অ্যানি-মৌসে

ভদ্রলোকদের মন্তব্যের জন্য আপনাকে ধন্যবাদ (এবং বিশেষভাবে ধন্যবাদ আলেক্সিকে সংশোধন করার জন্য \log, আমি তাদের ক্রমাগত ভুলে যাই); উভয়কে +1 করুন। আমি রবার্টসন পেপার দেখেছি এবং এটিকে যুক্ত করার চিন্তাভাবনা করেছি; এটি সত্যিই ভাল পঠিত, আমি এটি মূল শরীরে যুক্ত করব।

— usεr11852

@ অ্যানি-মউসে (পিডিএফ)

— ওয়ালরাস দ্য ক্যাট

"ডকুমেন্ট ডি-তে যে কোনও স্ট্রিং Q এর জন্য সর্বাধিক সংখ্যক সংঘটন" কেন ব্যবহার করা হয় তা জানতে চাই number of occurrences for all strings in document D। আমরা কেন সমস্ত শব্দের গণনার পরিবর্তে সর্বাধিক প্রচলিত শব্দের গণনা চাই?

— জিওনক্রস