বিপরীত নথির ফ্রিকোয়েন্সিতে কেন একটি যুক্ত করবেন?

Question

আমার পাঠ্যপুস্তকটি হিসাবে তালিকাভুক্ত করে যেখানে$log(1+\frac{N}{n_t})$

• $N$ : নথির সংখ্যা
• $n_t$ : শব্দ ডকুমেন্টের সংখ্যা$t$

উইকিপিডিয়া প্রকৃত স্মুথ সংস্করণ হিসাবে এই সূত্রটি তালিকাভুক্ত করে । এটিই আমি বুঝতে পারি: এটি থেকে যা স্বজ্ঞাত বলে মনে হয় তবে থেকে যায় যা দেখতে খুব অদ্ভুত মনে হয় ... ভাষা মডেলিং থেকে স্মুথিং সম্পর্কে আমি কিছুটা জানি তবে সেখানে আপনি সংখ্যায় কিছু যুক্ত করবেন পাশাপাশি ডিনোমিনেটরেও কারণ আপনি সম্ভাবনা ভর সম্পর্কে উদ্বিগ্ন। তবে কেবল যোগ করা আমার কাছে কোনও অর্থ দেয় না। আমরা এখানে কী সম্পাদন করার চেষ্টা করছি?$log(\frac{N}{n_t})$$log(\frac{N}{N})=0$$\infty$
$log(1+\frac{N}{n_t})$$log(1+1)$$\infty$
$1$

Comments

সম্পর্কিত, তবে কোনও সদৃশ নয়: stats.stackexchange.com/questions/152182/…

— মনিকাকে

সঠিক স্মুথেনিং হবে $$\log(\frac N {(1+n_{t})})$$

— ashishpatel.co.in

Answer 1

যেহেতু আপনি অন্য কোথাও দেখিয়েছেন যে টিএফ-আইডিএফ আলোচনা করা হয়েছে, টিএফ-আইডিএফ বা এমনকি (আপনার প্রশ্নে) আইডিএফ গণনা করার জন্য সর্বজনীনভাবে একমতীত কোনও সূত্র নেই । উদ্দেশ্য দুটি উদ্দেশ্য এক সম্পন্ন করার জন্য হল: ক) শূন্য দ্বারা এড়ানোর বিভাগের , যেমন যখন কোন দস্তাবেজে একটি শব্দ উপস্থিত হয়, এমনকি এই যদিও একটি কঠোরভাবে "শব্দ ব্যাগ" পদ্ধতির মধ্যে ঘটবে না, অথবা খ) কোনও শর্তকে শূন্য ওজন দেওয়া হ্রাস এড়ানোর জন্য একটি নিম্ন সীমা নির্ধারণ করার জন্য এটি সমস্ত নথিতে প্রদর্শিত হয়েছিল।$+ 1$

যদিও আমি কোনও পাঠ্যপুস্তকের উল্লেখ করেছি, আমি প্রকৃতপক্ষে সূত্রের কখনও দেখিনি । তবে উদ্দেশ্যটি হ'ল শূন্যের চেয়ে নিম্ন সীমাটি নির্ধারণ করা হবে, যেমন আপনি সঠিকভাবে ব্যাখ্যা করেন। আমি দেখেছি 1 + + , যা একটি নিম্ন সবচেয়ে বেশি ব্যবহৃত গণনার মনে করা হয় 1. বাউন্ড সেট করে , ম্যানিং, ক্রিস্টোফার হিসেবে ডি, প্রভাকর রাঘাভান, এবং হিরিচ স্কটজি (২০০৮) তথ্য পুনরুদ্ধারের পরিচিতি , কেমব্রিজ বিশ্ববিদ্যালয় প্রেস, পি 118 বা উইকিপিডিয়া (একই সূত্রের ভিত্তিতে)।$log(1+\frac{N}{n_t})$$log(2)$$log(\frac{N}{n_t})$$log(\frac{N}{n_t})$

আপনার প্রশ্নের সাথে সরাসরি প্রাসঙ্গিক নয়, তবে উপরের , তবে আপনার স্মুথিং গঠনের উপর নির্ভর করে যেখানে । এটি 0 বা 1 নথিগুলিতে উপস্থিত শর্তগুলির জন্য ঘটে (আবার আপনি শূন্য নথির ফ্রিকোয়েন্সি সহ শর্তাদির জন্য এটি সংজ্ঞায়িত করতে সাথে মসৃণ কিনা তার উপর নির্ভর করে - যদি তা না হয় তবে কেবলমাত্র একটি নথিতে উপস্থিত শর্তাদির জন্য সর্বাধিক মান হয়)) IDF যখন এবং ।$\infty$$k + log(N/s)$$k, s \in {0, 1}$$s$$\rightarrow \infty$$1 + n_t=1$$N \rightarrow \infty$