অনুরূপ নথির সন্ধানের জন্য ভেক্টর স্পেস মডেল কোসাইন tf-idf f

মিলিয়নেরও বেশি নথির কর্পাস রয়েছে

প্রদত্ত নথির জন্য ভেক্টর স্পেস মডেলের মতো কোসাইন ব্যবহার করে অনুরূপ নথির সন্ধান করতে চান

$d_1 \cdot d_2 / ( ||d_1|| ||d_2|| )$

এই টিএফ-আইডিএফ-এর মতো দীর্ঘতর নথির প্রতি পক্ষপাতিত্ব রোধ করতে, সমস্ত টিএফকে বাড়ানো ফ্রিকোয়েন্সি ব্যবহার করে স্বাভাবিক করা হয়েছে :

$tf(t,d)=0.5+0.5\frac{f(t,d)}{\mathrm{max}\{f(t,d): t\in d\}}$

সমস্ত প্রাক গণনা করেছেন প্রাক নির্ণিত হর মান আছে একটি প্রদত্ত জন্য তাই প্রয়োজন 1 মিলিয়ন স্কোর আদল জন্য 0.6 কোসাইন একটি থ্রেশহোল্ড আছে $||d||$

$d1$ $d2$

আমি এটি প্রদত্ত জন্য পর্যবেক্ষণ করতে পারি মোটামুটি সংকীর্ণ পরিসর রয়েছে কোসাইন 0.6 এর জন্য উদাহরণস্বরূপ 0.6 এবং একটি অনুরূপ অনুসন্ধানে7.7631 এর পরে7.0867 থেকে 8.8339 অবধি যেখানে কোসিনের প্রান্তিকের বাইরে 0.60.7223 থেকে 89.3395 অবধি এটি স্ট্যান্ডার্ড টিএফ ডকুমেন্টের নরমালাইজেশন সহ ছিল এটি $||d_1||$ $||d_2||$ $\ge$
$\ge$ $||d_1||$ $||d_2||$
$||d_2||$

$||d_2||$ এতে কোসাইন ০..6 ম্যাচ হওয়ার সুযোগ নেই

শেষ পর্যন্ত প্রশ্ন:
একটি দানের জন্য এবং> = 0.6 এর কোসাইন কীভাবে ব্যাপ্তি নির্ধারণ করতে পারে একটি সুযোগ আছে? যা $||d_1||$ $||d_2||$
$||d_2||$ আমি কি নিরাপদে নির্মূল করতে পারি?

আমি এবং পদগুলির সংখ্যাও জানি $d_1$ $d_2$ যদি পদ সংখ্যা গণনার সীমা থাকে তবে ।

পরীক্ষার মাধ্যমে
এবং নিরাপদ বলে মনে হচ্ছে তবে আশা করি এমন কিছু পরিসীমা রয়েছে যা নিরাপদ বলে প্রমাণিত $||d2|| > .8 ||d1||$ $||d2|| < ||d1|| / .8$

খুব কিছু অনন্য শর্তাদি দিয়ে কিছু পরীক্ষার কেস তৈরি করেছে, কিছুটি এতটা অনন্য নয়, কিছু সাধারণ। নিশ্চিত যে আপনি সবচেয়ে অনন্য পদটি নিতে পারেন এবং তুলনায় সেই ফ্রিকোয়েন্সিটি বাড়িয়ে তুলতে পারেন। অঙ্কটি (বিন্দু পণ্য) উপরে যাবে এবং তাই হবে || তুলনা || এবং 1 এর খুব কাছাকাছি একটি কোসাইন পাবেন।

সম্পর্কিত সম্পর্কিত এবং প্রশ্ন নয়।
আমি দলিল নথিগুলি দলে দলে tf-idf ব্যবহার করছি। আমি যে গ্রাহক বেসটি বিক্রি করছি তা কাছাকাছি ডুপ গ্রুপগুলির অভ্যস্ত। সেখানে আমি একটি সম্পর্কিত দৃষ্টিভঙ্গি নিচ্ছি যা আমি ক্ষুদ্রতম টার্ম গণনা হিসাবে দেখি এবং এটি 3x অবধি শর্ত গণনার বিপরীতে মূল্যায়ন করি। সুতরাং 10 এর একটি পদ গণনা 10 থেকে 30 এর দিকে দেখায় (4-9 ইতিমধ্যে তাদের শট 10 এ এসেছিল)। এখানে আমি এটি মিস করার সামর্থ্য রাখি যাতে এটি অন্যটিতে নিয়ে যায়। আমি 10% হয়ে গেছি এবং বৃহত্তম অনুপাত 1.8।

দয়া করে এই বিশ্লেষণের ত্রুটিগুলি চিহ্নিত করুন
যেমন এএন 6 ইউ 5 দ্বারা নির্দেশিত হিসাবে এই বিশ্লেষণে একটি ত্রুটি রয়েছে
তবে নথিটি
ভারীকরণের উপর নরমাল করা হলে ম্যাথিউয়ের দ্বারা নির্দেশিত হিসাবে D1⋅d2≤d1⋅d1 সিদ্ধান্ত নিতে
পারব না এখনও আমাকে কিছু শক্ত করার জন্য আশা করছি কিন্তু এই জিনিসগুলি দেখে মনে হচ্ছে এমন লোকেরা আমাকে বলেছে যে
আমি প্রশ্নটি পরিবর্তন করতে চাই না তাই কেবল এটিকে উপেক্ষা করুন
আমি কিছু বিশ্লেষণ করব এবং সম্ভবত নথি স্বাভাবিককরণের
জন্য একটি পৃথক প্রশ্ন পোস্ট করব এই প্রশ্নের উদ্দেশ্য ধরে
নিয়েছি নথিটি কাঁচা টিএফ-এ স্বাভাবিক করা হয়েছে দুঃখিত, তবে সমীকরণগুলি তৈরি করতে যা কখনও মার্কআপ ব্যবহার করা হয় তার সাথে আমি ঠিক তেমন ভাল নই
তাই আমার স্বীকৃতিতে
|| d1 || = বর্গক্ষেত্র (যোগফল (ডাব্লু 1 এক্স ডাব্লু 1))
d1 ডট ডি 2 = যোগফল (ডাব্লু 1 এক্স ডাব্লু 2) হয় || ডি 2 || কোস দ্বারা আবদ্ধ না?
ধরুন ডি 1 হ'ল সংক্ষিপ্ত দলিল
খুব ভাল ডি 1 ডট ডি 2 যা অর্জন করা যায় তা হ'ল ডি 1 ডট ডি 1
যদি ডি 1 হয় 100 পল 20
এবং ডি 2 বিয়ে হয় 100 পল 20 পিটার 1
সাধারন
ডি 1 হ'ল 1 পল 1/5 ডি 2
বিবাহ 1 পল 1/5 পিটার 1/100
স্পষ্টতই বিবাহ করুন এবং পাওল উভয় নথিতে একই আইডিএফ রয়েছে
সেরা সম্ভাব্য ডি 1 ডট ডি 2 হ'ল ডি 1 ডট ডি 1 ডি 1
এর সর্বোচ্চ সম্ভাব্য ম্যাচটি ডি 1
কোস = ডি 1 ডট ডি 1 / || ডি 1 || || D2 ||
উভয় পক্ষের বর্গাকার
কোস এক্স কোস = (ডি 1 ডট ডি 1) এক্স (ডি 1 ডট ডি 1) / ((ডি 1 ডট ডি 1) এক্স (ডি 2 ডট ডি 2)) কোস এক্স কোস = (ডি 1 ডট ডি 1) / (ডি 2 ডট ডি 2)
বর্গক্ষেত্রটি গ্রহণ করুন উভয় পক্ষের গোড়া
= || ডি 1 || / || ডি 2 ||

আমি যদি শুধু ব্যবহার করি || d2 || > = কোস || ডি 1 || এবং || ডি 2 || <= || ডি 1 || / কোস আমি আমার প্রয়োজনীয় গণনার গতি পাই

text-mining similarity

— paparazzo
সূত্র

আপনার যুক্তি যা

দ্বারা নির্ধারিত একটি সীমা দ্বারা শেষ হয়

কাজ করে না কারণ "খুব ভাল ডি 1 ডট ডি 2 যা অর্জন করা যায় তা হ'ল ডি 1 ডট ডি 1" ভুল। যখন

c o s = \frac{| | d_{1} | |}{| | d_{2} | |}

$\mathrm{cos}=\frac{||d_1||}{||d_2||}$

এর ক্ষেত্রে এটি হয় না। এই নির্দিষ্ট শ্রেণীর ভেক্টরগুলির জন্য, এটি পর্যাপ্ত ক্ষেত্রে কাজ করতে পারে যে এটি একটি শালীন অনুমানের মতো, তবে এটি সর্বদা ক্ষেত্রে এটি স্থাপন করা যথেষ্ট শক্ত হবে।

\frac{d_{1} \cdot d_{2}}{| | d_{1} | | | | d_{2} | |} \leq \frac{d_{1} \cdot d_{1}}{| | d_{1} | | | | d_{1} | |}

$\frac{d_1\cdot d_2}{||d_1||\ ||d_2||}\le\frac{d_1\cdot d_1}{||d_1||\ ||d_1||}$

d_{1} \cdot d_{2} \leq d_{1} \cdot d_{1}

$d_1\cdot d_2\le d_1\cdot d_1$

— ম্যাথু গ্রেভস

@ ম্যাথেগ্রাভস আমি মনে করি আমি আপনার সাথে একমত আমার দক্ষতা নয় তবে আমি এখনও এটিকে হ্যাক করছি।

— পাপারাজ্জো

উত্তর:

দুর্ভাগ্যক্রমে, গণিতটি দেখানোর জন্য সরল করে দেয় যে আপনি ভেক্টরগুলির দৈর্ঘ্যের উপর ভিত্তি করে কোস্টাইন মিলের তুলনা সীমাবদ্ধ করে যথাযথভাবে প্রমাণ করতে পারবেন না।

মূল বিষয়টি হ'ল দৈর্ঘ্যের উপর ভিত্তি করে কোসাইন মিল সাদৃশ্য মেট্রিক স্বাভাবিক হয়, যাতে কেবল ইউনিট ভেক্টর বিবেচনা করা হয়। আমি জানি এটি অগত্যা আপনার যে উত্তরটি চেয়েছিল তা নয়, তবে গণিতটি স্পষ্টভাবে দেখায় যে কোজিনের মিলের মেট্রিকগুলি ভেক্টরের দৈর্ঘ্যের সাথে অজিনস্টিক।

আরও বিস্তারিত গণিতে তাকান:

আপনি একটি কোসাইন সাদৃশ্য মেট্রিক প্রয়োগ করছেন এবং প্রয়োজনীয় যে মেট্রিকটি 0.6 এর চেয়ে বড় হবে:

।

s i m i l a r i t y = \cos (θ) = \frac{A \cdot B}{| | A | | | | B | |} \geq 0.6

$similarity=\cos{(\theta)}=\frac{\mathbf{A}\cdot\mathbf{B}}{||A|| ||B||}\geq0.6$

তবে নীচে স্কেলারের দৈর্ঘ্যের উপরের ক্রস পণ্যগুলিতে বিতরণ করা যেতে পারে (বিতরণযোগ্য সম্পত্তি):

।

\frac{A \cdot B}{| | A | | | | B | |} = \frac{A}{| | A | |} \cdot \frac{B}{| | B | |} = \hat{A} \cdot \hat{B}

$\frac{\mathbf{A}\cdot\mathbf{B}}{||A|| ||B||} = \frac{\mathbf{A}}{||A||}\cdot\frac{\mathbf{B}}{||B||}=\hat{\mathbf{A}}\cdot\hat{\mathbf{B}}$

এখন এবং ভেক্টর যে একই দিক পয়েন্ট এবং কিন্তু তারা দৈর্ঘ্য এক স্বাভাবিক হয়েছে। সুতরাং কোজিনের অনুরূপ মেট্রিকের সংজ্ঞাটি হ'ল আসল ভেক্টরগুলি নিন, তাদের দৈর্ঘ্য এককে স্বাভাবিক করুন এবং তারপরে ইউনিট ভেক্টরগুলির ডট পণ্যটি পরিমাপ করুন। $\hat{\mathbf{A}}$ $\hat{\mathbf{B}}$ $\mathbf{A}$ $\mathbf{B}$

অতএব:

s i m i l a r i t y = \cos (θ) = \frac{d 1 \cdot d 2}{| | d 1 | | | | d 2 | |} = \hat{d 1} \cdot \hat{d 2} \geq 0.6

$similarity=\cos{(\theta)}=\frac{\mathbf{d1}\cdot\mathbf{d2}}{||d1|| ||d2||}=\hat{\mathbf{d1}}\cdot\hat{\mathbf{d2}}\geq0.6$

কেবলমাত্র ভেক্টরগুলির ওরিয়েন্টেশনের উপর নির্ভর করে তাদের দৈর্ঘ্য (অর্থাৎ দৈর্ঘ্য) এর উপর নয়।

আপনি যা করছেন তার সাথে এটি পুনর্বিবেচনা:

লিনিয়ার বীজগণিতের ফলাফলগুলি যা দেখায় তা সত্ত্বেও, আপনি এখনও একটি পরিসংখ্যানগতভাবে গুরুত্বপূর্ণ ফল দেখতে পাচ্ছেন। ব্যবহারিকভাবে বলতে গেলে আপনি সন্ধান করতে পারেন যে পরিসংখ্যানগুলি দেখায় যে দৈর্ঘ্যের সীমাবদ্ধতাগুলি আপনার ডেটার জন্য বৈধ। উদাহরণস্বরূপ, আপনি খুঁজে পেতে পারেন যে টলস্টয়ের "যুদ্ধ ও শান্তি" এর সাথে তুলনা করা হলে টুইটগুলি কখনই কোজিনের মিল খুঁজে পায় না । আপনার পরিসংখ্যান ব্যবহার করার জন্য ভাল চেহারা যদি এবং $\geq0.6$ $||d2|| > .8 ||d1||$ তারপরে আমি আপনাকে এটির সাথে পরামর্শ দিচ্ছি কারণ এই ধরণের শামিয়ানা বিধিনিষেধগুলি কম্পিউটারের সময় সাশ্রয় করতে খুব কার্যকর। $||d2|| < ||d1|| / .8$

ইউক্লিডিয়ান দূরত্ব বিবেচনা করে আপনি সম্ভবত দূরত্বের মেট্রিকগুলির সাথে যা করছেন তা পুনর্মিলন করতে পারেন। যেখানে উভয় ভেক্টরের মধ্যবর্তী কোণের ভিত্তিতে কোজিনের সাদৃশ্য কেবল -1 এবং 1 এর মধ্যে একটি মান প্রদান করে, ইউক্লিডিয়ান দূরত্বগুলি দুটি ভেক্টরের দৈর্ঘ্যের উপর নির্ভরশীল মানগুলি ফিরিয়ে দেবে। কিছুটা অর্থে, আপনি ইউস্লিডিয়ান দূরত্বের দিকগুলি কোসাইন মিলের সাথে একত্রিত করছেন।

এটি একে অপরের 25% এর মধ্যে অপেক্ষাকৃত দৈর্ঘ্যের একে অপরের 25% এর মধ্যে হওয়া প্রয়োজন বলে যথেষ্ট পরিমাণে জ্ঞান তৈরি করে যা এই গ্রুপটি দ্বারা ক্যানোপিজ তৈরির জন্য ইউক্লিডিয়ান দূরত্বের একটি দিককে একত্রিত করে, যা গণনার সময়কে হ্রাস করে, তারপরে দৈর্ঘ্যের অজোনস্টিক কোসাইন মিল হিসাবে ব্যবহার করা যেতে পারে চূড়ান্ত নির্ধারক।

নোট করুন যে 1 / .8 = 1.25, সুতরাং ডি 2> = 8 ডি 1 হ'ল ডি 2 <= ডি 1 / .8 এর চেয়ে কঠোর বাধা। আমি এটি অনুরূপ হিসাবে d2> =। 75d1 এবং d2 <= 1.25d1 ব্যবহার করার পরামর্শ দিচ্ছি।

আশাকরি এটা সাহায্য করবে!

— AN6U5
সূত্র

আমি মনে করি যে এটি টিএফ নরমালাইজেশন স্কিমটি ব্যবহার করছে বলে ভেক্টরের দৈর্ঘ্য বেশিরভাগ ভাগ করা আইডিএফ ওজন থেকে আসে। যদি কোনও নথির খুব নিম্নমান থাকে, তবে এর থেকে বোঝা যায় যে এতে বিরল শব্দ নেই (বা এটি খুব কম ভগ্নাংশের ফ্রিকোয়েন্সিতে রয়েছে), যার অর্থ এটি কেবলমাত্র বিরল শব্দযুক্ত নথির অনুরূপ হিসাবে প্রত্যাখ্যানযোগ্য। তবে এই সীমাবদ্ধতাটি সাধারণভাবে আমার কাছে স্পষ্ট বলে মনে হয় না। এটি সম্ভবত এমন ক্ষেত্রে দেখা যায় যে তাত্ত্বিক সীমাগুলি পর্যবেক্ষণ হওয়া অভিজ্ঞতাবাদী সীমাগুলির তুলনায় খুব বিস্তৃত।

— ম্যাথু গ্রেভস

@ ম্যাথেজ কবরস, আমি শুধু বলছি যে কোসাইনের মিলটি ভেক্টরের দৈর্ঘ্যের সাথে অজ্ঞানীয়। তিনি জিজ্ঞাসা করছেন যে ভেক্টরের দৈর্ঘ্যের পার্থক্য কীভাবে ফলাফলিত কোসাইন মিলকে প্রভাবিত করতে পারে এবং উত্তরটি হ'ল: তারা পারে না।

— AN6U5

এম্পিরিকাল পারস্পরিক সম্পর্ককে উপেক্ষা করা যায় না। যদি পরিসংখ্যানগত হয় তবে কর্পাসের এলোমেলোতার সাথে সম্পর্কযুক্ত করার একটি উপায় রয়েছে। রেজিস্ট্রেশন করার জন্য আপ আপ করার জন্য আমার কাছে এই সাইটে যথেষ্ট প্রতিবেদন নেই।

— পাপারাজ্জো

আমি এখানে রাজি হই না যেখানে এখানে। দৈর্ঘ্যের ভিত্তিতে এটি স্বাভাবিক হয় না। এটি একক সাধারণ শব্দটিতে স্বাভাবিক হয়। একটি দীর্ঘ দস্তাবেজ কেবল পাতলা করতে পারে। আমি সমর্থন করতে পারি এমন একটি আবদ্ধ পেতে সাধারণকরণ কীভাবে সম্পাদিত হয় তা সামঞ্জস্য করতে আমি প্রস্তুত।

— পাপারাজ্জো

আপনার প্রশ্ন পরিবর্তন করার জন্য ধন্যবাদ। আপনি কী অর্জন করতে চাইছেন তা এটি আরও ভালভাবে স্পষ্ট করে। মনে রাখবেন যে আপনার পরিবর্তিত নিয়মমাফিককরণ আসলে এই তোলে না একটি কোসাইন আদল, যেহেতু এটি কঠোরভাবে সংজ্ঞায়িত করা হয়। আমি এটিকে বানান করতে আরও কয়েকটি অতিরিক্ত সম্পাদনার পরামর্শ দেব। ভালো থেকো এবং শুভ কামনা রইলো।

— AN6U5

প্রথমে আসুন কেন এটি কাজ করবে সে সম্পর্কে কিছু অন্তর্দৃষ্টি নেওয়ার চেষ্টা করি। শব্দের বিরলতা পরিমাপ হিসাবে পরিবেশন করা বলে মনে হচ্ছে, যা ফিল্টার করার মতো বলে মনে হয়। যদি দস্তাবেজগুলি বিরল সংখ্যক বিরল শব্দের ব্যবহার করে, তবে তাদের পক্ষে কোজিনের মিলের পরিমাপ করা শক্ত হয়ে উঠবে। তবে আমার কাছে এটি অসম্ভব বলে মনে হচ্ছে যে এই কাটঅফটি কেবলমাত্র উপর নির্ভর করবে পরিবর্তে টিএফ বা আইডিএফ ওজনের কাঠামোর চেয়ে । $||d_i||$ $||d_i||$ $||d_i||$

কিছু বীজগণিতের মাধ্যমে কাজ করতে, আমাকে আরও কয়েকটি শর্ত (এবং কিছুটির নাম সংক্ষিপ্তকরণের পরিবর্তে) প্রবর্তন করতে দিন:

যাক TF ওজন একটি ভেক্টর হতে উপাদান-অনুযায়ী IDF ওজন একটি ভেক্টর দ্বারা গুন চূড়ান্ত ওজন পেতে । আমরা জানি যে এবং $d_1$ $[t_1, t_2, ...]$ $[w_1, w_2, ...]$ $[d_1, d_2, ...]$ $0.5\le t_i\le 1$ (কারণ কর্পাসের আকার এবং ধরে নিচ্ছি যে আমরা বেস 10 ব্যবহার করছি, এটি না হলেও আমাদের কিছু যায় আসে না)। যাক। $0\le w_i\le 6$ $D_1=||d_1||$

জানা , আমরা একটি ব-দ্বীপ ভেক্টর আঁকতে চান , যেমন যে ন্যূনতম (অথবা সর্বোচ্চ) আছে সীমাবদ্ধতার যে বিষয়: $d_1$ $x$ $d_1+x$ $X$

$X=\sqrt{\sum_i w_i^2 (t_i+x_i)^2}$

$0.6D_1X\le \sum_i w_i^2t_i(t_i+x_i)$

$0.5\le t_i+x_i \le 1$

$x$ $x_i=0\ \forall i$ $d_i+x_i=1$

$x$ $X^2$ $X$ $X>0$ $X$ $-X$ $P$ $P$

$0\ge 0.36D_1^2\sum_i w_i^2 (t_i+x_i)^2-\sum_{i,j}w_i^4t_it_j(t_i+x_i)(t_j+x_j)$

$0\ge x^TPx+q^Tx+r$ $P_{i,j}=0.36D_1^2-w_i^2t_it_j$ $i=j$ $-w_i^2t_it_j$

$P$ $d_1$ $X$

$X$ $w$ $x$ $X$

— ম্যাথু গ্রেভস
সূত্র

আমি || d || এর সাথে একমত নই সাথে মনে হয় বিরলতা পরিমাপ হিসাবে পরিবেশন করা। এটি স্বাভাবিক করা হয়েছে। "মেরির একটি ছোট ভেড়া ছিল" একটি ছোট থাকবে || "বিবাহ একটি সাদা ছোট মেষশাবক ছিল" চেয়ে। এবং "ওডডএক্সএক্সএডিএডএক্সএক্সএক্সএক্সএডিএক্সএক্সএক্সসি" এর একটি ছোট থাকবে || মোটামুটি একই অনুপাতের মধ্যে "oddxxA oddxxB oddxxC oddxxD" এর চেয়ে বেশি। এবং এই দুটি তুলনা একই কস থাকবে।

— পাপারাজ্জো

@ ফ্রিসবি, আপনি কি এই তুলনা সম্পর্কে নিশ্চিত? ধরুন আইডিএফগুলি 'এ' এর জন্য ০, 'হ্যাড' এর জন্য ০.০ এবং 'মেরি'র জন্য ১,' ছোট 'এবং' সাদা 'এর জন্য ১, এবং' মেষশাবকের 'জন্য ২, আমি "মেরিতে একটি ছোট মেষশাবক" এবং ২.৫৫ এর জন্য ২.৪ গণনা করি "মেরির একটি সাদা ছোট মেষশাবক ছিল" তবে "এ মেরিতে একটি ছোট মেষশাবক ছিল" এর জন্য ১.৮৮ ছিল। অর্থাৎ, আদর্শকে হ্রাস করার একমাত্র উপায় হ'ল সর্বাধিক ঘন ঘন শর্তের ফ্রিকোয়েন্সি বৃদ্ধি করে নতুন শব্দ যুক্ত করে নয়। বা আমরা কি একই সূত্র ব্যবহার করছি না?

— ম্যাথু গ্রেভস

আমি ভাবছিলাম আপনি কাটা ফ্রিকোয়েন্সি না করে ভারিটেড (আইডিএফ সহ) নথিটি স্বাভাবিক করেছেন। এটি জিনিস পরিবর্তন করতে হবে। ওজনকে স্বাভাবিক করার বিষয়টি আমার কাছে আরও বোধগম্য। উল্লেখযোগ্যভাবে একটি দস্তাবেজ পরিবর্তন || 'একটি' তৈরি করে স্টাফ দিয়ে সবচেয়ে সাধারণ শব্দটি মেসে যায়।

— পাপারাজ্জো

নিশ্চিত; আমি কেবল নিশ্চিত হতে চাই যে আমরা একই সূত্র নিয়ে কাজ করছি। আমি মনে করি যে আমি আপনার সাথে একমত যে কাঁচা টিএফ * আইডিএফ এর উপর ভিত্তি করে কেউ সাধারনত ফলাফল অর্জন করবে:

d_{t} = w_{t} (0.5 + 0.5 \frac{w_{t} f (t, d)}{m a x {w_{t} f (t, d) : t \in d}})

$d_t=w_t(0.5+0.5\frac{w_tf(t,d)}{\mathrm{max}\{w_tf(t,d): t\in d\}})$ কোথায়

w_{t} = l o g \frac{N}{| {d \in D : t \in d} |}

$w_t=\mathrm{log}\frac{N}{|\{d\in D: t\in d\}|}$ । (কিছুটা অস্পষ্ট তবে আশা করি এর মধ্যে গ্রহণযোগ্য সংঘর্ষের মধ্যে রয়েছে

d

$d$ ওজন ভেক্টর

d_{i}

$d_i$ , এবং

d

$d$ , সেই ভেক্টরের সাথে সম্পর্কিত দস্তাবেজটি)) আজকের রাতেই আমাকে আরও ভাবতে হবে এটির সীমাটি উন্নত হবে কি না (তবে এতে সম্ভবত বীজগণিতের অনেকটা জড়িত)।

— ম্যাথু গ্রেভস

আমি একটি উত্তর পোস্ট করি তবে স্পষ্টভাবে আমি অন্য কাউকে বোনাস দেব

আমি মনে করি ডকুমেন্ট টিএফকে স্বাভাবিক করা হলে সর্বাধিক সংখ্যা রয়েছে is

d1⋅d2 / (|| D1 |||| D2 ||)

ধরুন ডি 1 এর একই বা কম শর্ত রয়েছে (অথবা কেবলমাত্র কম শর্তাবলীর সাথে গ্রহণ করুন)
সর্বাধিক সম্ভাব্য নরমালাইজড টিএফ 1
সুতরাং সর্বাধিক সম্ভাব্য অঙ্কের যোগফল (tf1, i * idf, i * 1 * idf, i)

|| D2 || = যোগফল (টিএফ 1, আমি * আইডিএফ, i * 1 * আইডিএফ, i) / || ডি 1 || / .6

সর্বনিম্ন হিসাবে আমি এটিতে কাজ করছি তবে স্পষ্টতই সর্বনিম্ন রয়েছে।
আপনি যদি মেলাতে যাচ্ছেন তবে আপনার || d ||

— paparazzo
সূত্র