লুসিন অনুসন্ধান এত দ্রুত কীভাবে কাজ করে তা আমি জানতে চাই। ওয়েবে আমি কোনও দরকারী ডক্স পাচ্ছি না। আপনার যদি কিছু পড়তে (লুসিন উত্স কোডের সংক্ষিপ্ত) থাকে তবে আমাকে জানান।
সূচকের সাথে mysql5 পাঠ্য অনুসন্ধান ব্যবহার করে একটি পাঠ্য অনুসন্ধান ক্যোয়ারী আমার ক্ষেত্রে প্রায় 18 মিনিট সময় নেয়। একই ক্যোয়ারির জন্য লুসিন অনুসন্ধানে এক সেকেন্ডেরও কম সময় লাগে।
উত্তর:
Lucene একটি উল্টানো পূর্ণ-পাঠ্য সূচক। এর অর্থ এটি সমস্ত দস্তাবেজ নেয়, শব্দগুলিতে বিভক্ত হয় এবং তারপরে প্রতিটি শব্দের জন্য একটি সূচক তৈরি করে । যেহেতু সূচকটি হুবহু স্ট্রিং-ম্যাচ, আনর্ডারড, এটি অত্যন্ত দ্রুত হতে পারে। হাইপোথিটিক্যালি, কোনও varcharক্ষেত্রে একটি এসকিউএল আনঅর্ডারড সূচক ঠিক তত দ্রুত হতে পারে এবং আসলে আমি মনে করি আপনি বড় ডাটাবেসগুলি সেক্ষেত্রে খুব দ্রুত একটি সাধারণ স্ট্রিং-সমতা কোয়েরি করতে পারবেন।
লুসিনকে লেনদেন প্রক্রিয়াজাতকরণের জন্য অনুকূলিতকরণ করতে হবে না। আপনি যখন কোনও দস্তাবেজ যুক্ত করবেন, অনুসন্ধানগুলি এটি তাত্ক্ষণিকভাবে দেখবে তা নিশ্চিত করার দরকার নেই । এবং বিদ্যমান নথিতে আপডেটের জন্য এটি অনুকূলিতকরণের দরকার নেই।
যাইহোক, দিনের শেষে, আপনি যদি সত্যিই জানতে চান তবে আপনার উত্সটি পড়তে হবে। আপনার উল্লেখ করা উভয় জিনিসই সর্বোপরি ওপেন সোর্স।
লুসিন একটি বড় সূচক তৈরি করে। সূচীতে শব্দের আইডি, শব্দটি উপস্থিত রয়েছে এমন নথির সংখ্যা এবং সেই নথিতে শব্দের অবস্থান রয়েছে। সুতরাং আপনি যখন একটি একক শব্দ ক্যোয়ারী দেন তখন এটি সূচকটি (ও (1) সময়ের জটিলতা) সন্ধান করে। তারপরে ফলাফলটি বিভিন্ন অ্যালগোরিদম ব্যবহার করে র্যাঙ্ক করা হয়। মাল্টি-ওয়ার্ড ক্যোয়ারির জন্য কেবল শব্দগুলির উপস্থিত ফাইলগুলির সেটটির ছেদ করুন। সুতরাং Lucene খুব দ্রুত।
আরও তথ্যের জন্য গুগল বিকাশকারীদের এই নিবন্ধটি পড়ুন- http://infolab.stanford.edu/~backrub/google.html
এক কথায়: ইনডেক্সিং।
Lucene আপনার দস্তাবেজের একটি সূচক তৈরি করে যা এটি আরও দ্রুত অনুসন্ধান করতে দেয়।
এটি একটি তালিকা ও (এন) ডেটা কাঠামো এবং একটি হ্যাশ টেবিল ও (1) ডেটা কাঠামোর মধ্যে একই পার্থক্য। আপনি কী চান তা তালিকাকে পুরো সংগ্রহের মধ্য দিয়ে যেতে হবে। হ্যাশ টেবিলটিতে একটি সূচক রয়েছে যা এটি পছন্দসই আইটেমটি ঠিক কোথায় রয়েছে তা খুঁজে বের করতে এবং এটিকে সহজেই এনে দেয়।
হালনাগাদ:
"লুসিন সূচক অনুসন্ধানগুলি মাইএসকিএল সূচক অনুসন্ধানের চেয়ে অনেক দ্রুত" আপনি কী বোঝাতে চেয়েছেন তা আমি নিশ্চিত নই।
আমার অনুমান যে আপনি মাইএসকিউএল "যেখানে ডকুমেন্টটি 'যেমন'% শব্দগুচ্ছ% '" নথির সন্ধানের জন্য ব্যবহার করছেন তা ব্যবহার করছেন। যদি এটি সত্য হয়, তবে মাইএসকিউএলকে প্রতিটি সারিতে একটি টেবিল স্ক্যান করতে হবে, যা ও (এন) হবে।
Lucene ডকুমেন্টটি টোকেনগুলিতে বিশ্লেষণ করে, আপনার নির্দেশে এটিকে এন-গ্রামে ভাগ করবে এবং সেইগুলির প্রত্যেকটির জন্য সূচী গণনা করবে। ইনডেক্সড লুসিন ডকুমেন্টে একটি শব্দ খুঁজে পাওয়া ও (1)
Lucene টার্ম ফ্রিকোয়েন্সি এবং বিপরীত নথির ফ্রিকোয়েন্সি নিয়ে কাজ করে । এটি নথির সাথে প্রতিটি শব্দের ম্যাপিংয়ের একটি সূচক তৈরি করে এবং এর ফ্রিকোয়েন্সি গণনা যা নথিতে বিপরীত সূচক ছাড়া কিছুই নয়।
উদাহরণ :
ফাইল 1: এলোমেলো অ্যাক্সেস মেমরি প্রধান স্মৃতি।
ফাইল 2: হার্ড ডিস্কগুলি গৌণ মেমরি।
Lucene একটি বিপরীত সূচক কিছু তৈরি করে
ফাইল 1:
শব্দ: এলোমেলো
ফ্রিকোয়েন্সি: 1
অবস্থান: 0
শব্দ: স্মৃতি
ফ্রিকোয়েন্সি: 2
অবস্থান: 3
অবস্থান: 6
সুতরাং এটি অনুসন্ধান করা সামগ্রী দ্রুত অনুসন্ধান এবং পুনরুদ্ধার করতে সক্ষম। অনুসন্ধানের অনুসন্ধানের জন্য যখন খুব বেশি মিল রয়েছে তখন এটি ওজনের উপর ভিত্তি করে ফলাফলকে আউটপুট করে। "মেইন মেমরি" অনুসন্ধান ক্যোয়ারীটি বিবেচনা করুন এটি পৃথকভাবে 4 টি শব্দের জন্য অনুসন্ধান করে এবং ফলাফলটি এর মতো হবে,
মূল
ফাইল 1: ফ্রিকোয়েন্সি - 1
স্মৃতি
ফাইল 1: ফ্রিকোয়েন্সি - 2
ফাইল 2: ফ্রিকোয়েন্সি - 1
ফলাফল ফাইল 1 এর পরে ফাইল 2 হবে । 'এবং', 'বা', 'বেশিরভাগ সাধারণ শব্দের উপর ওজন বহন বন্ধ করার জন্য এটি বিপরীত দলিলের ফ্রিকোয়েন্সি বিবেচনা করে (যেমন' এটি শব্দের ওজন হ্রাস করে যা ডকুমেন্ট সেটের মধ্যে সর্বাধিক জনপ্রিয়)।