বিজ্ঞান শ্রেণিবদ্ধদের শ্রেণিবদ্ধ করতে কত সময় নেয়?


10

আমি 1 মিলিয়ন লেবেলযুক্ত নথি সমন্বিত কর্পাসে পাঠ্য শ্রেণিবিন্যাসের জন্য সাইকিট লিনিয়ার সাপোর্ট ভেক্টর মেশিন (এসভিএম) শ্রেণিবদ্ধ ব্যবহার করার পরিকল্পনা করছি। আমি যা করার পরিকল্পনা করছি তা হল, যখন কোনও ব্যবহারকারী কোনও কীওয়ার্ড প্রবেশ করে, শ্রেণিবদ্ধকারী প্রথমে এটি একটি বিভাগে শ্রেণিবদ্ধ করবে এবং তারপরে পরবর্তী তথ্য পুনরুদ্ধার কোয়েরিটি সেই বিভাগের ক্যাটাগরির নথির মধ্যেই ঘটবে। আমার কিছু প্রশ্ন আছে:

  1. আমি কীভাবে নিশ্চিত করব যে শ্রেণিবিন্যাস বেশি সময় নিবে না? আমি চাই না যে আরও ভাল ফলাফল পেতে ব্যবহারকারীদের কোনও শ্রেণিবদ্ধকরণের জন্য অপেক্ষা করতে সময় কাটাতে হবে।
  2. ওয়েবসাইট / ওয়েব অ্যাপ্লিকেশনগুলির জন্য পাইথনের বিজ্ঞান পাঠাগারটি কি এটি উপযুক্ত?
  3. কেউ কি জানেন যে কীভাবে অ্যামাজন বা ফ্লিপকার্ট ব্যবহারকারীর প্রশ্নের উপর শ্রেণিবিন্যাস সম্পাদন করে বা তারা সম্পূর্ণ ভিন্ন যুক্তি ব্যবহার করে?

আপনি সমস্ত কীওয়ার্ড আগেই শ্রেণিবদ্ধ করতে পারেন এবং তারপরে কেবল সূচক থেকে বিভাগটি টানতে পারেন।
বন্ধু

@ বন্ধুটি একটি শব্দ প্রশ্নের জন্য একটি উত্তর বলে মনে হচ্ছে। তবে অনুসন্ধানের ক্যোয়ারিতে যদি আরও শব্দ থাকে .. বা শব্দের সংমিশ্রণ থাকে .. আমাকে সমস্ত সংমিশ্রনের জন্য সূচক তৈরি করতে হবে !!!
ব্যবহারকারী 3498

1
এসভিসি দ্রুত, সুতরাং আপনি যদি মাঝারি-লোড অ্যাপ্লিকেশনটিতে ক্যোয়ারী শ্রেণিবিন্যাসের জন্য এটি ব্যবহার করতে চান, এটি কাজ করবে। তবে একক (বা একাধিক শব্দ) দ্বারা শ্রেণিবদ্ধন করা বেশিরভাগ ক্ষেত্রে একটি খারাপ ধারণা। অস্পষ্ট শব্দগুলি ধরুন, উদাহরণস্বরূপ: যদি কোনও শব্দ সম্ভাবনার মধ্যে খুব কম পার্থক্য সহ 2 বিভাগের হয়? আপনি কি সামান্য কম সম্ভাব্য বিভাগটি অনুসন্ধানের বাইরে ফেলে যাচ্ছেন? আপনি সম্ভবত যা চান সেটি অনুসন্ধানের সময় র‌্যাঙ্কিং সূত্রে একটি অতিরিক্ত শব্দ, কম সম্ভাব্য বিভাগগুলি মোটেই প্রত্যাখ্যান করা নয়।
বন্ধুরা

উত্তর:


3

এটি কতক্ষণ সময় নেয় তা দেখার একমাত্র নির্ভরযোগ্য উপায় হ'ল এটি কোড করা এবং শট দেওয়া। প্রশিক্ষণে আরও সময় লাগবে, তারপরে আপনি পরে ব্যবহার করতে আপনার মডেল (আচার) সংরক্ষণ করতে পারবেন।


3

আমি এখানে একটি বিশাল সমস্যা দেখতে পাচ্ছি না। সুতরাং, আমি উত্পাদন-স্তরের দৃষ্টিকোণ থেকে আপনার সমস্ত প্রশ্নের উত্তর দেওয়ার চেষ্টা করব:

আমি কীভাবে নিশ্চিত করব যে শ্রেণিবিন্যাস বেশি সময় নিবে না?

আপনার কাছে থাকা কর্পাস ডেটার একটি সাবসেট নিন (আপনি এলোমেলোভাবে এটি করতে পারেন, নমুনার প্রয়োজন নেই) এবং এতে আপনার অ্যালগরিদম পরীক্ষা করুন এবং তারা এটি সামগ্রিক ডেটাসেটে আনুমানিক / সাধারণীকরণ করুন।

(এসভিএম তুলনামূলক দ্রুততর Nevertheless তবুও উপরের প্রক্রিয়াটি কেবল নিশ্চিত হওয়ার জন্যই করুন do)

উত্পাদনের দিকে ধাক্কা দেওয়ার আগে এটি উন্নয়ন পরিবেশে পরীক্ষা করে দেখুন।

ওয়েবসাইট / ওয়েব অ্যাপ্লিকেশনগুলির জন্য পাইথনের বিজ্ঞান পাঠাগারটি কি এটি উপযুক্ত?

হ্যাঁ , তাই এটি ইতিমধ্যে একটি দুর্দান্ত সংস্থাগুলি ব্যবহার করছেন।

অ্যামাজন এবং ফ্লিপকার্ট সম্পর্কে তৃতীয় প্রশ্নের উত্তর তাদের দলের বাইরের কেউ দিতে পারে না।

এছাড়াও, আমি আপনাকে আপনার মডেলগুলি প্রশিক্ষণের জন্য ম্যাপ্রেডস কৌশলগুলি ব্যবহার করার পরামর্শ দেব। এবং ইতিমধ্যে পরামর্শ হিসাবে, আপনার মডেলগুলি আচার করুন যাতে আপনার প্রতিটি অনুরোধের সাথে প্রশিক্ষণ দেওয়ার প্রয়োজন না হয়।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.