প্রশ্ন ট্যাগ «natural-language»

এটি সঠিক স্ট্যাক সাইট কিনা তা নিশ্চিত নয়, তবে এখানে রয়েছে। .সিমরিটিসিটি পদ্ধতি কীভাবে কাজ করে? বাহ স্পাইসি দুর্দান্ত! এর টিডিআইডিএফ মডেলটি আরও সহজ হতে পারে, তবে কেবলমাত্র এক লাইনের কোডের সাথে ডাব্লু 2 ভি ?! স্পাইসি অ্যান্ড্রাজিবার্নিকের তাঁর 10 লাইনের টিউটোরিয়ালে আমাদের .s মিলিটির পদ্ধতিটি টোকেন, সেন্ট, শব্দ শঙ্ক …

13 natural-language  word2vec  tf-idf  nltk 

আমি অবাক হই যে কেন হায়ারারিকিকাল সফটম্যাক্স অপ্রতুল শব্দের জন্য আরও ভাল, অন্যদিকে শব্দ 2vec এর সিবিওউ এবং স্কিপ-গ্রাম মডেলগুলিতে ঘন ঘন শব্দের জন্য নেতিবাচক নমুনা আরও ভাল। আমি https://code.google.com/p/word2vec/ এ দাবিটি পড়েছি ।

12 natural-language  word2vec  word-embeddings  softmax 

বলুন যে আমি অনুভূতি বিশ্লেষণ করতে একটি আরএনএন / এলএসটিএম ব্যবহার করি, এটি বহু-এক-এক পদ্ধতির ( এই ব্লগটি দেখুন )। নেটওয়ার্কটি সময় (বিপিটিটি) এর মাধ্যমে একটি ছিন্ন বিচ্ছিন্ন ব্যাকপ্রোপ্যাগেশনের মাধ্যমে প্রশিক্ষিত হয়, যেখানে নেটওয়ার্কটি যথারীতি কেবল 30 টি শেষ ধাপের জন্য নিবন্ধভুক্ত থাকে। আমার ক্ষেত্রে আমার প্রতিটি পাঠ্য বিভাগ যা …

12 neural-networks  deep-learning  natural-language  backpropagation 

দুটি জনপ্রিয় ভাষা শনাক্তকরণ গ্রন্থাগারে, সি ++ এর জন্য কমপ্যাক্ট ল্যাঙ্গুয়েজ ডিটেক্টর 2 এবং জাভার জন্য ভাষা সনাক্তকারী , উভয়ই পাঠ্য বৈশিষ্ট্যগুলি বের করার জন্য (চরিত্র ভিত্তিক) এন-গ্রাম ব্যবহার করেছেন। ব্যাগ-অফ-শব্দের (একক শব্দ / অভিধান) কেন ব্যবহার করা হয় না এবং ব্যাগ-অফ-শব্দের এবং এন-গ্রামগুলির সুবিধা এবং অসুবিধা কী? এছাড়াও, পাঠ্য …

12 machine-learning  classification  text-mining  natural-language 

বর্ণনা: সমস্যা ডোমেনটিকে নথির শ্রেণিবদ্ধকরণ হতে দিন যেখানে বৈশিষ্ট্য ভেক্টরগুলির একটি সেট বিদ্যমান রয়েছে, যার প্রতিটি 1 বা আরও বেশি শ্রেণীর অন্তর্ভুক্ত। উদাহরণস্বরূপ, কোনও দস্তাবেজ এবং বিভাগগুলির doc_1অন্তর্গত ।SportsEnglish প্রশ্ন: শ্রেণিবিন্যাসের জন্য নিউরাল নেটওয়ার্ক ব্যবহার করে, কোনও বৈশিষ্ট্য ভেক্টরের জন্য লেবেলটি কী হবে? এটি কি সমস্ত শ্রেণীর সমন্বয়ে ভেক্টর গঠন …

12 machine-learning  neural-networks  natural-language  multilabel 

ওয়ার্ড 2 ভেক অ্যালগরিদমের স্কিপ-গ্রাম মডেলটি বুঝতে আমার সমস্যা হচ্ছে। অবিচ্ছিন্ন ব্যাগ-অফ-শব্দের মধ্যে নিউরাল নেটওয়ার্কে প্রসঙ্গের শব্দগুলি কীভাবে "ফিট" হতে পারে তা সহজেই দেখা যায়, যেহেতু আপনি ইনপুট ম্যাট্রিক্স ডাব্লু দিয়ে এক-হট এনকোডিং উপস্থাপনাগুলির প্রতিটি গুন করার পরে মূলত এগুলি গড় করেন since তবে, স্কিপ-গ্রামের ক্ষেত্রে, আপনি কেবল ইনপুট ম্যাট্রিক্সের …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

আমি প্রায় 60 মিলিয়ন বাক্যাংশ ভেক্টর স্পেসে এম্বেড করার চেষ্টা করছি , তারপরে তাদের মধ্যে কোজিনের মিলের গণনা করুন। আমি CountVectorizerএকটি কাস্টম বিল্ট টোকেনাইজার ফাংশন দিয়ে ইউনিট এবং বিগ্রাম তৈরির জন্য স্ক্লার্নস ব্যবহার করছি । সক্রিয় হয় যে অর্থবহ উপস্থাপনা পেতে আমাকে সারি সংখ্যায় লিনিয়ার, প্রচুর পরিমাণে কলামের অনুমতি দিতে …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

আমি EM অ্যালগরিদম সম্পর্কিত খুব সহায়ক টিউটোরিয়াল পেয়েছি । টিউটোরিয়ালটির উদাহরণ এবং চিত্রটি কেবল উজ্জ্বল। সম্ভাবনার গণনা সম্পর্কিত সম্পর্কিত প্রশ্ন কীভাবে প্রত্যাশা সর্বাধিকীকরণ কাজ করে? উদাহরণের সাথে টিউটোরিয়ালে বর্ণিত তত্ত্বটি কীভাবে সংযুক্ত করবেন সে সম্পর্কে আমার আরও একটি প্রশ্ন রয়েছে। ই-পদক্ষেপের সময়, EM নীচে সীমা জন্য একটি ফাংশন বেছে নেয় …

11 machine-learning  clustering  algorithms  natural-language 

শব্দ এম্বেডিংগুলি তৈরি করার একটি উপায় নিম্নরূপ ( আয়না ): কর্পোরো পান, যেমন "আমি উড়ন্ত উপভোগ করি I আমি এনএলপি পছন্দ করি I এটি থেকে কোকোরিয়েন্স ম্যাট্রিক্স শব্দটি তৈরি করুন: তে এসভিডি করুন , এবং ইউ এর প্রথম কলামগুলি রাখুনXXXkkk সাবম্যাট্রিক্স প্রতিটি সারিটি সেই শব্দের এম্বেডিং শব্দ হবে যা সারিটি …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

এই বাক্যটি বুঝতে আমার সমস্যা হচ্ছে: প্রথম প্রস্তাবিত আর্কিটেকচারটি ফিডফোর্ড এনএনএলএম এর অনুরূপ, যেখানে অ-রৈখিক লুকানো স্তর সরানো হয় এবং প্রজেকশন স্তরটি সমস্ত শব্দের জন্য ভাগ করা হয় (কেবলমাত্র প্রক্ষেপণ ম্যাট্রিক্স নয়); সুতরাং, সমস্ত শব্দ একই অবস্থানে প্রজেক্ট হয় (তাদের ভেক্টরগুলির গড় হয়)। প্রোজেকশন স্তর বনাম প্রজেকশন ম্যাট্রিক্স কী? সমস্ত …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models 

প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (এনএলপি) কার্যের জন্য একটি শব্দ শব্দের এম্বেডিং হিসাবে প্রায়শই ওয়ার্ড 2vec ভেক্টর ব্যবহার করে। যাইহোক, অনেক অজানা শব্দ থাকতে পারে যা শব্দ 2vec ভেক্টর দ্বারা ধরা পড়ে না কেবল এই কারণে যে এই শব্দগুলি প্রায়শই প্রশিক্ষণের ডেটাতে যথেষ্ট পরিমাণে দেখা যায় না (অনেকগুলি বাস্তবায়ন শব্দভাণ্ডারে কোনও শব্দ …

11 natural-language  word2vec  lstm  word-embeddings 

আমি কীভাবে শব্দের পরিসংখ্যানগুলির একটি ভেক্টরে বিচ্ছুরণের পরিমাণকে মাপ দিতে পারি? আমি এমন একটি পরিসংখ্যান খুঁজছি যা নথির A এর জন্য উচ্চতর হবে, কারণ এতে অনেকগুলি বিভিন্ন শব্দ রয়েছে যা প্রায়ই ঘটে থাকে এবং ডকুমেন্ট বি এর জন্য কম থাকে, কারণ এতে একটি শব্দ (বা কয়েকটি শব্দ) থাকে যা প্রায়শই …

10 variance  natural-language  gini  dispersion  bag-of-words 

আমি পরিতেছিলাম: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition তবে সূত্রটি কেন ঠিক এমনভাবে তৈরি করা হয়েছিল তা আমি বুঝতে পারি না। আমি কি বুঝতে পারি: আইডিএফকে কিছু স্তরে পরিমাপ করা উচিত যে প্রতিটি নথিতে একটি শব্দ এস কতবার প্রকাশিত হয়, শব্দটি আরও ঘন ঘন প্রদর্শিত হওয়ায় মান হ্রাস পায়। সেই দৃষ্টিকোণ থেকে i D F( …

10 machine-learning  clustering  mathematical-statistics  text-mining  natural-language 

পাঠ্য খনির জন্য বৈশিষ্ট্য নির্মাণের একটি traditionalতিহ্যগত পদ্ধতির ব্যাগ-অফ-শব্দের পন্থা, এবং প্রদত্ত পাঠ্য নথির বৈশিষ্ট্যযুক্ত বৈশিষ্ট্য ভেক্টর স্থাপনের জন্য টিএফ-আইডিএফ ব্যবহার করে বাড়ানো যেতে পারে। বর্তমানে, বৈশিষ্ট্য ভেক্টর তৈরির জন্য আমি দ্বি-গ্রাম ভাষার মডেল বা (এন-গ্রাম) ব্যবহার করার চেষ্টা করছি, তবে কীভাবে এটি করা যায় তা যথেষ্ট জানেন না? আমরা …

10 machine-learning  data-mining  text-mining  natural-language  language-models 

আমি গ্রুপের চেষ্টা করছি, উদাহরণস্বরূপ, প্রোগ্রামিং সম্পর্কিত অন্যান্য স্ট্রিংগুলির সাথে প্রোগ্রামিং সম্পর্কে স্ট্রিং, পদার্থবিজ্ঞানের বিষয়ে অন্যান্য স্ট্রিং সহ পদার্থবিজ্ঞানের স্ট্রিং ইত্যাদি বিভিন্ন বিষয়ের জন্য for সমস্যার সুস্পষ্ট তাত্ত্বিক ভাষাগত দিক থাকা সত্ত্বেও, আমি প্রোগ্রামিং / সফ্টওয়্যার ব্যবহার করে এটি করার চেষ্টা করছি। রুনডাউন: প্রচুর পরিমাণে স্ট্রিং দেওয়া হয়েছে, কীভাবে আমি …

10 natural-language  data-mining