প্রশ্ন ট্যাগ «tokenize»

টোকেনাইজিং হ'ল টোকেন নামক বিচ্ছিন্ন উপাদানগুলিতে একটি স্ট্রিংকে বিভক্ত করার কাজ।


16
স্ট্রিং ডিলিমিটার (স্ট্যান্ডার্ড সি ++) ব্যবহার করে সি ++ তে একটি স্ট্রিং পার্স (স্প্লিট) করুন
নিম্নলিখিতটি ব্যবহার করে আমি সি ++ তে একটি স্ট্রিং পার্স করছি: using namespace std; string parsed,input="text to be parsed"; stringstream input_stringstream(input); if (getline(input_stringstream,parsed,' ')) { // do some processing. } একটি একক চর ডিলিমিটার দিয়ে পার্সিং ঠিক আছে। তবে আমি যদি ডিলিমিটার হিসাবে একটি স্ট্রিং ব্যবহার করতে চাই। উদাহরণ: আমি …
360 c++  parsing  split  token  tokenize 


17
শেলটিতে একটি স্ট্রিং কীভাবে বিভক্ত করবেন এবং শেষ ক্ষেত্রটি পাবেন
ধরুন আমার কাছে স্ট্রিং রয়েছে 1:2:3:4:5এবং আমি এর শেষ ক্ষেত্রটি পেতে চাই ( 5এই ক্ষেত্রে)। আমি কীভাবে ব্যাশ ব্যবহার করে তা করব? আমি চেষ্টা করেছি cut, তবে শেষের ক্ষেত্রটি কীভাবে নির্দিষ্ট করতে হবে তা আমি জানি না -f।
292 bash  split  tokenize  cut 

10
স্ক্যানার বনাম স্ট্রিংটোকেনাইজার বনাম স্ট্রিং.স্প্লিট
আমি কেবল জাভার স্ক্যানার ক্লাস সম্পর্কে শিখেছি এবং এখন আমি ভাবছি যে এটি কীভাবে স্ট্রিংটোকেনাইজার এবং স্ট্রিং.স্প্লিটের সাথে তুলনা করে / প্রতিযোগিতা করে। আমি জানি যে স্ট্রিংটোকেনাইজার এবং স্ট্রিং.স্প্লিটগুলি কেবল স্ট্রিংগুলিতেই কাজ করে, তাই আমি কেন স্ট্রিংয়ের জন্য স্ক্যানারটি ব্যবহার করতে চাই? স্ক্যানার কি কেবল বিভক্ত হওয়ার জন্য ওয়ান স্টপ-শপিংয়ের …

4
একটি "টোকেনাইজার", "পার্সার" এবং "লেক্সার" কী এবং কীভাবে তারা একে অপরের সাথে সম্পর্কিত এবং ব্যবহৃত হয় তার স্পষ্ট সংজ্ঞা খুঁজছেন?
আমি "টোকেনাইজার", "পার্সার" এবং "লেক্সার" কী এবং কীভাবে তারা একে অপরের সাথে সম্পর্কিত তার একটি পরিষ্কার সংজ্ঞা খুঁজছি (উদাহরণস্বরূপ, কোনও পার্সার টোকেনাইজার ব্যবহার করে বা বিপরীতে)? আমার ডেটা ঘোষণা এবং সংজ্ঞাগুলি নিষ্কাশন করতে সি / এইচ উত্স ফাইলগুলির মধ্য দিয়ে একটি প্রোগ্রাম তৈরি করা দরকার। আমি উদাহরণগুলির সন্ধান করছি এবং …
151 parsing  lexer  tokenize 

5
পাইথন কোডের একটি লাইন কী তার বাসা বাঁধার স্তর জানতে পারে?
এরকম কিছু থেকে: print(get_indentation_level()) print(get_indentation_level()) print(get_indentation_level()) আমি এই জাতীয় কিছু পেতে চাই: 1 2 3 এই কোডটি কি নিজেই পড়তে পারে? আমি কেবল চাই কোডটির আরও নেস্টেড অংশগুলি থেকে আউটপুটটি আরও নীড়যুক্ত হওয়া। এই কোডটি পড়া সহজ করে তোলে, একইভাবে এটি আউটপুটটি আরও সহজভাবে পড়তে পারে। অবশ্যই আমি এই ম্যানুয়ালি …


11
কীভাবে এনএলটিকে টোকেনাইজার ব্যবহার করে বিরামচিহ্ন থেকে মুক্তি পাবেন?
আমি কেবল এনএলটিকে ব্যবহার শুরু করছি এবং পাঠ্য থেকে কীভাবে শব্দের একটি তালিকা পাবেন তা আমি যথেষ্ট বুঝতে পারি না। আমি যদি ব্যবহার করি তবে আমি nltk.word_tokenize()শব্দ এবং বিরামচিহ্নগুলির একটি তালিকা পেয়েছি get পরিবর্তে আমার কেবল শব্দগুলি দরকার। আমি কীভাবে যতিচিহ্ন থেকে মুক্তি পেতে পারি? এছাড়াও word_tokenizeএকাধিক বাক্য সাথে কাজ …
125 python  nlp  tokenize  nltk 

13
ওরাকলে একাধিক সারিগুলিতে স্ট্রিং বিভক্ত করা হচ্ছে
আমি জানি পিএইচপি এবং এমওয়াইএসকিউএল দিয়ে কিছুটা উত্তর দেওয়া হয়েছে তবে আমি ভাবছিলাম যে কেউ যদি আমাকে ওরাকল 10 গ্রাম (অগ্রাধিকার দিয়ে) এবং 11 জি এর একাধিক সারিতে একটি স্ট্রিং (কীমাবদ্ধ সীমানা) বিভক্ত করার সহজতম পদ্ধতিটি শিখিয়ে দিতে পারেন তবে? টেবিলটি নিম্নরূপ: Name | Project | Error 108 test Err1, …
104 sql  string  oracle  plsql  tokenize 
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.