আমি কীভাবে কোনও পাঠ্যকে বাক্যে বিভক্ত করতে পারি?

Question 1

আমার কাছে একটি টেক্সট ফাইল আছে। আমার বাক্যগুলির একটি তালিকা পাওয়া উচিত।

এটি কীভাবে বাস্তবায়ন করা যায়? সংক্ষিপ্তসারগুলিতে বিন্দু হিসাবে ব্যবহৃত হচ্ছে এমন অনেকগুলি সূক্ষ্মতা রয়েছে।

আমার পুরানো নিয়মিত প্রকাশটি খারাপভাবে কাজ করে:

re.compile('(\. |^|!|\?)([A-Z][^;↑\.<>@\^&/\[\]]*(\.|!|\?) )',re.M)

Question 2

প্রাকৃতিক ভাষা সরঞ্জামকিট ( nltk.org ) আপনার যা প্রয়োজন তা রয়েছে। এই গ্রুপ পোস্টিং ইঙ্গিত করে যে এটি করে:

import nltk.data

tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')
fp = open("test.txt")
data = fp.read()
print '\n-----\n'.join(tokenizer.tokenize(data))

(আমি চেষ্টা করে দেখিনি!)

Question 3

এই ফাংশনটি হ্যাকলবেরি ফিনের পুরো পাঠ্যকে প্রায় 0.1 সেকেন্ডের মধ্যে বাক্যে বিভক্ত করতে পারে এবং অনেক বেদনাদায়ক প্রান্তের কেসকে পরিচালনা করে যা বাক্যটিকে পার্থক্যহীন উদাহরণ হিসাবে দেখায় যেমন " মিঃ জন জনসন জুনিয়র মার্কিন যুক্তরাষ্ট্রে জন্মগ্রহণ করেছিলেন তবে তার পিএইচএইচ অর্জন করেছিলেন। ইঞ্জিনিয়ার হিসাবে নাইকে ইনক। এ যোগদানের আগে ইস্রায়েলে ডি। তিনি ব্যবসা বিশ্লেষক হিসাবে ক্রেগলিস্ট.আর.এও কাজ করেছিলেন। "

# -*- coding: utf-8 -*-
import re
alphabets= "([A-Za-z])"
prefixes = "(Mr|St|Mrs|Ms|Dr)[.]"
suffixes = "(Inc|Ltd|Jr|Sr|Co)"
starters = "(Mr|Mrs|Ms|Dr|He\s|She\s|It\s|They\s|Their\s|Our\s|We\s|But\s|However\s|That\s|This\s|Wherever)"
acronyms = "([A-Z][.][A-Z][.](?:[A-Z][.])?)"
websites = "[.](com|net|org|io|gov)"

def split_into_sentences(text):
    text = " " + text + "  "
    text = text.replace("\n"," ")
    text = re.sub(prefixes,"\\1<prd>",text)
    text = re.sub(websites,"<prd>\\1",text)
    if "Ph.D" in text: text = text.replace("Ph.D.","Ph<prd>D<prd>")
    text = re.sub("\s" + alphabets + "[.] "," \\1<prd> ",text)
    text = re.sub(acronyms+" "+starters,"\\1<stop> \\2",text)
    text = re.sub(alphabets + "[.]" + alphabets + "[.]" + alphabets + "[.]","\\1<prd>\\2<prd>\\3<prd>",text)
    text = re.sub(alphabets + "[.]" + alphabets + "[.]","\\1<prd>\\2<prd>",text)
    text = re.sub(" "+suffixes+"[.] "+starters," \\1<stop> \\2",text)
    text = re.sub(" "+suffixes+"[.]"," \\1<prd>",text)
    text = re.sub(" " + alphabets + "[.]"," \\1<prd>",text)
    if "”" in text: text = text.replace(".”","”.")
    if "\"" in text: text = text.replace(".\"","\".")
    if "!" in text: text = text.replace("!\"","\"!")
    if "?" in text: text = text.replace("?\"","\"?")
    text = text.replace(".",".<stop>")
    text = text.replace("?","?<stop>")
    text = text.replace("!","!<stop>")
    text = text.replace("<prd>",".")
    sentences = text.split("<stop>")
    sentences = sentences[:-1]
    sentences = [s.strip() for s in sentences]
    return sentences

Question 4

বাক্যগুলিতে পাঠ্যকে বিভক্ত করার জন্য রেগেক্স ব্যবহার করার পরিবর্তে, আপনি এনল্টেকে পাঠাগারটিও ব্যবহার করতে পারেন।

>>> from nltk import tokenize
>>> p = "Good morning Dr. Adams. The patient is waiting for you in room number 3."

>>> tokenize.sent_tokenize(p)
['Good morning Dr. Adams.', 'The patient is waiting for you in room number 3.']

রেফ: https://stackoverflow.com/a/9474645/2877052

Question 5

আপনি রেগেক্সের পরিবর্তে স্প্যাসি ব্যবহারের চেষ্টা করতে পারেন । আমি এটি ব্যবহার করি এবং এটি কাজ করে।

import spacy
nlp = spacy.load('en')

text = '''Your text here'''
tokens = nlp(text)

for sent in tokens.sents:
    print(sent.string.strip())

Question 6

এখানে রাস্তার পদ্ধতির মাঝামাঝি যা কোনও বাহ্যিক গ্রন্থাগারের উপর নির্ভর করে না। সংক্ষিপ্ত বিবরণ এবং টার্মিনেটরগুলির মধ্যে ওভারল্যাপগুলি বাদ দেওয়ার পাশাপাশি টার্মিনেশনের পরিবর্তনের মধ্যে ওভারল্যাপগুলি বাদ দেওয়ার জন্য আমি তালিকা বোধগম্য ব্যবহার করি, উদাহরণস্বরূপ: ''। বনাম '। "'

abbreviations = {'dr.': 'doctor', 'mr.': 'mister', 'bro.': 'brother', 'bro': 'brother', 'mrs.': 'mistress', 'ms.': 'miss', 'jr.': 'junior', 'sr.': 'senior',
                 'i.e.': 'for example', 'e.g.': 'for example', 'vs.': 'versus'}
terminators = ['.', '!', '?']
wrappers = ['"', "'", ')', ']', '}']


def find_sentences(paragraph):
   end = True
   sentences = []
   while end > -1:
       end = find_sentence_end(paragraph)
       if end > -1:
           sentences.append(paragraph[end:].strip())
           paragraph = paragraph[:end]
   sentences.append(paragraph)
   sentences.reverse()
   return sentences


def find_sentence_end(paragraph):
    [possible_endings, contraction_locations] = [[], []]
    contractions = abbreviations.keys()
    sentence_terminators = terminators + [terminator + wrapper for wrapper in wrappers for terminator in terminators]
    for sentence_terminator in sentence_terminators:
        t_indices = list(find_all(paragraph, sentence_terminator))
        possible_endings.extend(([] if not len(t_indices) else [[i, len(sentence_terminator)] for i in t_indices]))
    for contraction in contractions:
        c_indices = list(find_all(paragraph, contraction))
        contraction_locations.extend(([] if not len(c_indices) else [i + len(contraction) for i in c_indices]))
    possible_endings = [pe for pe in possible_endings if pe[0] + pe[1] not in contraction_locations]
    if len(paragraph) in [pe[0] + pe[1] for pe in possible_endings]:
        max_end_start = max([pe[0] for pe in possible_endings])
        possible_endings = [pe for pe in possible_endings if pe[0] != max_end_start]
    possible_endings = [pe[0] + pe[1] for pe in possible_endings if sum(pe) > len(paragraph) or (sum(pe) < len(paragraph) and paragraph[sum(pe)] == ' ')]
    end = (-1 if not len(possible_endings) else max(possible_endings))
    return end


def find_all(a_str, sub):
    start = 0
    while True:
        start = a_str.find(sub, start)
        if start == -1:
            return
        yield start
        start += len(sub)

আমি এই এন্ট্রি থেকে কার্লের ফাইন্ড_ল ফাংশনটি ব্যবহার করেছি: পাইথনে একটি স্ট্রাস্টিংয়ের সমস্ত উপস্থিতি সন্ধান করুন

Question 7

সাধারণ ক্ষেত্রে (যেখানে বাক্যগুলি সাধারণত বন্ধ করা হয়), এটি কাজ করা উচিত:

import re
text = ''.join(open('somefile.txt').readlines())
sentences = re.split(r' *[\.\?!][\'"\)\]]* *', text)

রেজেক্সটি হ'ল *\. +, যা 0 বা তার বেশি জায়গা বাম দিকে এবং 1 বা ডানদিকে ডানদিকে ঘিরে একটি সময়ের সাথে মেলে (পুনরায় স্প্লিটের সময়কালের মতো কিছুটিকে বাক্য পরিবর্তনের হিসাবে গণ্য করা রোধ করতে)।

স্পষ্টতই, সর্বাধিক শক্তিশালী সমাধান নয়, তবে বেশিরভাগ ক্ষেত্রেই এটি কার্যকর হবে। কেবলমাত্র এটিই সংক্ষিপ্তসারগুলি আবরণ করবে না (সম্ভবত বাক্যগুলির তালিকার মধ্য দিয়ে চলতে হবে এবং পরীক্ষা করুন যে প্রতিটি স্ট্রিং sentencesএকটি মূল অক্ষর দিয়ে শুরু হয়?)

Question 8

আপনি এনএলটিকে বাক্য টোকেনাইজেশন ফাংশনটিও ব্যবহার করতে পারেন:

from nltk.tokenize import sent_tokenize
sentence = "As the most quoted English writer Shakespeare has more than his share of famous quotes.  Some Shakespare famous quotes are known for their beauty, some for their everyday truths and some for their wisdom. We often talk about Shakespeare’s quotes as things the wise Bard is saying to us but, we should remember that some of his wisest words are spoken by his biggest fools. For example, both ‘neither a borrower nor a lender be,’ and ‘to thine own self be true’ are from the foolish, garrulous and quite disreputable Polonius in Hamlet."

sent_tokenize(sentence)

Question 9

@ আর্টিয়াম,

ওহে! আপনি এই ফাংশনটি ব্যবহার করে রাশিয়ান (এবং কিছু অন্যান্য ভাষায়) জন্য একটি নতুন টোকেনাইজার তৈরি করতে পারেন:

def russianTokenizer(text):
    result = text
    result = result.replace('.', ' . ')
    result = result.replace(' .  .  . ', ' ... ')
    result = result.replace(',', ' , ')
    result = result.replace(':', ' : ')
    result = result.replace(';', ' ; ')
    result = result.replace('!', ' ! ')
    result = result.replace('?', ' ? ')
    result = result.replace('\"', ' \" ')
    result = result.replace('\'', ' \' ')
    result = result.replace('(', ' ( ')
    result = result.replace(')', ' ) ') 
    result = result.replace('  ', ' ')
    result = result.replace('  ', ' ')
    result = result.replace('  ', ' ')
    result = result.replace('  ', ' ')
    result = result.strip()
    result = result.split(' ')
    return result

এবং তারপরে এটিকে কল করুন:

text = 'вы выполняете поиск, используя Google SSL;'
tokens = russianTokenizer(text)

শুভকামনা, মেরিলেনা।

Question 10

এছাড়াও, উপরের কয়েকটি উত্তরের অন্তর্ভুক্ত নয় এমন অতিরিক্ত শীর্ষ স্তরের ডোমেনগুলি সম্পর্কে সতর্ক থাকুন।

উদাহরণস্বরূপ .info, .বিজ, .রু, .অনলাইন কিছু বাক্য পার্সার ফেলবে কিন্তু উপরে অন্তর্ভুক্ত করা হয়নি।

শীর্ষ স্তরের ডোমেনগুলির ফ্রিকোয়েন্সি সম্পর্কে এখানে কিছু তথ্য দেওয়া হয়েছে: https://www.westhost.com/blog/the-most-popular-top-level-domains-in-2017/

এটি পড়তে উপরের কোড সম্পাদনা করে সম্বোধন করা যেতে পারে:

alphabets= "([A-Za-z])"
prefixes = "(Mr|St|Mrs|Ms|Dr)[.]"
suffixes = "(Inc|Ltd|Jr|Sr|Co)"
starters = "(Mr|Mrs|Ms|Dr|He\s|She\s|It\s|They\s|Their\s|Our\s|We\s|But\s|However\s|That\s|This\s|Wherever)"
acronyms = "([A-Z][.][A-Z][.](?:[A-Z][.])?)"
websites = "[.](com|net|org|io|gov|ai|edu|co.uk|ru|info|biz|online)"

Question 11

সন্দেহ নেই যে NLTK এই উদ্দেশ্যে সবচেয়ে উপযুক্ত। তবে এনএলটিকে দিয়ে শুরু করা বেশ বেদনাদায়ক (তবে এটি ইনস্টল করার পরে - আপনি কেবল পুরষ্কার কাটাবেন)

সুতরাং এখানে সহজ পুনরায় ভিত্তিক কোড পাওয়া যায় http://pythonicprose.blogspot.com/2009/09/python-split-paraراف-into-sentences.html

# split up a paragraph into sentences
# using regular expressions


def splitParagraphIntoSentences(paragraph):
    ''' break a paragraph into sentences
        and return a list '''
    import re
    # to split by multile characters

    #   regular expressions are easiest (and fastest)
    sentenceEnders = re.compile('[.!?]')
    sentenceList = sentenceEnders.split(paragraph)
    return sentenceList


if __name__ == '__main__':
    p = """This is a sentence.  This is an excited sentence! And do you think this is a question?"""

    sentences = splitParagraphIntoSentences(p)
    for s in sentences:
        print s.strip()

#output:
#   This is a sentence
#   This is an excited sentence

#   And do you think this is a question

Question 12

আমাকে সাবটাইটেল ফাইলগুলি পড়তে হয়েছিল এবং সেগুলিকে বাক্যে বিভক্ত করতে হয়েছিল। প্রাক-প্রক্রিয়াজাতকরণের পরে (যেমন .এসআরটি ফাইলগুলিতে সময় সম্পর্কিত তথ্য ইত্যাদি অপসারণ), ভেরিয়েবল ফুলফাইলে সাবটাইটেল ফাইলটির সম্পূর্ণ পাঠ্য থাকে। নীচে অপরিশোধিত উপায় ঝরঝরে তাদের বাক্যে বিভক্ত। সম্ভবত আমি ভাগ্যবান যে বাক্যগুলি সর্বদা একটি স্থান দিয়ে শেষ হয় (সঠিকভাবে)। প্রথমে এটি ব্যবহার করে দেখুন এবং এর কোনও ব্যতিক্রম থাকলে আরও চেক এবং ব্যালেন্স যুক্ত করুন।

# Very approximate way to split the text into sentences - Break after ? . and !
fullFile = re.sub("(\!|\?|\.) ","\\1<BRK>",fullFile)
sentences = fullFile.split("<BRK>");
sentFile = open("./sentences.out", "w+");
for line in sentences:
    sentFile.write (line);
    sentFile.write ("\n");
sentFile.close;

উহু! আমরা হব. আমি এখন বুঝতে পেরেছি যেহেতু আমার বিষয়বস্তু স্প্যানিশ, তাই আমার কাছে "মিঃ স্মিথ" ইত্যাদির সাথে ডিল করার বিষয়গুলি ছিল না, তবুও কেউ যদি দ্রুত এবং নোংরা পার্সার চান ...

Question 13

আমি আশা করি এটি আপনাকে লাতিন, চাইনিজ, আরবিক পাঠ্যে সহায়তা করবে

import re

punctuation = re.compile(r"([^\d+])(\.|!|\?|;|\n|。|！|？|；|…|　|!|؟|؛)+")
lines = []

with open('myData.txt','r',encoding="utf-8") as myFile:
    lines = punctuation.sub(r"\1\2<pad>", myFile.read())
    lines = [line.strip() for line in lines.split("<pad>") if line.strip()]

Question 14

অনুরূপ টাস্কে কাজ করা হয়েছিল এবং এই কোয়েরিটি জুড়ে এসেছিল, কয়েকটি লিঙ্কগুলি অনুসরণ করে এবং এনটিএলটিকের জন্য কয়েকটি অনুশীলনে কাজ করে নীচের কোডটি যাদুটির মতো আমার জন্য কাজ করেছিল।

from nltk.tokenize import sent_tokenize 
  
text = "Hello everyone. Welcome to GeeksforGeeks. You are studying NLP article"
sent_tokenize(text)

আউটপুট:

['Hello everyone.',
 'Welcome to GeeksforGeeks.',
 'You are studying NLP article']

সূত্র: https://www.geeksforgeeks.org/nlp-how-tokenizing-text-senferences-words-works/