ডিপ লার্নিং লাইব্রেরি ব্যবহার করে পাঠ্য থেকে কীওয়ার্ড / বাক্যাংশ এক্সট্রাকশন


20

সম্ভবত এটি খুব বিস্তৃত, তবে আমি একটি পাঠের সংক্ষিপ্তকরণের কার্যটিতে কীভাবে গভীর শিক্ষার ব্যবহার করতে পারি সে সম্পর্কিত রেফারেন্সগুলি সন্ধান করছি।

আমি ইতিমধ্যে স্ট্যান্ডার্ড শব্দ-ফ্রিকোয়েন্সি পদ্ধতির এবং বাক্য-র‌্যাঙ্কিং ব্যবহার করে পাঠ্য সংক্ষিপ্তকরণ প্রয়োগ করেছি, তবে আমি এই কাজের জন্য গভীর শিক্ষার কৌশল ব্যবহারের সম্ভাবনাটি ঘুরে দেখতে চাই। সেন্টিমেন্ট বিশ্লেষণের জন্য কনভ্যোলিউশনাল নিউরাল নেটওয়ার্কস (সিএনএন) ব্যবহার করে ওয়াইল্ডএমএল.কম-এ দেওয়া কিছু বাস্তবায়নও আমি পেরেছি ; আমি কীভাবে টেক্সট সংক্ষিপ্তকরণ এবং কীওয়ার্ড নিষ্কাশনের জন্য টেনসরফ্লো বা থিয়েওয়ের মতো লাইব্রেরি ব্যবহার করতে পারি তা জানতে চাই। আমি নিউরাল নেট নিয়ে পরীক্ষা-নিরীক্ষা শুরু করে এক সপ্তাহ হয়ে গেছে এবং এই গ্রন্থাগারগুলির পারফরম্যান্সটি এই সমস্যার সাথে আমার আগের পদ্ধতির সাথে কীভাবে তুলনা করে তা দেখে আমি সত্যিই আগ্রহী।

আমি বিশেষত এই ফ্রেমওয়ার্কগুলি ব্যবহার করে পাঠ্য সংক্ষিপ্তকরণ সম্পর্কিত কিছু আকর্ষণীয় কাগজপত্র এবং গিথুব প্রকল্পগুলির সন্ধান করছি। কেউ কি আমাকে কিছু রেফারেন্স সরবরাহ করতে পারেন?

উত্তর:


15

Google গবেষণা ব্লগ প্রেক্ষাপটে সহায়ক হওয়া উচিত TensorFlow

উপরের নিবন্ধে, এনোটেটেড ইংলিশ গিগাওয়ার্ড ডেটাসেটের একটি উল্লেখ রয়েছে যা পাঠ্য সংক্ষিপ্তকরণের জন্য নিয়মিত ব্যবহৃত হয়।

নিউটাল নেটওয়ার্কস সিকোয়েন্স টু সিকোয়েন্স টু সিকোয়েন্স টু সিক্যুয়েন্স টু সিক্যুয়েন্স টু সিক্যুয়াল টু শিরোনামে ২০১৪ সালের পেপারটি আপনার যাত্রাপথে একটি অর্থবহ সূচনা হতে পারে যেহেতু দেখা যাচ্ছে যে ছোট পাঠ্যের জন্য, সংক্ষিপ্তকরণ একটি গভীর শেখার কৌশল দিয়ে শেষ-শেষ পর্যন্ত শেখা যায়।

শেষ অবধি, টেনসরফ্লো ব্যবহার করার সময় এখানে একটি দুর্দান্ত গিথুব সংগ্রহশালা পাঠ্য সংক্ষিপ্তসার প্রদর্শন করে।


16

এটি গবেষণার একটি উন্মুক্ত ক্ষেত্র এবং এটি আপনার সমস্যার সমাধানের উপায়ের উপর নির্ভর করে। আপনি যদি মাল্টি-ডকুমেন্টের সংক্ষিপ্তকরণের কথা বলছেন তবে আপনি যদি একক-নথির সংক্ষিপ্তকরণের কথা বলছিলেন তবে সমস্যাটি কিছুটা আলাদা।

সংক্ষিপ্তভাবে সাহিত্য পর্যালোচনা করা মূল্যবান।

ইউ / সোসাইটি অফ ডেটা সায়েন্টিস্টদের সরবরাহ করা লিঙ্কটি দুর্দান্ত এবং এটি কোনও একক নথিতে বিমূর্ত সংক্ষিপ্তকরণের কাজের জন্য দরকারী useful এক্সটেক্টিভ সংক্ষিপ্তসারগুলিতেও কাজ হয়েছে, যা উত্তোলনের জন্য গুরুত্বপূর্ণ বাক্যগুলি চিহ্নিত করে।

রাশ এট। আল মনোযোগ সহ বিমূর্ত সংক্ষিপ্তকরণ একটি দুর্দান্ত কাগজ আছে যা গভীর শিক্ষার উপর ভিত্তি করে।

একটি এক্সটেক্টিভ সংক্ষিপ্তকরণের জন্য, আপনি আপনার শ্রেণিবদ্ধ তৈরি করতে এবং স্ট্যান্ডার্ড টেনসরফ্লো / টর্চ লাইব্রেরি ব্যবহার করতে একটি এলএসটিএম ব্যবহার করতে পারেন তবে এই পদ্ধতির জন্য গভীর শিক্ষার ব্যবহারের কোনও বর্তমান প্রকাশনা বলে মনে হয় না।

এখানে কিছু অতিরিক্ত গিটহাব রেপো রয়েছে:


ধন্যবাদ @ ফ্রান্সিসকোজাভিয়ারসিও আমি উপরোক্ত উল্লিখিত কাগজপত্রগুলি খতিয়ে দেখব।
শানকি_সাহেবেরের

4

আপনি যদি মূল শব্দের সন্ধান করছেন তবে এর মতো শব্দগুলি আরও নিষ্কর্ষের সংক্ষিপ্তকরণ। এখানে কয়েকটি কাগজপত্র রয়েছে যার সম্ভবত বাস্তবায়ন রয়েছে:

শব্দ এবং শব্দ নিষেধ দ্বারা নিউরাল সংক্ষিপ্তকরণ

ডিপ লার্নিং ব্যবহার করে এক্সট্রাক্ট সারসংক্ষেপ

অঞ্চল এম্বেডিংয়ের মাধ্যমে পাঠ্য শ্রেণীবদ্ধকরণের জন্য আধা-তত্ত্বাবধানযুক্ত কনভলিউশনাল নিউরাল নেটওয়ার্ক

এছাড়াও, পাঠ্য নিষ্কাশন কার্যগুলির সাধারণ আর্কিটেকচারে স্পাইসি (অনুমোদিত নয়) এর একটি ভাল ব্লগ রয়েছে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.