1 ডি সংকেতকে শ্রেণিবদ্ধ করতে সিএনএন ব্যবহার করা কি ভাল ধারণা?

20

আমি ঘুমের পর্যায়ে শ্রেণিবিন্যাসে কাজ করছি। আমি এই বিষয়টি নিয়ে কিছু গবেষণা নিবন্ধ পড়েছি তাদের মধ্যে অনেকে এসভিএম বা এনসেম্বল পদ্ধতি ব্যবহার করেছেন। এক-মাত্রিক EEG সিগন্যালকে শ্রেণিবদ্ধ করার জন্য কনভোলশনাল নিউরাল নেটওয়ার্ক ব্যবহার করা কি ভাল ধারণা?
আমি এই ধরণের কাজে নতুন। আমাকে কিছু ভুল জিজ্ঞাসা করলে ক্ষমা করবেন?

— ফজলা রাব্বি মাশরুর
সূত্র

সিগন্যালটিকে ফ্রেমে ভাঙ্গা এবং প্রতিটি ফ্রেমের এফএফটি গ্রহণ করে একটি 1 ডি সংকেত 2 ডি সংকেতে রূপান্তরিত হতে পারে। অডিওর জন্য এটি বেশ অস্বাভাবিক।

— এমসাল্টার্স

23

আমি অনুমান করি যে 1 ডি সংকেত দ্বারা আপনি সময়-সিরিজের ডেটা বোঝাচ্ছেন, যেখানে আপনি মানগুলির মধ্যে অস্থায়ী নির্ভরশীলতা অনুমান করেন। এই জাতীয় ক্ষেত্রে কনভ্যুশনাল নিউরাল নেটওয়ার্ক (সিএনএন) সম্ভাব্য পন্থাগুলির মধ্যে একটি। যেমন তথ্য সবচেয়ে জনপ্রিয় স্নায়ুর নেটওয়ার্ক পদ্ধতির পৌনঃপুনিক স্নায়ুর নেটওয়ার্ক (RNN) ব্যবহার করতে হয়, কিন্তু যেমন দ্বারা আলোচনা আপনি অন্যথায় CNNs, অথবা সংকর পদ্ধতির (আপাতদৃষ্টিতে পৌনঃপুনিক নিউরাল নেটওয়ার্ক, QRNN) ব্যবহার করতে পারেন Bradbury এট (2016) , এবং এছাড়াও নীচে তাদের চিত্র চিত্রিত। অন্যান্য দৃষ্টিভঙ্গি যেমন একাকী মনোযোগ ব্যবহার করার মতো, যেমন ট্রান্সফরমার নেটওয়ার্কে ভাসওয়ানি এট আল (2017) বর্ণিত , যেখানে সময় সম্পর্কে তথ্য ফুরিয়ার সিরিজের বৈশিষ্ট্যগুলির মধ্য দিয়ে যায় ।

সঙ্গে RNN , আপনি একটি সেল যাতে, ইনপুট পূর্ববর্তী লুকানো রাষ্ট্র এবং বর্তমান ইনপুট মান হিসাবে লাগে, আউটপুট এবং অন্য লুকানো রাষ্ট্র ফিরে যাওয়ার ব্যবহার করেন তথ্য গোপন রাজ্যের মাধ্যমে প্রবাহিত । সিএনএন দিয়ে আপনি কিছু প্রস্থের স্লাইডিং উইন্ডোটি ব্যবহার করবেন , যা তথ্যগুলিতে কিছু নির্দিষ্ট (শিখেছি) নিদর্শনগুলির চেহারা দেখাত এবং এ জাতীয় উইন্ডোগুলি একে অপরের উপরে স্ট্যাক করে রাখত, যাতে উচ্চ স্তরের উইন্ডোগুলি নীচের স্তরের মধ্যে নিদর্শনগুলির সন্ধান করতে পারে নিদর্শন। এই জাতীয় স্লাইডিং উইন্ডোজ ব্যবহার করে তথ্যের মধ্যে পুনরাবৃত্তি (যেমন মৌসুমী নিদর্শন) এর মতো জিনিসগুলি সন্ধান করতে সহায়ক হতে পারে। কিউআরএনএন স্তরগুলি উভয় পদ্ধতির মিশ্রণ করে। আসলে, সিএনএন এবং কিউআরএনএন আর্কিটেকচারগুলির একটি সুবিধা হ'ল তারা আরএনএন এর পরে দ্রুত হয় ।

— টিম
সূত্র

12

আপনি অবশ্যই 1 ডি সংকেতকে শ্রেণিবদ্ধ করতে একটি সিএনএন ব্যবহার করতে পারেন। আপনি যেহেতু ঘুমের পর্যায়ে শ্রেণিবিন্যাসে আগ্রহী এই কাগজটি দেখুন । এটি ডিপস্লিপনেট নামে একটি গভীর স্নায়বিক নেটওয়ার্ক, এবং ঘুমের পর্যায়ে ইইজি সংকেতগুলিকে শ্রেণিবদ্ধ করতে 1D কনভোলিউশনাল এবং এলএসটিএম স্তরগুলির সংমিশ্রণ ব্যবহার করে।

এখানে আর্কিটেকচারটি রয়েছে:

নেটওয়ার্কের দুটি অংশ রয়েছে:

$F_s/2$ $F_s$ $F_s \times 4$
সিক্যুয়ালিশনাল লার্নিং লেয়ারস: এম্বেডিংয়ের মধ্যে টেম্পোরাল নির্ভরতা শিখতে কনভ্যুশনাল স্তরগুলি থেকে এম্বেডিংগুলি (বা শিখে নেওয়া বৈশিষ্ট্যগুলি) এলএসটিএম স্তরগুলিতে সংক্ষিপ্ত করে খাওয়ানো হয়।

শেষ পর্যায়ে ঘুমের ধাপের সাথে সামঞ্জস্য রেখে টাইম সিরিজটিকে এক-পাঁচটি শ্রেণিতে শ্রেণিবদ্ধ করার জন্য একটি 5-ওয়ে সফটম্যাক্স স্তর রয়েছে।

— kedarps
সূত্র

4

দীর্ঘ সিক্যুয়েন্সগুলি প্রক্রিয়া করার জন্য আমি স্ট্যাকড হাইব্রিড পদ্ধতির (সিএনএন + আরএনএন) ব্যবহারের উপর জোর দিতে চাই :

আপনি জানেন যে, 1 ডি সিএনএন টাইমস্টেপগুলির ক্রম সংবেদনশীল নয় (স্থানীয় স্তরের চেয়ে বেশি নয়); অবশ্যই, একে অপরের শীর্ষে প্রচুর সংশ্লেষ এবং স্তরগুলি স্তরে স্তরের দ্বারা, চূড়ান্ত স্তরগুলি মূল ইনপুটটির দীর্ঘ উপ-অনুক্রমগুলি পর্যবেক্ষণ করতে সক্ষম হয়। তবে এটি দীর্ঘমেয়াদী নির্ভরতা মডেল করার কার্যকর উপায় নাও হতে পারে। যদিও, সিএনএনগুলি আরএনএনগুলির তুলনায় খুব দ্রুত।
অন্যদিকে, আরএনএনগুলি টাইমস্টেপগুলির ক্রম সংবেদনশীল এবং তাই অস্থায়ী নির্ভরতা খুব ভালভাবে মডেল করতে পারে। তবে তারা খুব দীর্ঘমেয়াদী নির্ভরতা মডেলিংয়ে দুর্বল বলে পরিচিত, যেখানে একটি টাইমস্টেপের ইনপুটটিতে টাইমস্টেপের সাথে সাময়িক নির্ভরতা থাকতে পারে। তদুপরি, টাইমস্টেপের সংখ্যা বেশি হলে এগুলি খুব ধীর হয়।

সুতরাং, সিএনএন এবং আরএনএনগুলিকে এইভাবে একত্রিত করার জন্য একটি কার্যকর উপায় হতে পারে: প্রথমে আমরা ইনপুটটির মাত্রিকতা হ্রাস করার জন্য কনভলিউশন এবং পুলিং স্তরগুলি ব্যবহার করি। এটি আমাদেরকে উচ্চ-স্তরের বৈশিষ্ট্য সহ মূল ইনপুটটির পরিবর্তে সংকুচিত উপস্থাপনা দেবে। তারপরে আমরা আরও প্রক্রিয়াকরণের জন্য আরএনএনগুলিকে এই সংক্ষিপ্ত 1D ক্রমটি খাওয়াতে পারি। সুতরাং আমরা একই সাথে আরএনএনগুলির প্রতিনিধিত্বমূলক দক্ষতার পাশাপাশি সিএনএনগুলির গতির সুযোগ গ্রহণ করছি। যদিও অন্য যে কোনও পদ্ধতির মতো আপনার কার্যকর ব্যবহারের কেস এবং ডেটাসেট এটি কার্যকর কিনা না তা খুঁজে বের করার জন্য এটি ব্যবহার করা উচিত।

এই পদ্ধতির মোটামুটি উদাহরণ এখানে দেওয়া হল:

--------------------------
-                        -
-   long 1D sequence     -
-                        -
--------------------------
            |
            |
            v
==========================
=                        =
=  Conv + Pooling layers =
=                        =
==========================
            |
            |
            v
---------------------------
-                         -
- Shorter representations -
-     (higher-level       -
-      CNN features)      -
-                         -
---------------------------
            |
            |
            v
===========================
=                         = 
=  (stack of) RNN layers  =
=                         =
===========================
            |
            |
            v
===============================
=                             =
= classifier, regressor, etc. =
=                             =
===============================

— আজ
সূত্র

4

এফডাব্লুআইডাব্লু, আমি এই কাগজ থেকে টেম্পোরাল কনভলিউশনাল নেটওয়ার্কটি পরীক্ষা করার পরামর্শ দেব (আমি লেখক নই)। সময়-সিরিজ ডেটার জন্য সিএনএন ব্যবহার করার জন্য তাদের একটি ঝরঝরে ধারণা রয়েছে, সময় আদেশের সাথে সংবেদনশীল এবং নির্বিচারে দীর্ঘ সিকোয়েন্সগুলি মডেল করতে পারে (তবে স্মৃতি নেই)।

— kampta
সূত্র