নিউরাল নেটওয়ার্ক প্রশিক্ষণের জন্য শ্রেণিবদ্ধ এবং অবিচ্ছিন্ন ইনপুট বৈশিষ্ট্যগুলিকে কীভাবে একত্রিত করবেন


16

ধরুন আমাদের কাছে দুটি ধরণের ইনপুট বৈশিষ্ট্য রয়েছে, শ্রেণিবদ্ধ এবং অবিচ্ছিন্ন। শ্রেণিবদ্ধ ডেটাগুলিকে ওয়ান-হট কোড এ হিসাবে উপস্থাপন করা যেতে পারে, যখন অবিচ্ছিন্ন ডেটা এন-ডাইমেনশন স্পেসে কেবল একটি ভেক্টর বি হয়। দেখে মনে হয় যে কেবল কনট্যাট (এ, বি) ব্যবহার করা ভাল পছন্দ নয় কারণ এ, বি সম্পূর্ণ ভিন্ন ধরণের ডেটা। উদাহরণস্বরূপ, বি এর বিপরীতে, এ-তে কোনও সংখ্যাসূচক অর্ডার নেই সুতরাং আমার প্রশ্নটি হল এই জাতীয় ধরণের ডেটা কীভাবে একত্রিত করা যায় বা সেগুলি পরিচালনা করার জন্য কোনও প্রচলিত পদ্ধতি আছে কি না।

প্রকৃতপক্ষে, আমি চিত্রায়িত হিসাবে একটি নিষ্পাপ কাঠামোর প্রস্তাব দিই

এখানে চিত্র বর্ণনা লিখুন

আপনি দেখতে পাচ্ছেন, প্রথম কয়েকটি স্তরগুলি অবিচ্ছিন্ন স্থানে ডেটা এ এর ​​কিছু মাঝারি আউটপুটে (বা মানচিত্র) পরিবর্তন করতে ব্যবহৃত হয় এবং এটি পরে ডে বি দিয়ে সমাহিত করা হয় যা পরবর্তী স্তরগুলির জন্য অবিচ্ছিন্ন স্থানে একটি নতুন ইনপুট বৈশিষ্ট্য তৈরি করে। আমি অবাক হই যে এটি যুক্তিসঙ্গত বা এটি কেবল একটি "ট্রায়াল এবং ত্রুটি" গেম। ধন্যবাদ.

উত্তর:


5

এটি সমাধানের জন্য তিনটি প্রধান পন্থা রয়েছে:

  1. পৃথকভাবে দুটি মডেল তৈরি করা এবং তারপরে একটি নকশাকৃত অ্যালগরিদম প্রশিক্ষণ দেওয়া যা দুটি মডেলের আউটপুট একটি ইনপুট হিসাবে গ্রহণ করে
  2. একটি ডেটা প্রিপ্রোসেসিং পদক্ষেপ হিসাবে একক ভেক্টর / টেনসারে সমস্ত ডেটা সংযোগ করা এবং তারপরে একটি সাধারণ একক ইনপুট এনএনকে প্রশিক্ষণ দেওয়া
  3. আপনার প্রস্তাবিত একাধিক ইনপুট এনএন আর্কিটেকচার

জমায়েত পদ্ধতিটি সর্বাধিক সোজা ফরোয়ার্ড বিকল্প এবং ফলস্বরূপ ভাল ফল দেবে, তবে, আপনি যে বিকল্পটি প্রস্তাব করেছিলেন সেটির পাশাপাশি এটি কার্যকর হবে না কারণ জড়িত নেটওয়ার্কটি কেবলমাত্র দুটি নেটওয়ার্কের কাছ থেকে একটি ইনপুট হিসাবে শ্রেণীর সম্ভাবনাগুলি গ্রহণ করে এবং আপনার তুলনায় আপনার ইচ্ছা অনুসারে পদ্ধতির তথ্য প্রকারের মধ্যে আরও জটিল সম্পর্ক মিস।

দ্বিতীয় পদ্ধতিটি তাত্ত্বিকভাবে আপনার প্রস্তাবিত পদ্ধতির চেয়ে আলাদা নয়, পার্থক্যের সাথে এটি ধরে নেওয়া হয় যে নেটওয়ার্কটি তার নিজস্ব চিত্র নির্ধারণ করবে যে ইনপুটটিতে দুটি ধরণের ডেটা থাকে (কারণ তারা উভয়ই একই ভেক্টর / টেনসারে থাকে )। এটি শিখতে নেটওয়ার্কটিকে অনেক প্রশিক্ষণের সময় লাগবে এবং এটি হওয়ার আগে আপনি কোনও স্থানীয় মিনিমাতে আটকে যেতে পারেন।

আমার ব্যক্তিগত অভিজ্ঞতার ভিত্তিতে, আপনার প্রস্তাবিত নেটওয়ার্কটি সর্বোত্তম বিকল্প এবং এটির পক্ষে সবচেয়ে কম ট্রেনের সময় লাগবে এবং আপনি যখন আর্কিটেকচারটি ডান পেয়ে যাবেন, তখন আপনাকে উত্পাদনের পাশাপাশি নেটওয়ার্কটিকে প্রশিক্ষণ এবং রক্ষণাবেক্ষণ (পুনরায় প্রশিক্ষণ) করতে খুব সহজ হবে will আপনাকে কেবলমাত্র একটি একক মডেল পুনরায় প্রশিক্ষণ করতে হবে।


0

যেমন @ তাদেজ মাগজনা ইতিমধ্যে বলেছেন যে এর বিভিন্ন সমাধান রয়েছে। কেরাসে তৃতীয় পদ্ধতির প্রয়োগ কীভাবে করা যায় সে সম্পর্কে আমি একটি পোস্ট যুক্ত করতে চাই:

(গভীর) নিউরাল নেটওয়ার্কগুলিতে সংখ্যা এবং পাঠ্য বৈশিষ্ট্যগুলির সংমিশ্রণ


0

আমি বেশ কিছুদিন ধরে আপনার প্রস্তাবিত নিষ্পাপ কাঠামোটি ব্যবহার করে আসছি। একটি ভাল ফ্রেমযুক্ত সমস্যায় এবং পর্যাপ্ত ডেটা সহ, এই ধরণের আর্কিটেকচারটি বেশ ভালভাবে কাজ করে। তবে আমি শিখেছি এমন কয়েকটি জিনিস এখানে রয়েছে:

  1. ট্রি ভিত্তিক অ্যালগরিদম (আরএফ, এক্সজিবি) সাধারণত মিক্সড ক্লাসগুলির সাথে ভাল সম্পাদন করে যদি না আপনার কিছু নির্দিষ্ট আউটপুট প্রয়োজনীয়তা বা ক্ষতির ফাংশন থাকে যা নিউরাল নেটওয়ার্কগুলির মাধ্যমে কার্যকর করা সহজ।
  2. যদি নিউরাল নেটওয়ার্ক ব্যবহারের সিদ্ধান্ত নেওয়া হয়, তবে এই আর্কিটেকচারটি স্ট্রিং-এনকোডিংয়ের অন্যান্য ধরণের তুলনায় আরও ভাল সম্পাদন করে।
  3. এই পদ্ধতির মিশ্র ইনপুট টাইম-সিরিজ ডেটার সাথেও কাজ করে - যে কোনও ধ্রুপদী সময় সিরিজের পদ্ধতির চেয়ে অনেক ভাল।

মূল নকশাটি সংমিশ্রণ স্তর হবে এবং আপনি কোথায় এটি আর্কিটেকচারে রাখতে চান। এছাড়াও এম্বেডিং স্তরগুলি ব্যবহার করা আপনাকে অন্য কিছু কার্য / ভিজ্যুয়ালাইজেশনে সেই শিখে থাকা এম্বেডিংগুলি ব্যবহার করার অতিরিক্ত সুবিধা দেয়।

এই ধরণের আর্কিটেকচার কেগল প্রতিযোগিতাগুলিতে ব্যবহৃত হয়েছে [1] এবং প্রফেসর জেরেমি হাওয়ার্ড [2] দ্বারা ফাস্ট.এই কোর্সেও শেখানো হয়।

  1. https://yashuseth.blog/2018/07/22/pytorch-neural-network-for-tabular-data-with-categorical-embeddings/
  2. https://www.fast.ai/2019/01/24/course-v3/
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.