ডায়নামিকভাবে এনএন আর্কিটেকচার সামঞ্জস্য: অপ্রয়োজনীয় আবিষ্কার?


9

আমি আমার পিএইচডি যাত্রা শুরু করছি, এবং আমার আগে যে চূড়ান্ত লক্ষ্যটি স্থির করেছি তা হ'ল এএনএনগুলি বিকাশ করা যা তারা যে পরিবেশে কাজ করে তা নিরীক্ষণ করবে এবং গতিশীলভাবে সমস্যাটির সাথে তাদের আর্কিটেকচারকে সামঞ্জস্য করবে। সুস্পষ্ট প্রভাবটি হ'ল ডেটাগুলির সাময়িকতা: যদি ডেটা সেটটি ধারাবাহিক না হয় এবং সময়ের সাথে পরিবর্তিত হয় না তবে কেন একেবারেই সামঞ্জস্য করুন?

বড় প্রশ্ন হ'ল গভীর শিক্ষার সাম্প্রতিক উত্থানের সাথে, এটি কি এখনও কোনও প্রাসঙ্গিক বিষয়? এফএফএনএনগুলি কি ধারণা ড্রিফট সমস্যার ক্ষেত্রে নিজেকে একটি কুলুঙ্গি খুঁজে পাওয়ার সুযোগ করে দেয়?

আমি অনেকগুলি প্রশ্ন দিয়ে থ্রেডকে ওভারলোড করার আশঙ্কা করি, তবে এটি পুরোপুরি অফ-টপিক নয়: আমি আরএনএন সম্পর্কে সচেতন, তবে তাদের সাথে আমার সীমাবদ্ধ (ঠিক আছে, কিছুই নয়, বা সম্পূর্ণ তাত্ত্বিক) অভিজ্ঞতা রয়েছে; আমি বিশ্বাস করি গতিশীল আর্কিটেকচার অভিযোজন অবশ্যই আরএনএনগুলির প্রসঙ্গে একটি প্রাসঙ্গিক বিষয় হতে পারে। প্রশ্নটি হচ্ছে, এরই মধ্যে ইতিমধ্যে উত্তর দেওয়া হয়েছে, এবং আমি চক্রটি পুনরায় উদ্ভাবন করব?

পিএস ক্রস পোস্ট মেটাওপটিমাইজ এ


আপনি যখন "তাদের আর্কিটেকচারটি সামঞ্জস্য করুন" বলছেন তখন আপনার অর্থ কি প্যারামিটারগুলি (ওজন, বায়াসেস) বা নেটওয়ার্কের আসল কাঠামো আপডেট করা (লুকানো নোডস, অ্যাক্টিভেশন ফাংশন, সংযোগ ইত্যাদি)? এছাড়াও, অনেক গভীর শেখার অ্যাপ্লিকেশনগুলিতে শেষ ফলাফলটি হ'ল একটি ফিড ফরোয়ার্ড নিউরাল নেটওয়ার্ক some
অল্টো

@ অল্টো, আমি প্রকৃত এনএন কাঠামোর উল্লেখ করছি - লুকানো ইউনিটগুলির সংখ্যা এবং (সম্ভবত) স্তরগুলি - আমি নিশ্চিত যে এটি জটিলতার বিভিন্ন স্তরে প্রয়োগ করা যেতে পারে। আমি মনে করি যে আমি কোথাও পেতে চাইলে গভীর পড়াশোনা শুরু করতে হবে।
আন্না-

@ আনা-আর্ওয়েন আকর্ষণীয় পিএইচডি বিষয়, কীভাবে চলছে, কোনও প্রকাশনা এখনও?
ডিকরান মার্সুপিয়াল

1
@ ডিকরান মার্সুপিয়াল, পিএসও উচ্চ মাত্রিক এনএনগুলিকে কীভাবে এবং কেন প্রশিক্ষণ দিতে ব্যর্থ হয় সে সম্পর্কে কথা বলতে আমি শীঘ্রই আইজেসিএনএন ২০১৪ তে যাব। সুতরাং উত্তর হ্যাঁ এবং জেনে রাখুন: আমি মূল গবেষণা ভেক্টর থেকে একটি বড় পথ ঘুরেছিলাম, এবং আমি অবাক হয়েছি আমি এখনও স্থায়ী স্থপতিগুলিতে ফিরে আসব কিনা if কেবল সময় এবং অভিজ্ঞতা অভিজ্ঞতা বলবে!
আন্না-

আমি কার্যপ্রণালীতে এটি সন্ধান করবো - কেন জিনিসগুলি কাজ করে না তা বিজ্ঞানের জন্য বিজ্ঞানের আরও কিছু প্রয়োজন (এবং দৃ emp় অভিজ্ঞতা অভিজ্ঞতা) studies
ডিকরান মার্শুপিয়াল

উত্তর:


6

ক্যাসকেড-কোরিলেশন নিউরাল নেটওয়ার্কগুলি প্রশিক্ষণ প্রক্রিয়া চলাকালীন লুকানো নোড যুক্ত করে তাদের কাঠামো সামঞ্জস্য করে, তাই এটি শুরু করার জায়গা হতে পারে। আমি দেখেছি বেশিরভাগ অন্যান্য কাজ যা স্বয়ংক্রিয়ভাবে একটি নিউরাল নেটওয়ার্কের স্তরগুলির সংখ্যা, লুকানো নোডের সংখ্যা ইত্যাদি বিবর্তনীয় অ্যালগরিদমগুলি স্বয়ংক্রিয়ভাবে সামঞ্জস্য করে।

দুর্ভাগ্যক্রমে, এই কাজটি আমার ক্ষেত্রের বাইরে, সুতরাং আপনাকে শুরু করতে সহায়তা করার জন্য আমি কোনও নির্দিষ্ট কাগজপত্র বা রেফারেন্সের সুপারিশ করতে পারি না। আমি আপনাকে বলতে পারি যে আমি এমন কোনও কাজ দেখিনি যা গভীরভাবে শেখার সম্প্রদায়ের মধ্যে একই সাথে নেটওয়ার্ক কাঠামো এবং পরামিতিগুলিকে একযোগে অপ্টিমাইজ করার চেষ্টা করে। প্রকৃতপক্ষে, বেশিরভাগ গভীর শেখার আর্কিটেকচারগুলি লোভনীয়ভাবে এক সময় একক স্তর শিখার উপর ভিত্তি করে তৈরি করা হয়, এইভাবে গভীর স্নায়বিক নেটওয়ার্কগুলি এমনকি অনলাইনে শেখার পরিবর্তে একটি স্পর্শকাতর অঞ্চল তৈরি করেছে (হেসিয়ান ফ্রি অপ্টিমাইজেশনে মার্টেনস এট আল এর কাজ একটি উল্লেখযোগ্য ব্যতিক্রম)।


অনেক অনেক ধন্যবাদ, আপনি ইতিমধ্যে আমাকে সোনার জন্য খনন শুরু করার জন্য পর্যাপ্ত তথ্য দিয়েছিলেন। :)
আন্না-

2

গঠনমূলক নিউরাল নেটওয়ার্কগুলিতে উপন্যাসের পদ্ধতির বিকাশের বিবেচনা করার আরেকটি কারণ (যেমন সিসি অ্যালগরিদম @ অল্টো উল্লিখিত) পরিসংখ্যানের বাইরের অ্যাপ্লিকেশনগুলিতে । বিশেষত, তাত্ত্বিক স্নায়ুবিজ্ঞান এবং জ্ঞানীয় বিজ্ঞানে, গঠনমূলক স্নায়ুবিক নেটওয়ার্কগুলি প্রায়শই বিকাশ এবং নিউরোজেনসিসের রূপক মিলের কারণে ব্যবহৃত হয়। এর জন্য ক্যাসকেড-পারস্পরিক সম্পর্কের ভারী ব্যবহারের উদাহরণের জন্য, টমাস আর শাল্টজের প্রকাশনাগুলি একবার দেখুন । দুর্ভাগ্যক্রমে, ক্যাসকেড সম্পর্কিত সম্পর্কটি জৈবিক অবাস্তব এবং আপনার যদি স্নায়ুবিজ্ঞানের বাঁক থাকে তবে কীভাবে সামঞ্জস্যযোগ্য আর্কিটেকচার সহ নতুন এনএনগুলি উন্নয়নের এবং / বা নিউরোজেনসিসের আরও ভাল মডেল হিসাবে ব্যবহার করা যেতে পারে তা বিবেচনা করা উচিত।


1
ধন্যবাদ, আর্টেম! আসলে, আমি অন্য যে কোনও কিছুর চেয়ে খাঁটি কম্পিউটার বিজ্ঞানী, এইভাবে আমার নিউরো- এবং গর্ভধারণ সংক্রান্ত বিজ্ঞানের জ্ঞান খুব কমই কম। যদিও উত্তেজনাপূর্ণ শোনায়, এবং যেহেতু সমস্ত রাস্তাগুলি এখনও খোলা রয়েছে, আমি এটিও অন্তর্ভুক্ত করতে পারি - কমপক্ষে কিছুটা হলেও। এই মুহূর্তে আমি রিয়েল-লাইফ ইঞ্জিনিয়ারিং এবং ডেটা বিশ্লেষণ সমস্যার জন্য অ্যাপ্লিকেশনগুলিতে বিশেষভাবে আগ্রহী যা বেঞ্চমার্কিংয়ের জন্য কাজ করতে পারে।
আন্না-অর্ভেন
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.