ডিপ লার্নিং পদ্ধতির সমস্যা এবং বিকল্পগুলি?

Question

গত 50 বছর ধরে, নিউরাল নেটগুলির জনপ্রিয়তার উত্থান / পতন / বৃদ্ধি এআই গবেষণার জন্য 'ব্যারোমিটার' এর কিছু হিসাবে কাজ করেছে।

এই সাইটের প্রশ্নগুলি থেকে এটি স্পষ্ট যে লোকেরা বিভিন্ন জটিল সমস্যায় ডিপ লার্নিং (ডিএল) প্রয়োগ করতে আগ্রহী।

সুতরাং আমার দুটি প্রশ্ন আছে:

1. অনুশীলনকারীরা - আপনার সমস্যার জন্য 'আউট অফ বাক্স' ডিএল প্রয়োগ করার ক্ষেত্রে প্রধান বাধাগুলি কী বলে মনে করেন?
2. গবেষকরা - আপনি কোন কৌশল ব্যবহার করেন (বা বিকাশ করেছেন) যা ব্যবহারিক সমস্যাগুলিকে সমাধান করতে সহায়তা করতে পারে? এগুলি কি ডিএল-এর মধ্যে রয়েছে বা তারা বিকল্প পদ্ধতির প্রস্তাব দেয়?

Comments

আপনার দুটি প্রশ্ন থাকলে আপনার দুটি প্রশ্ন জিজ্ঞাসা করা উচিত।

— বিপাছেভ

এগুলি স্পষ্টভাবে আন্তঃসম্পর্কিত।

— নিটসেচানআইএআই

Answer 1

সংক্ষেপে বলতে গেলে প্রয়োগিত ডিপ লার্নিংয়ে দুটি বড় সমস্যা রয়েছে।

• প্রথম যে গণনামূলক, এটি সম্পূর্ণরূপে। সাধারণ সিপিইউর ডিপ লার্নিংয়ের সাথে এমনকি বেসিক গণনা / প্রশিক্ষণ সম্পাদনের জন্য প্রচুর সময় প্রয়োজন। জিপিইউগুলি এইভাবে সুপারিশ করা হয়, এমনকি তারা অনেক পরিস্থিতিতে পর্যাপ্ত নাও হতে পারে। সাধারণ গভীর শেখার মডেলগুলি বহুবর্ষে থাকার তাত্ত্বিক সময় সমর্থন করে না। তবে, যদি আমরা একই কাজের জন্য এমএলে তুলনামূলকভাবে সহজ মডেলগুলির দিকে নজর রাখি তবে খুব সহজেই আমাদের গাণিতিক গ্যারান্টি রয়েছে যে এই জাতীয় সহজ অ্যালগরিদমগুলির জন্য প্রশিক্ষণের সময়টি বহুবর্ষে রয়েছে। এটি আমার পক্ষে কমপক্ষে সম্ভবত সবচেয়ে বড় পার্থক্য।

  যদিও এই সমস্যাটির মোকাবিলার জন্য সমাধান রয়েছে। একটি প্রধান পদ্ধতির হ'ল ডিএল অ্যালগরিদমকে কেবলমাত্র বহু সংখ্যক পুনরাবৃত্তির জন্য অনুকূলকরণ করা (বাস্তবে বৈশ্বিক সমাধানগুলি দেখার পরিবর্তে কেবলমাত্র একটি ভাল স্থানীয় সমাধানের জন্য অ্যালগরিদমকে অনুকূলিতকরণ করা হয়, যেখানে "গুড" এর মানদণ্ডটি ব্যবহারকারী দ্বারা সংজ্ঞায়িত করা হয়)।

• আরও একটি সমস্যা যা তরুণ গভীর শিক্ষার উত্সাহীদের কাছে কিছুটা বিতর্কিত হতে পারে তা হ'ল ডিপ লার্নিং অ্যালগরিদমে তাত্ত্বিক বোঝা এবং যুক্তির অভাব রয়েছে lack ডিপ নিউরাল নেটওয়ার্কগুলি হ্যান্ড রাইটিং রিকগনিশন, ইমেজ প্রসেসিং, সেলফ ড্রাইভিং গাড়ি, সিগন্যাল প্রসেসিং, এনএলপি এবং বায়োমেডিকাল অ্যানালাইসিস সহ অনেক পরিস্থিতিতে সফলভাবে ব্যবহৃত হয়েছে। এর মধ্যে কয়েকটি ক্ষেত্রে তারা এমনকি মানুষকে ছাড়িয়ে গেছে। তবে, বলা হচ্ছে যে, তারা কোনও পরিস্থিতিতে নেই, তাত্ত্বিকভাবে বেশিরভাগ পরিসংখ্যানগত পদ্ধতির মতোই সাউন্ড।

  আমি বিশদে যাব না, বরং আমি এটি আপনার হাতে রেখে দিচ্ছি। প্রতিটি অ্যালগরিদম / পদ্ধতিগুলির জন্য উপকারিতা এবং বুদ্ধি রয়েছে এবং ডিএল এটি ব্যতিক্রম নয়। এটি অনেক দরকারী হিসাবে প্রমাণিত হয়েছে এবং প্রতিটি তরুণ ডেটা সায়েন্টিস্টকে অবশ্যই ডিএল-এর কমপক্ষে বেসিকগুলি শিখতে হবে। তবে তুলনামূলকভাবে সহজ সমস্যার ক্ষেত্রে বিখ্যাত পরিসংখ্যানগত পদ্ধতিগুলি ব্যবহার করা আরও ভাল কারণ তাদের সমর্থন করার মতো অনেক তাত্ত্বিক ফলাফল / গ্যারান্টি রয়েছে। তদতিরিক্ত, শেখার দৃষ্টিকোণ থেকে, সহজ পদ্ধতির সাথে শুরু করা এবং সেগুলি প্রথমে আয়ত্ত করা ভাল always

Comments

'বহুবর্ষে' বলতে আপনার বোঝানো হয়েছে 'বহুপাক্ষিক সময়ে', তাই না? আপনি কি সমর্থন করার জন্য একটি রেফারেন্স পেয়েছেন?

— নিটসেচানআইএআই

হ্যাঁ, এটাই আমার অর্থ। অবশ্যই, এটি অনেক পরিস্থিতিতে প্রমাণিত হতে পারে ... আমি সহজতম উদাহরণ দিয়ে শুরু করব, কেবলমাত্র তিনটি নোডের সাথে একটি নেটওয়ার্ক প্রশিক্ষণ, এবং দুটি স্তর হ'ল এখানে দেখানো হিসাবে এনপি-কমপ্লিট সমস্যা। ( Citeseerx.ist.psu)। ইডু / ভিউডোক /… )। মনে রাখবেন যে এই কাগজটি খুব পুরানো, এবং এখন আমাদের কিছু অনুমানের সাথে অনুশীলনে কীভাবে উন্নতি করা যায় সে সম্পর্কে আরও ধারণা রয়েছে, তবে তাত্ত্বিকভাবে, কোনও উন্নত ফলাফল নেই।

— সিবিঘাট উল্লাহ

একই ইস্যুতে অন্যান্য দুর্দান্ত নিবন্ধ, যা অনুশীলনে প্রশিক্ষণের সময় উন্নত করার জন্য কিছু কৌশল বর্ণনা করে। ( pdfs.semanticscholar.org/9499/… )

— সিবঘাট উল্লাহ

যাক, আমরা কোনও কিছুর দামের পূর্বাভাস দিতে চাই। কমপক্ষে স্কয়ার ফিটের সাথে সাদামাটা লিনিয়ার রিগ্রেশন পলিনোমিয়াল সময় ধারণ করবে, যেখানে নিউরাল নেটওয়ার্কগুলির সাথে একই সমস্যাটি সমাধান করা (এমনকি এর মধ্যে সহজতম) এনপি সম্পূর্ণ সমস্যার ফলস্বরূপ। এটি একটি খুব বড় পার্থক্য। শেষ পর্যন্ত, আপনাকে কোনও নির্দিষ্ট কাজের জন্য সাবধানতার সাথে একটি অ্যালগরিদম নির্বাচন করতে হবে। উদাহরণস্বরূপ, ন্যূনতম স্কয়ার ফিটের নির্দিষ্ট অনুমান রয়েছে, যার মধ্যে রয়েছে, "আদর্শ কার্য যা আলগোরিদম শিখছে, বৈশিষ্ট্যের রৈখিক সংমিশ্রণ হিসাবে শিখতে পারে"। যদি এই অনুমানটি বৈধ না হয়, তবে ফলাফলগুলি প্রাপ্ত হয়।

— সিবাঘাট উল্লাহ

অবশ্যই, কেবলমাত্র কোনও সমস্যার জন্য (এই ক্ষেত্রে, সর্বোত্তম ওজনগুলি সন্ধান করা) এনপি-সম্পূর্ণরূপে নিজেকে বোঝায় না যে ভাল ওজনগুলি খুঁজে পাওয়ার জন্য কার্যকর ব্যবহারিক পদ্ধতি নেই ...

— নিটস্কেয়ানএআইআই

Answer 2

নিজেকে এমপি / ডিএল-এর সাথে নিজেকে প্র্যাকটিশনার বলে ডাকার অভিজ্ঞতা আমার খুব কম, তবে 1 ম প্রশ্নের আমার উত্তর এখানে:

এর মূল দিকে ডিএল শ্রেণিবদ্ধকরণের কাজটি ভালভাবে সমাধান করে। শ্রেণিবিন্যাসের ক্ষেত্রে প্রতিটি ব্যবহারিক সমস্যা পুনরায় করা যায় না। শ্রেণিবদ্ধকরণ ডোমেনটি সামনে জানা দরকার। যদিও শ্রেণিবিন্যাসটি যে কোনও ধরণের ডেটাতে প্রয়োগ করা যেতে পারে, এনএন এটি নির্দিষ্ট ডোমেনের নমুনা সহ প্রশিক্ষণ দেওয়া প্রয়োজন যেখানে এটি প্রয়োগ করা হবে। একই মডেলটি (এনএন কাঠামো) রাখার সময় যদি ডোমেনটি কোনও পর্যায়ে পরিবর্তন করা হয়, তবে এটি নতুন নমুনাগুলি দিয়ে পুনরায় প্রশিক্ষণ করতে হবে। তদ্ব্যতীত, এমনকি সেরা শ্রেণিবদ্ধীদের "ফাঁক" রয়েছে - প্রশিক্ষণ নমুনা থেকে অ্যাডভারসিয়াল উদাহরণগুলি সহজেই তৈরি করা যেতে পারে, যেমন পরিবর্তনগুলি মানুষের কাছে দুর্ভেদ্য, তবে প্রশিক্ষিত মডেল দ্বারা ভুল শ্রেণিবদ্ধ হয়।

Comments

'শ্রেণিবিন্যাস' কে 'রিগ্রেশন' এর একটি বিশেষ কেস হিসাবে বিবেচনা করা যেতে পারে, এটি সম্ভবত ডিএল এর একটি আরও ভাল বৈশিষ্ট্য।

— নিটসেচানইআইআই

Answer 3

প্রশ্ন ২. হাইপার ডাইমেনশনাল কম্পিউটিং ডিপ লার্নিংয়ের বিকল্প কিনা তা নিয়ে আমি গবেষণা করছি। হাইপার-ডি তথ্য এনকোড করতে খুব দীর্ঘ বিট ভেক্টর (10,000 বিট) ব্যবহার করে। ভেক্টরগুলি এলোমেলো এবং এগুলি প্রায় অর্থেগোনাল। এই জাতীয় ভেক্টরগুলির সংগ্রহকে গোষ্ঠীভুক্ত করে গড়ে গড়ে একটি "সেট" গঠন করা যেতে পারে এবং পরে কোনও অজানা ভেক্টর সেটের সাথে সম্পর্কিত কিনা তা অনুসন্ধান করা যায়। সেটটি একটি ধারণা বা সাধারণীকরণের চিত্র হিসাবে বিবেচনা করা যেতে পারে, ইত্যাদি। প্রশিক্ষণটি স্বীকৃতি হিসাবে খুব দ্রুত। ডিপ লার্নিং সফল হয়েছে এমন ডোমেনগুলি অনুকরণ করে যা করা দরকার তা হায়পার-ডি এর সাথে তুলনা করুন।

Comments

মজাদার. সুতরাং এটি কীভাবে কানার্ভার 'স্পার্স ডিস্ট্রিবিউটড মেমোরি' থেকে আলাদা?

— নিটসেচানআইএআই

দুটিই পেন্টি কানার্ভা দ্বারা বিকাশিত। পার্থক্যটি দেখতে হাইপার ডাইমেনশনাল কম্পিউটিং দেখুন। এখানে উত্তর দিতে খুব দীর্ঘ।

— ডগলাস জি ড্যানফোর্থ

Answer 4

গণিতের দৃষ্টিকোণ থেকে বেশ কয়েকটি স্তর সহ গভীর নেটওয়ার্কগুলির অন্যতম প্রধান সমস্যাটি অদৃশ্য বা অস্থির গ্রেডিয়েন্ট হয় । প্রতিটি অতিরিক্ত লুকানো স্তর উল্লেখযোগ্যভাবে ধীর গতিতে শেখে, অতিরিক্ত স্তরের সুবিধা প্রায় বাতিল করে দেয়।

আধুনিক গভীর শেখার পদ্ধতিগুলি এই আচরণকে উন্নত করতে পারে, তবে সাধারণ, পুরানো ধাঁচের নিউরাল নেটওয়ার্কগুলিতে এটি একটি সুপরিচিত সমস্যা। গভীর অধ্যয়নের জন্য আপনি এখানে একটি লিখিত বিশ্লেষণ খুঁজে পেতে পারেন ।