গভীর নেটওয়ার্ক কেন ব্যবহার করবেন?
আসুন প্রথমে খুব সাধারণ শ্রেণিবদ্ধকরণ কার্যটি সমাধান করার চেষ্টা করি। বলুন, আপনি একটি ওয়েব ফোরামকে মাঝারি করেন যা কখনও কখনও স্প্যাম বার্তাগুলি দিয়ে প্লাবিত হয়। এই বার্তাগুলি সহজেই সনাক্তযোগ্য - আপনি এমন ফিল্টার তৈরি করতে চান যা আপনাকে এই জাতীয় সন্দেহজনক বার্তাগুলি সম্পর্কে সতর্ক করবে। এটি বেশ সহজ হয়ে যায় - আপনি বৈশিষ্ট্যগুলির তালিকা (উদাহরণস্বরূপ সন্দেহজনক শব্দগুলির তালিকা এবং একটি ইউআরএলের উপস্থিতি) এবং সহজ লজিস্টিক রিগ্রেশন (ওরফে পারসেপ্ট্রন) প্রশিক্ষণ পান, যেমন মডেল:
g(w0 + w1*x1 + w2*x2 + ... + wnxn)
x1..xnআপনার বৈশিষ্ট্যগুলি কোথায় (নির্দিষ্ট শব্দ বা একটি ইউআরএল এর উপস্থিতি), w0..wn- সহগ শিখেছে এবং 0 এবং 1 এর মধ্যে ফলাফল তৈরি করার জন্য g()একটি লজিস্টিক ফাংশন এটি খুব সাধারণ শ্রেণিবদ্ধকারী, তবে এই সাধারণ কাজের জন্য এটি খুব ভাল ফলাফল দিতে পারে, তৈরি করে লিনিয়ার সিদ্ধান্তের সীমা ধরে নিই যে আপনি কেবল দুটি বৈশিষ্ট্য ব্যবহার করেছেন, এই সীমানাটি এর মতো দেখতে পারে:
এখানে 2 টি অক্ষর বৈশিষ্ট্য উপস্থাপন করে (উদাহরণস্বরূপ একটি বার্তায় নির্দিষ্ট শব্দের সংখ্যার সংখ্যা, শূন্যের কাছাকাছি স্বাভাবিককরণ), লাল পয়েন্টগুলি স্প্যাম এবং নীল পয়েন্টের জন্য থাকে - সাধারণ বার্তাগুলির জন্য, যখন কালো রেখা পৃথকীকরণ রেখা দেখায়।
তবে শীঘ্রই আপনি লক্ষ্য করতে পারেন যে কিছু ভাল বার্তায় "কিনুন" শব্দের প্রচুর উপস্থিতি রয়েছে তবে কোনও ইউআরএল বা পর্ন সনাক্তকরণের বিষয়ে প্রসারিত আলোচনা নয়, যা অশ্লীল চলচ্চিত্রগুলিতে পুনরায় উল্লেখ করা হয়নি। লিনিয়ার সিদ্ধান্তের সীমানা কেবল এই ধরনের পরিস্থিতি পরিচালনা করতে পারে না। পরিবর্তে আপনার এই জাতীয় কিছু প্রয়োজন:
এই নতুন অ-রৈখিক সিদ্ধান্তের সীমানা অনেক বেশি নমনীয় , অর্থাৎ এটি ডেটার সাথে আরও বেশি ফিট করতে পারে। এই অ-লৈখিকতা অর্জনের অনেকগুলি উপায় রয়েছে - আপনি বহুপদী বৈশিষ্ট্যগুলি (উদাহরণস্বরূপ x1^2) বা তাদের সংমিশ্রণ (উদাহরণস্বরূপ x1*x2) ব্যবহার করতে পারেন বা কার্নেল পদ্ধতির মতো উচ্চতর মাত্রায় তাদের প্রজেক্ট করতে পারেন । কিন্তু নিউরাল নেটওয়ার্কগুলিতে পার্সেপ্ট্রনগুলি মিশ্রন করে বা অন্য কথায় মাল্টিলেয়ার পারসেপ্ট্রন তৈরি করে এটি সমাধান করা সাধারণ common। এখানে অ-লিনিয়ারিটি স্তরগুলির মধ্যে লজিস্টিক ফাংশন থেকে আসে। যত বেশি স্তর, তত বেশি পরিশীলিত নিদর্শনগুলি এমএলপি দ্বারা আচ্ছাদিত হতে পারে। একক স্তর (পার্সপেট্রন) সাধারণ স্প্যাম সনাক্তকরণ পরিচালনা করতে পারে, ২-৩ স্তরযুক্ত নেটওয়ার্ক বৈশিষ্ট্যগুলির জটিল সংমিশ্রণগুলি ধরতে পারে এবং গুগলের মতো বৃহত গবেষণা ল্যাব এবং সংস্থাগুলি দ্বারা ব্যবহৃত 5-7 স্তরগুলির নেটওয়ার্কগুলি পুরো ভাষার মডেল বা বিড়াল সনাক্ত করতে পারে ইমেজ উপর।
এই আছে অপরিহার্য কারণ নেই গভীর আর্কিটেকচারের - তারা করতে পারেন আরো পরিশীলিত নিদর্শন মডেল ।
গভীর নেটওয়ার্কগুলি প্রশিক্ষণ কেন কঠিন?
শুধুমাত্র একটি বৈশিষ্ট্য এবং লিনিয়ার সিদ্ধান্তের সীমানা সহ এটিতে কেবল মাত্র দুটি প্রশিক্ষণের উদাহরণ রয়েছে - একটি ইতিবাচক এবং একটি নেতিবাচক। বেশ কয়েকটি বৈশিষ্ট্য এবং / অথবা অ-লিনিখারি সিদ্ধান্তের সীমানার সাথে আপনার সমস্ত সম্ভাব্য কেসগুলি আবরণ করার জন্য আপনার আরও কয়েকটি আদেশের আরও উদাহরণের প্রয়োজন (উদাহরণস্বরূপ আপনার কেবল উদাহরণগুলি খুঁজে পাওয়ার দরকার নেই word1, word2এবংword3 সমস্ত সম্ভাব্য সংমিশ্রণের সাথেও)। এবং বাস্তব জীবনে আপনাকে কয়েক হাজার এবং হাজার হাজার বৈশিষ্ট্য (উদাহরণস্বরূপ কোনও ভাষায় শব্দ বা কোনও চিত্রের পিক্সেল) এবং কমপক্ষে কয়েকটি স্তর রয়েছে যাতে পর্যাপ্ত অ-লৈখিক্য থাকতে পারে deal এই জাতীয় নেটওয়ার্কগুলিকে পুরোপুরি প্রশিক্ষণ দেওয়ার জন্য প্রয়োজনীয় একটি ডেটা সেট আকার, সহজেই 10 ^ 30 টির বেশি হয়ে যায়, ফলে পর্যাপ্ত পরিমাণে তথ্য পাওয়া একেবারেই অসম্ভব হয়ে পড়ে। অন্য কথায়, অনেকগুলি বৈশিষ্ট্য এবং অনেক স্তর সহ আমাদের সিদ্ধান্তের ক্রিয়াটি খুব নমনীয় হয়ে যায়অবিকল এটি শিখতে সক্ষম হতে ।
তবে এটি প্রায় শিখার উপায় রয়েছে । উদাহরণস্বরূপ, আমরা যদি সম্ভাব্য সেটিংসে কাজ করে থাকতাম তবে সমস্ত বৈশিষ্ট্যের সমস্ত সংমিশ্রণের ফ্রিকোয়েন্সি শিখার পরিবর্তে আমরা ধরে নিতে পারি যে তারা স্বাধীন এবং কেবলমাত্র একটি ব্যক্তিগত ফ্রিকোয়েন্সি শিখতে পারে, সম্পূর্ণ এবং নিরবচ্ছিন্ন বেয়েস শ্রেণিবদ্ধকে একটি নেভ বেইসে পরিণত করে এবং এর ফলে অনেক কিছু প্রয়োজন হয়, শেখার জন্য অনেক কম ডেটা।
নিউরাল নেটওয়ার্কগুলিতে সিদ্ধান্তের কার্যকারিতা জটিলতা (নমনীয়তা) হ্রাস করার জন্য বেশ কয়েকটি প্রচেষ্টা হয়েছিল। উদাহরণস্বরূপ, কনভ্যুশনাল নেটওয়ার্কগুলি, চিত্রের শ্রেণিবিন্যাসে ব্যাপকভাবে ব্যবহৃত হয়, নিকটস্থ পিক্সেলের মধ্যে কেবল স্থানীয় সংযোগগুলি ধরে নেয় এবং এভাবে ছোট "উইন্ডোজ" এর ভিতরে কেবল পিক্সেলের সংমিশ্রণগুলি শিখতে চেষ্টা করুন (বলুন, 16x16 পিক্সেল = 256 ইনপুট নিউরন) সম্পূর্ণ চিত্রের বিপরীতে (বলুন, 100x100 পিক্সেল = 10000 ইনপুট নিউরন)। অন্যান্য পদ্ধতির মধ্যে বৈশিষ্ট্য ইঞ্জিনিয়ারিং অন্তর্ভুক্ত রয়েছে, অর্থাৎ ইনপুট ডেটার নির্দিষ্ট, মানব-আবিষ্কারক বর্ণনাকারীদের সন্ধান করা।
ম্যানুয়ালি আবিষ্কার করা বৈশিষ্ট্যগুলি আসলে খুব আশাব্যঞ্জক। প্রাকৃতিক ভাষা প্রক্রিয়াকরণে, উদাহরণস্বরূপ, এটি কখনও কখনও বিশেষ অভিধান (যেমন স্প্যাম-নির্দিষ্ট শব্দযুক্ত রয়েছে) ব্যবহার করতে বা অবহেলা (যেমন " ভাল নয় ") ব্যবহার করতে সহায়ক। এবং কম্পিউটার ভিশনগুলিতে এসআরএফ বর্ণনাকারী বা হারের মতো বৈশিষ্ট্যগুলি প্রায় অপরিবর্তনীয় able
তবে ম্যানুয়াল ফিচার ইঞ্জিনিয়ারিংয়ের সমস্যাটি হ'ল ভাল বর্ণনাকারীর সাথে আক্ষরিক অর্থে কয়েক বছর সময় লাগে। তদতিরিক্ত, এই বৈশিষ্ট্যগুলি প্রায়শই সুনির্দিষ্ট হয়
নিরীক্ষণপূর্ব প্রশিক্ষণ
তবে দেখা যাচ্ছে যে আমরা স্বয়ংক্রিয় সংস্থাগুলি এবং সীমাবদ্ধ বল্টজম্যান মেশিনের মতো অ্যালগরিদম ব্যবহার করে ডেটা থেকে স্বয়ংক্রিয়ভাবে ভাল বৈশিষ্ট্যগুলি পেতে পারি । আমি আমার অন্যান্য উত্তরে সেগুলি বিশদভাবে বর্ণনা করেছি , তবে সংক্ষেপে তারা ইনপুট ডেটাতে বারবার নিদর্শনগুলি খুঁজে পেতে এবং এটিকে উচ্চ-স্তরের বৈশিষ্ট্যগুলিতে রূপান্তর করতে দেয়। উদাহরণস্বরূপ, কেবল ইনপুট হিসাবে সারি পিক্সেল মান দেওয়া, এই অ্যালগরিদমগুলি উচ্চতর পুরো প্রান্তগুলি সনাক্ত করতে এবং পাস করতে পারে, তারপরে এই প্রান্তগুলি থেকে চিত্রগুলি তৈরি করা হয় এবং ততক্ষণ আপনি মুখের বিভিন্নতার মতো সত্যিকারের উচ্চ-স্তরের বর্ণনাকারী না পাওয়া পর্যন্ত।
এ জাতীয় (নিরীক্ষণযোগ্য) প্রাক-প্রশিক্ষণ নেটওয়ার্ক সাধারণত এমএলপিতে রূপান্তরিত হয় এবং সাধারণ তদারকি প্রশিক্ষণের জন্য ব্যবহৃত হয়। দ্রষ্টব্য, যে প্রাক-প্রশিক্ষণ স্তর-ভিত্তিতে সম্পন্ন করা হয়। এটি অ্যালগরিদম শেখার জন্য সমাধানের স্থানটিকে উল্লেখযোগ্যভাবে হ্রাস করে (এবং এইভাবে প্রয়োজনীয় প্রশিক্ষণের উদাহরণগুলির সংখ্যা) কারণ এটি কেবল অন্যান্য স্তরগুলিকে বিবেচনা না করেই প্রতিটি স্তরের ভিতরে প্যারামিটারগুলি শিখতে হবে ।
এবং তার পরেও...
আনসপারভাইজড প্রিটারেইনিং এখানে বেশ কিছু সময়ের জন্য রয়েছে তবে সম্প্রতি অন্যান্য অ্যালগরিদমগুলি উভয়ই শেখার উন্নতি করতে দেখা গিয়েছিল - একসাথে প্রাকট্রেনিং এবং এটি ছাড়াও। এই জাতীয় অ্যালগরিদমের একটি উল্লেখযোগ্য উদাহরণ হ'ল ড্রপআউট - সহজ কৌশল, যা প্রশিক্ষণ চলাকালীন কিছু নিউরনকে এলোমেলোভাবে "ড্রপ আউট" করে, কিছুটা বিকৃতি সৃষ্টি করে এবং নীচের ডেটা নীচের নেটওয়ার্কগুলিকে প্রতিরোধ করে। এটি এখনও একটি উষ্ণ গবেষণার বিষয়, তাই আমি এটি পাঠকের কাছে ছেড়ে দিই।