আমি একটি 2010 ব্লগ পোস্টে ( সংরক্ষণাগার ..org) জেনারেটর অ্যাডভারসিয়াল নেটওয়ার্কগুলির (জিএএনএস) বিভিন্ন ধরণের ডিস্ট্রিমেন্টিক মূল ধারণাটি স্ব-প্রকাশ করেছি । আমি অনুসন্ধান করেছিলাম কিন্তু এর কোথাও সাদৃশ্যযুক্ত কিছু খুঁজে পেলাম না এবং এটিকে বাস্তবায়নের চেষ্টা করার মতো সময় আমার ছিল না। আমি ছিলাম না এবং এখনও আমি নিউরাল নেটওয়ার্ক গবেষক নই এবং এর ক্ষেত্রে আমার কোনও সংযোগ নেই। আমি ব্লগ পোস্টটি এখানে কপি-পেস্ট করব:
2010-02-24
ভেরিয়েবল প্রসঙ্গের মধ্যে অনুপস্থিত ডেটা তৈরি করতে কৃত্রিম নিউরাল নেটওয়ার্কগুলি প্রশিক্ষণের জন্য একটি পদ্ধতি । যেহেতু ধারণাটি একটি বাক্যে রাখা শক্ত, তাই আমি একটি উদাহরণ ব্যবহার করব:
একটি চিত্রের পিক্সেলগুলি অনুপস্থিত থাকতে পারে (ধরা যাক, ধূমপানের নীচে)। কেবলমাত্র আশেপাশের পিক্সেলগুলি জেনে কেউ কীভাবে অনুপস্থিত পিক্সেলগুলি পুনরুদ্ধার করতে পারে? একটি পদ্ধতির মধ্যে একটি "জেনারেটর" নিউরাল নেটওয়ার্ক হবে যা আশেপাশের পিক্সেলগুলিকে ইনপুট হিসাবে দেওয়া হয়, অনুপস্থিত পিক্সেল উত্পন্ন করে।
তবে এ জাতীয় নেটওয়ার্ক কীভাবে প্রশিক্ষণ দেওয়া যায়? নেটওয়ার্কটি অনুপস্থিত পিক্সেলগুলি তৈরি করতে পারে এমন কেউ আশা করতে পারে না। উদাহরণস্বরূপ, কল্পনা করুন যে অনুপস্থিত তথ্যগুলি ঘাসের একটি প্যাচ। অংশগুলিকে মুছে ফেলাতে কেউ লনের চিত্রের গুচ্ছ দিয়ে নেটওয়ার্কটি শেখাতে পারে। শিক্ষক যে ডেটাটি অনুপস্থিত রয়েছে তা জানেন এবং ঘাসের উত্পন্ন প্যাচ এবং মূল উপাত্তের মধ্যে মূল বলতে স্কোয়ার পার্থক্য (আরএমএসডি) অনুযায়ী স্কোর করতে পারেন। সমস্যাটি হ'ল জেনারেটর যদি এমন কোনও চিত্রের মুখোমুখি হয় যা প্রশিক্ষণ সংস্থার অংশ নয়, তবে নিউরাল নেটওয়ার্কের পক্ষে সমস্ত পাতা, বিশেষত প্যাচের মাঝখানে, ঠিক সঠিক জায়গায় স্থাপন করা অসম্ভব। নীচের আরএমএসডি ত্রুটিটি সম্ভবত প্যাচের মধ্যবর্তী অঞ্চলটিকে একটি শক্ত রঙ দিয়ে পূরণ করা হবে যা ঘাসের সাধারণ চিত্রগুলিতে পিক্সেলের রঙের গড়। নেটওয়ার্ক যদি এমন ঘাস উত্পন্ন করার চেষ্টা করে যা কোনও মানুষের কাছে বিশ্বাসযোগ্য মনে হয় এবং যেমন এর উদ্দেশ্য পূরণ করে তবে আরএমএসডি মেট্রিকের দ্বারা দুর্ভাগ্যজনক শাস্তি হবে।
আমার ধারণা এটি হ'ল (নীচের চিত্রটি দেখুন): জেনারেটরের সাথে একযোগে একটি শ্রেণিবদ্ধ নেটওয়ার্ক দেওয়া যা এলোমেলো বা পর্যায়ক্রমে ক্রমযুক্ত, উত্পন্ন এবং মূল ডেটা দেওয়া হয়। শ্রেণিবদ্ধটিকে তখন অনুমান করতে হবে, পার্শ্ববর্তী চিত্রের প্রসঙ্গে, ইনপুটটি মূল (1) বা উত্পন্ন (0) কিনা। জেনারেটর নেটওয়ার্ক একই সাথে শ্রেণিবদ্ধের কাছ থেকে উচ্চ স্কোর (1) পাওয়ার চেষ্টা করছে। ফলাফল, আশাবাদী, উভয় নেটওয়ার্কই সত্যই সহজ শুরু হয় এবং আরও এবং আরও উন্নত বৈশিষ্ট্যগুলি তৈরি এবং সনাক্তকরণের দিকে এগিয়ে যায় এবং সম্ভবত উত্পন্ন ডেটা এবং মূলটির মধ্যে পার্থক্য করার সম্ভাবনা এবং মানুষের দক্ষতা পরাস্ত করে। যদি প্রতিটি স্কোরের জন্য একাধিক প্রশিক্ষণের নমুনাগুলি বিবেচনা করা হয়, তবে আরএমএসডি হ'ল সঠিক ত্রুটি ব্যবহারের মেট্রিক,
কৃত্রিম নিউরাল নেটওয়ার্ক প্রশিক্ষণ সেটআপ
আমি যখন আরএমএসডি শেষে উল্লেখ করি তখন আমি পিক্সেল মানগুলি না করে "সম্ভাব্যতা অনুমান" এর জন্য ত্রুটি মেট্রিককে বোঝায়।
আমি মূলত 2000-এর মধ্যে কম্পিউটারের (কম.ডিসিপি পোস্ট) স্যাম্পলড (উচ্চতর নমুনা ফ্রিকোয়েন্সি পুনরায় আকারে ) ডিজিটাল অডিওর জন্য অনুপস্থিত উচ্চ ফ্রিকোয়েন্সিগুলি তৈরি করার জন্য স্নায়বিক নেটওয়ার্কগুলির ব্যবহার বিবেচনা করতে শুরু করেছি, যা সঠিকতার চেয়ে বিশ্বাসযোগ্য হবে। 2001 সালে আমি প্রশিক্ষণের জন্য একটি অডিও লাইব্রেরি সংগ্রহ করেছি। ২০ ই জানুয়ারী ২০০ # থেকে এখানে একটি ইএফনেট # মিউজিকডস্প ইন্টারনেট রিলে চ্যাট (আইআরসি) লগের অংশ রয়েছে যেখানে আমি (ইয়ার) অন্য একজন ব্যবহারকারী (_বেতা) এর সাথে এই ধারণা সম্পর্কে কথা বলছি:
[22:18] <yehar> স্যাম্পলগুলির সমস্যাটি হ'ল যদি ইতিমধ্যে আপনার "কিছু" উপরে না থাকে তবে যদি আপনি উপস্থাপন করেন তবে আপনি কী করতে পারেন ...
[22:22] <yehar> আমি একবার একটি বড় সংগ্রহ করেছি শব্দের গ্রন্থাগার যাতে আমি এই সঠিক সমস্যার সমাধান করতে একটি "স্মার্ট" আলগো বিকাশ করতে পারি
[22:22] <yehar> আমি নিউরাল নেটওয়ার্ক ব্যবহার করতে পারতাম
[22:22] <yehar> তবে আমি কাজটি শেষ করিনি: - ডি
[২২:২৩] <_ বিটা> নিউরাল নেটওয়ার্কগুলির সাথে সমস্যা হ'ল আপনার ফলাফলের সদ্ব্যবহার পরিমাপ করার কিছু উপায় থাকতে হবে
[22:24] <yehar> বিটা: আমার এই ধারণাটি রয়েছে যে আপনি এখানে "শ্রোতা" বিকাশ করতে পারবেন আপনি "স্মার্ট আপ-সেখানে শব্দ নির্মাতা" বিকাশ করার সাথে সাথে
[22:26] <yehar> বিটা: এবং এই শ্রোতা কখন এটি তৈরি বা কোনও প্রাকৃতিক আপ-স্পেকট্রাম শুনছে তা সনাক্ত করতে শিখবে। এবং নির্মাতা একই সাথে এই সনাক্তকরণটি অবরুদ্ধ করার চেষ্টা করার জন্য বিকাশ করে
২০০ and থেকে ২০১০ এর মধ্যে কোনও এক বন্ধু আমার বিশেষজ্ঞকে আমার ধারণাটি দেখতে এবং এটি আমার সাথে আলোচনা করার জন্য একজন বিশেষজ্ঞকে আমন্ত্রণ জানিয়েছিল। তারা ভেবেছিল এটি আকর্ষণীয়, তবে বলেছে যে একটি নেটওয়ার্ক যখন কাজ করতে পারে তখন দুটি নেটওয়ার্ক প্রশিক্ষণ দেওয়া ব্যয়বহুল ছিল না। আমি কখনই নিশ্চিত ছিলাম না যে তারা মূল ধারণাটি না পেয়েছে বা তারা যদি তাৎক্ষণিকভাবে টপোলজির কোথাও কোনও টোপলজিকে এটিকে দুটি অংশে বিভক্ত করার জন্য একটি একক নেটওয়ার্ক হিসাবে সূচিত করার উপায় দেখে। এটি এমন এক সময় ছিল যখন আমি জানতাম না যে ব্যাকপ্রোপেজেশন এখনও ডি-ফ্যাক্টো প্রশিক্ষণ পদ্ধতি ( 2015 সালের ডিপ ড্রিম ক্রেজে ভিডিও বানানো শিখেছে )। কয়েক বছর ধরে আমি কয়েকজন তথ্য বিজ্ঞানী এবং অন্যদের সাথে আমার ধারণা সম্পর্কে কথা বলেছিলাম যা আমি ভেবেছি আগ্রহী হতে পারে তবে প্রতিক্রিয়াটি ছিল হালকা।
মে 2017 সালে আমি ইয়ান গুডফেলির টিউটোরিয়াল উপস্থাপনাটি ইউটিউব [মিরর] এ দেখেছি , যা আমার দিনটিকে পুরোপুরি পরিণত করেছিল made আমার কাছে এটি একই বুনিয়াদী ধারণা হিসাবে উপস্থিত হয়েছিল, আমি বর্তমানে নীচে বর্ণিত মতামতগুলির সাথে মতভেদগুলির সাথে, এবং এটির ভাল ফলাফল দেওয়ার জন্য কঠোর পরিশ্রম করা হয়েছিল। এছাড়াও তিনি একটি তত্ত্ব দিয়েছিলেন, বা কেন এটি কাজ করা উচিত তার তত্ত্বের উপর ভিত্তি করে সমস্ত কিছু তৈরি করেছিলেন, যদিও আমি কখনই আমার ধারণার কোনও প্রথাগত বিশ্লেষণ করি নি। গুডফেলোর উপস্থাপনা আমার কাছে থাকা অনেক প্রশ্নের উত্তর দিয়েছে এবং আরও অনেক কিছু ছিল।
গুডফেলোর জিএএন এবং তার প্রস্তাবিত এক্সটেনশানগুলির মধ্যে জেনারেটরে একটি শব্দ উত্স অন্তর্ভুক্ত রয়েছে। আমি কোনও শব্দের উত্স অন্তর্ভুক্ত করার কথা ভাবি নি তবে পরিবর্তে প্রশিক্ষণের ডেটা প্রসঙ্গে, শব্দের ভ্যাক্টর ইনপুট ছাড়াই শর্তাধীন জিএন (সিজিএন) এর সাথে আইডিয়াটির একটি অংশে শর্তযুক্ত মডেলটির সাথে আইডিয়াটির চেয়ে ভাল মেলে । ম্যাথিউ এট আল এর উপর ভিত্তি করে আমার বর্তমান বোঝাপড়া । 2016 হ'ল প্রয়োজনীয় ফলাফলের জন্য কোনও শব্দ উত্সের দরকার নেই যদি পর্যাপ্ত ইনপুট পরিবর্তনশীলতা থাকে। অন্য পার্থক্যটি হ'ল গুডফেলোর জিএএন লগ-সম্ভাবনা হ্রাস করে। পরে, সর্বনিম্ন স্কোয়ার জিএএন (এলএসজিএএন) চালু করা হয়েছে ( মাও এট আল। 2017)) যা আমার আরএমএসডি পরামর্শের সাথে মেলে। সুতরাং, আমার ধারণাটি জেনারেটরে কোনও শয়েস ভেক্টর ইনপুট ছাড়াই এবং শর্তসাপেক্ষে ইনপুট হিসাবে উপাত্তের একটি অংশের সাথে শর্তযুক্ত সর্বনিম্ন স্কোয়ারস জেনারেটভ অ্যাডভারসিয়াল নেটওয়ার্ক (সিএলএসজিএএন) এর সাথে মেলে। একজন সৃজক তথ্য বিতরণের একটি পড়তা থেকে জেনারেটরের নমুনা। আমি এখন জানি এবং যদি সন্দেহ হয় যে বাস্তব-বিশ্বের শোরগোলের ইনপুটটি আমার ধারণা দিয়ে এটি সক্ষম করে তুলবে, তবে এটির অর্থ এই নয় যে ফলাফলগুলি কার্যকর না হলে এটি কার্যকর হবে না।
উপরোক্ত বর্ণিত পার্থক্যগুলি হ'ল কেন বিশ্বাস করি যে গুডফেলো আমার ধারণা সম্পর্কে জানেন না বা শোনেননি। আরেকটি হ'ল আমার ব্লগে অন্য কোনও মেশিন লার্নিং সামগ্রী নেই, তাই এটি মেশিন লার্নিং চেনাশোনাগুলিতে খুব সীমিত এক্সপোজার উপভোগ করতে পারত।
এটি কোনও স্বার্থের দ্বন্দ্ব যখন কোনও পর্যালোচক কোনও লেখকের উপর পর্যালোচনা করে নিজের পর্যায়ের পর্যালোচনা করার জন্য চাপ দেয় pressure