জিএএন লোকসানের কার্যকারিতা বোঝা


17

জেনারেটাল অ্যাডভারসিয়াল নেটওয়ার্কগুলি বোঝার জন্য প্রদত্ত জিএএন লোকসান ফাংশনটি বোঝার জন্য আমি লড়াই করে যাচ্ছি (ড্যানিয়েল সেটা রচিত একটি ব্লগ পোস্ট)।

স্ট্যান্ডার্ড ক্রস-এন্ট্রপি ক্ষতিতে, আমাদের একটি আউটপুট রয়েছে যা সিগময়েড ফাংশন এবং ফলস্বরূপ বাইনারি শ্রেণিবদ্ধকরণের মধ্য দিয়ে চলে।

সিয়াটা বলে

সুতরাং, [প্রতিটি] ডেটা পয়েন্ট x1 এবং এর লেবেলের জন্য, আমরা নিম্নলিখিত ক্ষতি ফাংশনটি পাই ...

H((x1,y1),D)=y1logD(x1)(1y1)log(1D(x1))

এটি কেবল প্রত্যাশার লগ, যা উপলব্ধি করে, তবে জ্যান ক্ষতি ক্ষতিতে আমরা কীভাবে একই বিতরণে জেনারেটাল মডেল থেকে সত্য বিতরণ এবং ডেটা প্রক্রিয়া করতে পারি?

উত্তর:


6

এই প্রশ্নের ফোকাস

"কীভাবে ... আমরা একই বিতরণে প্রকৃত বিতরণ এবং জেনারেটাল মডেল থেকে ডেটা প্রক্রিয়া করতে পারি?

ফাউন্ডেশনাল পাবলিকেশন বিশ্লেষণ

উল্লেখযোগ্য পৃষ্ঠায়, জেনারেটাল অ্যাডভারসিয়াল নেটওয়ার্কগুলি ( ২০১ () বোঝা , ডক্টরাল প্রার্থী ড্যানিয়েল সিটি সঠিকভাবে জেনারেটাল অ্যাডভারসিয়াল নেটওয়ার্কগুলি, গুডফেলো, পাউজেট -আবাদি, মির্জা, জু, ওয়ার্ডে-ফারলে, ওজায়ার, করভিল এবং বেঞ্জিও, জুন ২০১৪ উল্লেখ করেছেন । এটি বিমূর্তে বলা হয়েছে, "আমরা একটি বিবর্তনমূলক প্রক্রিয়ার মাধ্যমে জেনেরেটরি মডেলগুলি অনুমান করার জন্য একটি নতুন কাঠামো প্রস্তাব করি, যেখানে আমরা একই সাথে দুটি মডেলকে প্রশিক্ষণ দিই ..." এই মূল কাগজটি দুটি মডেলকে এমএলপি (মাল্টিলেয়ার পারসেপ্ট্রন) হিসাবে সংজ্ঞায়িত করে।

  • জেনারেটরি মডেল, জি
  • বৈষম্যমূলক মডেল, ডি

এই দুটি মডেল এমনভাবে নিয়ন্ত্রণ করা হয় যেখানে একজন অন্যের দিকে এক ধরণের নেতিবাচক প্রতিক্রিয়া সরবরাহ করে, তাই শব্দটি বিবর্তনবাদী।

  • ডি ডি বোকা হিসাবে যথেষ্ট উদাহরণের একটি সেট ডেটা বিতরণ ক্যাপচার প্রশিক্ষণপ্রাপ্ত।
  • ডি এর ইনপুটটি জি এর মক বা জ্যান সিস্টেমের জন্য উদাহরণগুলির সেট কিনা তা আবিষ্কার করতে প্রশিক্ষিত হয়।

(জিএন সিস্টেমের জন্য উদাহরণগুলির সেটকে কখনও কখনও আসল নমুনা হিসাবে উল্লেখ করা হয় তবে উত্পন্ন উত্সগুলির তুলনায় এগুলি আর বাস্তব হতে পারে না Both উভয়ই কম্পিউটারে সংখ্যাসূচক অ্যারে, একটি অভ্যন্তরীণ উত্স সহ একটি সেট এবং অন্যটি বাহ্যিক সহ উত্স। কিছু শারীরিক দৃশ্যে নির্দেশিত ক্যামেরা থেকে বাহ্যিকগুলি কিনা তা GAN অপারেশনের সাথে প্রাসঙ্গিক নয়))

সম্ভাবনাময়ভাবে, ডি বোকা বানাতে সম্ভাবনা সর্বাধিক প্রতিশব্দ হয় যে ডি যতগুলি মিথ্যা ধনাত্মক এবং মিথ্যা নেতিবাচকতা উত্পন্ন করবে যতই এটি সঠিক শ্রেণিবদ্ধকরণগুলি করে, প্রতিটি 50%। তথ্য বিজ্ঞানের ক্ষেত্রে, এটি বলা যায় যে জি ডি এর তথ্যের সীমাটি 0 এর কাছাকাছি পৌঁছেছে কেননা অসীমের কাছে যায়। এটি ডি এর দৃষ্টিকোণ থেকে জি এর এনট্রাপি সর্বাধিক করার প্রক্রিয়া, এইভাবে ক্রস-এনট্রপি শব্দটি।

কনভারজেন্স কীভাবে সম্পন্ন হয়

কারণ প্রশ্নে সিয়েটার 2017 লিখন থেকে পুনরুত্পাদন করা ক্ষতির ফাংশনটি ডি প্রদত্ত, কোনও নির্দিষ্ট প্রশিক্ষণ রাষ্ট্রের জন্য সম্পূর্ণ বিন্দুতে পুরো পয়েন্ট প্রয়োগ করার সময় দুটি বিতরণের মধ্যে ক্রস এনট্রপি (বা পারস্পরিক সম্পর্ক) হ্রাস করার জন্য নকশাকৃত।

এইচ((এক্স1,Y1),ডি)=1ডি(এক্স1)

ক্রসের এনট্রাপি সর্বাধিক করার জন্য ডিজাইন করা জি এর জন্য একটি পৃথক লোকসানের কার্যকারিতা রয়েছে। লক্ষ করুন যে সিস্টেমে TWO স্তর প্রশিক্ষণের গ্রানুলারিলিটি রয়েছে।

  • গেমটি দুই খেলোয়াড়ের খেলায় চলে moves
  • প্রশিক্ষণ নমুনা যে

এগুলি নীচে বাইরের পুনরাবৃত্তির সাথে নেস্টেড পুনরাবৃত্তি উত্পাদন করে।

  • জি এর ক্ষতির কার্যকারিতা ব্যবহার করে জি প্রশিক্ষণ নেওয়া ce
  • মকের ইনপুট প্যাটার্নগুলি তার বর্তমান প্রশিক্ষণের অবস্থায় জি থেকে উত্পন্ন হয়।
  • ডি এর ক্ষতির কার্যকারিতা ব্যবহার করে ডি প্রশিক্ষণ ce
  • যদি ক্রস এনট্রপি এখনও পর্যাপ্ত পরিমাণে বাড়ানো না হয় তবে পুনরাবৃত্তি করুন, ডি এখনও বৈষম্য করতে পারে।

ডি অবশেষে খেলাটি হেরে গেলে, আমরা আমাদের লক্ষ্য অর্জন করেছি।

  • জি প্রশিক্ষণ তথ্য বিতরণ পুনরুদ্ধার
  • ডিটিকে অকার্যকর করে তোলা হয়েছে ("সর্বত্র 1/2 সম্ভাবনা")

সমকালীন প্রশিক্ষণ কেন প্রয়োজনীয়

যদি দু'টি মডেলকে সামনের নকল করার জন্য পিছনে পিছনে প্রশিক্ষণ না দেওয়া হয়, তবে অ্যাডভারসিয়াল প্লেনে (বাহ্যিক পুনরাবৃত্তি) 2014 সালের কাগজে দাবি করা অনন্য সমাধানের ক্ষেত্রে রূপান্তর ঘটবে না।

অধিক তথ্য

প্রশ্নের বাইরে, সিয়েটার কাগজে আগ্রহের পরবর্তী আইটেমটি হ'ল, "জেনারেটরের ক্ষতির কার্যকারিতাটির খারাপ নকশা," বংশদ্ভুত দিকনির্দেশের জন্য পর্যাপ্ত গ্রেডিয়েন্ট মানগুলিতে নেতৃত্ব দিতে পারে এবং যা কখনও কখনও স্যাচুরেশন নামে পরিচিত তাকে উত্পাদন করতে পারে। স্যাচুরেশন হ'ল ফিডব্যাক সিগন্যালের হ্রাস যা পিছনে বংশবৃদ্ধিতে বংশোদ্ভূত ভাসমান পয়েন্ট গোলাকর্ষণ থেকে উদ্ভূত বিশৃঙ্খলা শব্দে নেতৃত্ব দেয়। শব্দটি সংকেত তত্ত্ব থেকে এসেছে।

আমি গুডফেলো এট আলিয়া (পাকা গবেষকরা) এর 2014 সালের কাগজটি 2017 পৃষ্ঠার চেয়ে জিএন প্রযুক্তি সম্পর্কে জানতে অধ্যয়ন করার পরামর্শ দিচ্ছি ।


3

শুরুতে শুরু করা যাক। জিএএনএস এমন মডেল যা আমরা তাদের যে ডেটা দিয়ে থাকি তার অনুরূপ ডেটা তৈরি করতে শিখতে পারে।

জ্যান ছাড়া অন্য কোনও জেনারেটাল মডেলকে প্রশিক্ষণ দেওয়ার সময়, সবচেয়ে সহজ ক্ষতির কাজটি সম্ভবত মাইন স্কোয়ার্ড ত্রুটি (এমএসই) হয়।

দয়া করে আমাকে আপনাকে একটি উদাহরণ দেওয়ার অনুমতি দিন ( ট্রিকট এল 2017 ):

এখন ধরুন আপনি বিড়াল তৈরি করতে চান; আপনি ফটোতে নির্দিষ্ট বিড়ালের মডেল উদাহরণগুলি দিতে পারেন। আপনার ক্ষতির ফাংশনটি বেছে নেওয়ার অর্থ হল আপনার শাস্ত্রের শাস্তি এড়াতে আপনার মডেলটিকে প্রতিটি বিড়ালকে পুনরুত্পাদন করতে হবে।

তবে আমরা যা চাই তা অবশ্যই হয় না! আপনি কেবল চান যে আপনার মডেল বিড়াল তৈরি করতে পারে, যে কোনও বিড়াল যতক্ষণ না এটি একটি গ্রহণযোগ্য বিড়াল হিসাবে করবে do সুতরাং, আপনার আপনার ক্ষতির কার্যকারিতা পরিবর্তন করতে হবে।

তবে কোন ফাংশন কংক্রিট পিক্সেল উপেক্ষা করে কোনও ফটোতে বিড়াল সনাক্ত করতে ফোকাস করতে পারে?

এটি একটি নিউরাল নেটওয়ার্ক। এটি জিএএন-তে বৈষম্যমূলক ভূমিকা the বৈষম্যমূলক কাজটি কোনও চিত্রের প্রশংসনীয় কী তা মূল্যায়ন করা।

আপনি যে কাগজটি উদ্ধৃত করেছেন, জেনারেটিভ অ্যাডভারসিয়াল নেটওয়ার্কগুলি বোঝা (ড্যানিয়েল এস 2017) দুটি বড় অন্তর্দৃষ্টি তালিকাবদ্ধ করে।

প্রধান অন্তর্দৃষ্টি 1: বৈষম্যকারীর ক্ষতির ফাংশন হ'ল ক্রস এনট্রপি লোকসান ফাংশন।

মেজর অন্তর্দৃষ্টি 2: বুঝতে কীভাবে গ্রেডিয়েন্ট স্যাচুরেশন প্রশিক্ষণের উপর বিরূপ প্রভাব ফেলতে পারে বা নাও পারে। গ্রেডিয়েন্ট স্যাচুরেশন হ'ল একটি সাধারণ সমস্যা যখন গ্রেডিয়েন্টগুলি কোনও শিক্ষণ সম্পাদনের জন্য খুব ছোট (অর্থাত শূন্য) হয়।

আপনার প্রশ্নের উত্তর দিতে আমাদের দ্বিতীয় প্রধান অন্তর্দৃষ্টি সম্পর্কে আরও বিস্তৃত করতে হবে।

জিএএনএস প্রসঙ্গে, জেনারেটরের ক্ষতি ফাংশনের দুর্বল নকশার কারণে গ্রেডিয়েন্ট স্যাচুরেশন ঘটতে পারে, সুতরাং এই "বড় অন্তর্দৃষ্টি" ... জেনারেটরের জন্য বিভিন্ন ক্ষতির ফাংশনগুলির মধ্যে ট্রেড অফগুলি বোঝার উপর ভিত্তি করে।

কাগজে প্রয়োগ করা নকশাটি খুব নির্দিষ্ট একটি কার্য (দুটি শ্রেণির মধ্যে বৈষম্যমূলক আচরণ) করে ক্ষতির ফাংশন সমস্যার সমাধান করে। এটি করার সর্বোত্তম উপায় হ'ল ক্রস এনট্রপি ব্যবহার (অন্তর্দৃষ্টি 1)। ব্লগ পোস্ট যেমন বলে:

ক্রস-এনট্রপি একটি দুর্দান্ত ক্ষতির কাজ কারণ এটি অংশীদারিটি শেখার গতি বাড়ানোর জন্য এবং গ্রেডিয়েন্ট স্যাচুরেশন এড়ানোর জন্য কেবলমাত্র শ্রেণিবদ্ধ সঠিক হলে এড়াতে ডিজাইন করা হয়েছিল।

ব্লগ পোস্টের মন্তব্যে যেমন স্পষ্ট হয়েছে:

প্রত্যাশা [ক্রস এনট্রপি ফাংশনে] যোগফল থেকে আসে। আপনি যদি একটি বিচ্ছিন্ন র্যান্ডম ভেরিয়েবলের জন্য প্রত্যাশার সংজ্ঞাটি দেখেন তবে আপনি দেখতে পাবেন যে এলোমেলো পরিবর্তনশীলের বিভিন্ন সম্ভাব্য মানগুলির সংখ্যার দরকার হয়, যার প্রতিটি সম্ভাব্যতার দ্বারা ওজন করা যায়। এখানে, সম্ভাব্যতাগুলি প্রতিটির জন্য মাত্র ১/২, এবং আমরা সেগুলি জেনারেটর বা বৈষম্যকারকের কাছ থেকে আসা হিসাবে বিবেচনা করতে পারি।


এএনএনগুলির ক্ষতির ফাংশন হিসাবে ব্যবহার করা সবচেয়ে সহজ কোনটি জিজ্ঞাসা করা হয়নি। গণিতের বৈশিষ্ট্যগুলি @ryingtolearn সম্পর্কে অস্পষ্ট ছিল এবং গ্রেডের শিক্ষার্থীর উদ্ধৃতি দিয়ে কোনও স্পষ্টতা প্রদান ছাড়াই স্পষ্ট হয় না।
ফৌচ্রিস্টিয়ান

1

আপনি একক নমুনা হিসাবে zইনপুট এবং xইনপুটগুলির সংমিশ্রণটিকে চিকিত্সা করতে পারেন এবং বৈষম্যবাদী এইগুলির প্রতিটিটির শ্রেণিবিন্যাস কতটা ভালভাবে সম্পাদন করেছেন তা মূল্যায়ন করে।

এই কারণেই পোস্টটি পরে কোনও একককে আলাদা yকরে E(p~data)এবং E(z)- মূলত, আপনার আলাদা প্রত্যাশা থাকে (y বৈষম্যমূলক প্রতিটি ইনপুটগুলির জন্য গুলি) থাকে এবং বৈষম্যমূলক আচরণ কতটা ভাল সম্পাদন করছে তা মূল্যায়নের জন্য আপনাকে একই সময়ে উভয়কেই পরিমাপ করতে হবে।

এ কারণেই ক্ষতির কার্যটি আসল ইনপুটটির ইতিবাচক শ্রেণিবিন্যাস এবং নেতিবাচক ইনপুটটির নেতিবাচক শ্রেণিবিন্যাস উভয়ের সংমিশ্রণ হিসাবে ধারণা করা হয়।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.