রিলু বনাম লিকি রিলু এবং প্যারামেট্রিক রিলু (যদি থাকে) এর সুবিধা কী?


10

আমি মনে করি যে আরএলইউর পরিবর্তে লিকি রিলু ব্যবহারের সুবিধাটি হ'ল এইভাবে আমাদের বিন্যাসের গ্রেডিয়েন্ট থাকতে পারে না। প্যারামেট্রিক রিএলইউর একই পার্থক্য সহ একই সুবিধা রয়েছে যে নেতিবাচক ইনপুটগুলির জন্য আউটপুটটির opeাল একটি শেখার পরামিতি থাকে যখন লিক রিলুতে এটি একটি হাইপারপ্যারামিটার হয়।

তবে আমি এমন কিছু বলার অপেক্ষা রাখে না যে লিকি রিলু বা প্যারামেট্রিক রিলু পরিবর্তে রিএলইউ ব্যবহার করা আরও সুবিধাজনক if

উত্তর:


7

ReLU এর সংমিশ্রণ, হাইপার-প্যারামিটারাইজড 1 ফুটো ভেরিয়েন্ট এবং শেখার সময় গতিশীল প্যারামিট্রাইজেশনের সাথে বৈকল্পিক দুটি স্বতন্ত্র বিষয়কে বিভ্রান্ত করে:

  • ফুটো বৈকল্পিকের সাথে আরএলইউর সাথে তুলনাটি সৃজনশীলতা এড়ানোর জন্য হাতে থাকা বিশেষ এমএল ক্ষেত্রে প্রয়োজন আছে কিনা তার সাথে ঘনিষ্ঠভাবে জড়িত - স্যাচুরেশন হ'ল শূন্য গ্রেডিয়েন্ট 2 তে সিগন্যাল হ্রাস হওয়া বা ডিজিটাল থেকে উদ্ভূত বিশৃঙ্খলা শব্দটির আধিপত্য গোলাকার 3
  • প্রশিক্ষণ-গতিশীল অ্যাক্টিভেশন ( সাহিত্যে প্যারামেট্রিক বলা হয় ) এবং প্রশিক্ষণ-স্থিতিশীল অ্যাক্টিভেশনের মধ্যে তুলনাটি অ্যাক্টিভেশনের অ-রৈখিক বা অ-মসৃণ বৈশিষ্ট্যগুলির রূপান্তর 4 এর হারের সাথে কোনও মান আছে কিনা তার উপর ভিত্তি করে হওয়া উচিত ।

আরএলইউ কখনই প্যারামিমেট্রিক না হওয়ার কারণ এটি এটি অনর্থক হতে পারে। নেতিবাচক ডোমেনে এটি ধ্রুব শূন্য। অ-নেতিবাচক ডোমেনে, এর ডেরাইভেটিভ ধ্রুবক। যেহেতু অ্যাক্টিভেশন ইনপুট ভেক্টরটি ইতিমধ্যে ভেক্টর-ম্যাট্রিক্স পণ্য (যেখানে ম্যাট্রিক্স, কিউব বা হাইপার-কিউবে নমনীয়তা পরামিতি রয়েছে) দিয়ে নমনীয় হয়েছে অ-নেতিবাচক ডোমেনের জন্য ধ্রুবক ডেরিভেটিভ পরিবর্তনের জন্য প্যারামিটার যুক্ত করার কোনও কার্যকর উদ্দেশ্য নেই ।

যখন অ্যাক্টিভেশনটিতে বক্রতা থাকে তখন এটি আর সত্য হয় না যে সক্রিয়করণের সমস্ত সহগগুলি পরামিতি হিসাবে অপ্রয়োজনীয়। তাদের মানগুলি প্রশিক্ষণ প্রক্রিয়াটিকে যথেষ্ট পরিবর্তন করতে পারে এবং এইভাবে অভিব্যক্তির গতি এবং নির্ভরযোগ্যতা।

যথেষ্ট পরিমাণে গভীর নেটওয়ার্কের জন্য, অযৌক্তিকতা আবারও ডুবে যায় এবং সাহিত্যে তত্ত্ব এবং অনুশীলন উভয় ক্ষেত্রেই এর প্রমাণ রয়েছে।

  • বীজগণিতিক ভাষায়, এর থেকে প্রাপ্ত আরএলইউ এবং প্যারাম্যাট্রিকલી ডায়নামিক অ্যাক্টিভেশনগুলির মধ্যে বৈষম্য শূন্যের কাছাকাছি পৌঁছে যাওয়ার সাথে গভীরতা (স্তরগুলির সংখ্যায়) অনন্তের কাছে পৌঁছায়।
  • বর্ণনামূলক পদগুলিতে, পর্যাপ্ত সংখ্যক স্তর দেওয়ার জন্য যদি রিলিউউ বক্রতা 5 সহ সঠিকভাবে আনুমানিক ফাংশন করতে পারে।

এজন্য যে ইএলইউ জাতটি উপরোক্ত উল্লিখিত স্যাচুরেশন ইস্যুগুলিকে আরও গভীর নেটওয়ার্কগুলির জন্য এড়াতে সুবিধাজনক এটি গভীরতরগুলির জন্য ব্যবহৃত হয় না।

সুতরাং একজনকে অবশ্যই দুটি জিনিস স্থির করতে হবে।

  • প্যারামেট্রিক অ্যাক্টিভেশন সহায়ক কিনা তা প্রায়শই একটি পরিসংখ্যানগত জনসংখ্যার বিভিন্ন নমুনার পরীক্ষার উপর ভিত্তি করে। তবে স্তরের গভীরতা বেশি হলে এটিকে নিয়ে মোটেও পরীক্ষা করার দরকার নেই।
  • ফুটো বৈকল্পিকের মান হ'ল পিছনে বংশ বিস্তারকালে সংখ্যাসূচক রেঞ্জগুলির সাথে অনেক কিছু আছে। প্রশিক্ষণ চলাকালীন যেকোন পর্যায়ে পিছনে বর্ধনের সময় যদি গ্রেডিয়েন্টটি নিখরচায় ছোট হয়ে যায় তবে অ্যাক্টিভেশন বক্ররের একটি ধ্রুবক অংশ সমস্যাযুক্ত হতে পারে। এই জাতীয় স্কেজে কোনও মসৃণ ফাংশন বা ফাঁসযুক্ত রিলু এটির সাথে দুটি নন-শূন্য slালু পর্যাপ্ত সমাধান সরবরাহ করতে পারে।

সংক্ষেপে, পছন্দ কখনও সুবিধার পছন্দ নয়।


পাদটিকা

[1] হাইপার-প্যারামিটারগুলি এমন পরামিতি যা সে স্তরটির মাধ্যমে সংকেতকে প্রভাবিত করে যা সেই স্তরের জন্য ইনপুটগুলির সংশ্লেষণের অংশ নয়। বর্ধন ওজন পরামিতি হয়। অন্য কোনও প্যারামিট্রাইজেশন হাইপার-প্যারামিটারগুলির সেটে। এর মধ্যে রয়েছে শিখনের হার, পিছনের প্রচারে উচ্চ ফ্রিকোয়েন্সিগুলিকে স্যাঁতসেঁতে দেওয়া এবং পুরো নেটওয়ার্কের জন্য বিস্তৃত অন্যান্য শিখন নিয়ন্ত্রণগুলি অন্তর্ভুক্ত থাকতে পারে, যদি পুরো নেটওয়ার্ক না হয়।

[2] যদি গ্রেডিয়েন্ট শূন্য হয়, তবে প্যারামিটারগুলির কোনও বুদ্ধিমান সমন্বয় হতে পারে না কারণ সামঞ্জস্যের দিকটি অজানা এবং এর দৈর্ঘ্য অবশ্যই শূন্য হতে হবে। পড়াশোনা বন্ধ হয়ে যায়।

[3] যদি সিপিইউ তাদের নিকটতম ডিজিটাল উপস্থাপনার জন্য অত্যন্ত ক্ষুদ্র মানগুলির চারদিকে পরিণত হয়, তখন বিশৃঙ্খলা শব্দটি যদি স্তরগুলিতে ফিরে প্রচারের উদ্দেশ্যে সংশোধন সংকেতকে প্রাধান্য দেয়, তবে সংশোধনটি বাজে হয়ে যায় এবং শিখন বন্ধ হয়ে যায়।

[৪] কনভার্জেন্সের হার গতির একটি পরিমাপ (মাইক্রোসেকেন্ডগুলির সাথে তুলনামূলক বা অ্যালগরিদমের পুনরাবৃত্তি সূচকের তুলনায়) যেখানে শেখার ফলাফল (সিস্টেমের আচরণ) যথেষ্ট ভাল বলে বিবেচিত হয় তার কাছে পৌঁছায়। এটি সাধারণত রূপান্তরকরণ (শেখার) জন্য কিছু প্রথাগত গ্রহণযোগ্যতার মানদণ্ডের নির্দিষ্ট নৈকট্য।

[5] বক্রতা সহ ফাংশনগুলি এমনগুলি যা সরাসরি বা সমতল হিসাবে ভিজ্যুয়ালাইজড হয় না। একটি প্যারাবোলার বক্রতা রয়েছে। একটি সরল রেখা না। একটি ডিমের পৃষ্ঠের বক্রতা থাকে। একটি নিখুঁত ফ্ল্যাট সমতল না। গাণিতিকভাবে, যদি ফাংশনের হেসিয়ান উপাদানগুলির কোনও শূন্য হয় না, তবে ফাংশনটির বক্রতা থাকে।


আপনি কী পছন্দ করে বোঝাতে চান পছন্দটি কখনই সুবিধার পছন্দ নয় ?
gvgramazio

@ জিভিগ্রাজাজিও, আপনি আপনার প্রশ্নে লিখেছিলেন, "আরএলইউ ব্যবহার করা আরও সুবিধাজনক"। আমি ইঙ্গিত করছিলাম যে সুবিধার ভিত্তিতে পছন্দটি করা হয় না। এটি খুব কঠোর হিসাবে বন্ধ আসে? আমি হওয়ার ইচ্ছা ছিল না। আমার উত্তরে সেই বাক্যটির উপরের বাক্যগুলির উদ্দেশ্য ছিল আরও কার্যকর মানদণ্ড সরবরাহ করা যা সক্রিয়করণ কার্যগুলি বেছে নেওয়ার সময় আপনি নিজের সিদ্ধান্তকে ভিত্তি করতে পারেন।
ফৌচ্রিস্টিয়ান

খুব কঠোর হওয়ার বিষয়ে চিন্তা করবেন না, আমার পক্ষে মোটেই সমস্যা নয়। আমি মনে করি এটি ভাষার আরও সমস্যা (আমি নেটিভ ইংলিশ স্পিকার নই)।
gvgramazio

আসল বিষয়টি হ'ল, আমি যা বুঝতে পেরেছি সেখান থেকে আপনি ভালভাবে ব্যাখ্যা করেছেন যে আমার ক্ষেত্রে অন্যটির ক্ষেত্রে একটি বৈকল্পিক পছন্দ করা উচিত। আমি এখনও যা বুঝতে পারি না তা হল আমার কখন ক্লাসিকালটি পছন্দ করা উচিত। উদাহরণস্বরূপ ফাঁসী রূপটি নষ্ট হয়ে যাওয়ার গ্রেডিয়েন্টের জন্য পর্যাপ্ত সমাধান সরবরাহ করতে পারে তবে এর কোনও অপূর্ণতা না থাকলে আমি সবসময়ই রিলুর সাথে সম্মত হয়ে ফাঁসী রূপটি বেছে নিতে পারি।
gvgramazio

@ ফৌক্রিশিয়ান আপনি দয়া করে আরও কিছু কথাবার্তা শর্তাবলী এবং অন্তর্দৃষ্টি যুক্ত করতে পারেন, আমি গাণিতিক ভাষার সাথে এতটা পরিচিত নই :)
দত্তআ
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.