আমি মনে করি যে আরএলইউর পরিবর্তে লিকি রিলু ব্যবহারের সুবিধাটি হ'ল এইভাবে আমাদের বিন্যাসের গ্রেডিয়েন্ট থাকতে পারে না। প্যারামেট্রিক রিএলইউর একই পার্থক্য সহ একই সুবিধা রয়েছে যে নেতিবাচক ইনপুটগুলির জন্য আউটপুটটির opeাল একটি শেখার পরামিতি থাকে যখন লিক রিলুতে এটি একটি হাইপারপ্যারামিটার হয়।
তবে আমি এমন কিছু বলার অপেক্ষা রাখে না যে লিকি রিলু বা প্যারামেট্রিক রিলু পরিবর্তে রিএলইউ ব্যবহার করা আরও সুবিধাজনক if
উত্তর:
ReLU এর সংমিশ্রণ, হাইপার-প্যারামিটারাইজড 1 ফুটো ভেরিয়েন্ট এবং শেখার সময় গতিশীল প্যারামিট্রাইজেশনের সাথে বৈকল্পিক দুটি স্বতন্ত্র বিষয়কে বিভ্রান্ত করে:
আরএলইউ কখনই প্যারামিমেট্রিক না হওয়ার কারণ এটি এটি অনর্থক হতে পারে। নেতিবাচক ডোমেনে এটি ধ্রুব শূন্য। অ-নেতিবাচক ডোমেনে, এর ডেরাইভেটিভ ধ্রুবক। যেহেতু অ্যাক্টিভেশন ইনপুট ভেক্টরটি ইতিমধ্যে ভেক্টর-ম্যাট্রিক্স পণ্য (যেখানে ম্যাট্রিক্স, কিউব বা হাইপার-কিউবে নমনীয়তা পরামিতি রয়েছে) দিয়ে নমনীয় হয়েছে অ-নেতিবাচক ডোমেনের জন্য ধ্রুবক ডেরিভেটিভ পরিবর্তনের জন্য প্যারামিটার যুক্ত করার কোনও কার্যকর উদ্দেশ্য নেই ।
যখন অ্যাক্টিভেশনটিতে বক্রতা থাকে তখন এটি আর সত্য হয় না যে সক্রিয়করণের সমস্ত সহগগুলি পরামিতি হিসাবে অপ্রয়োজনীয়। তাদের মানগুলি প্রশিক্ষণ প্রক্রিয়াটিকে যথেষ্ট পরিবর্তন করতে পারে এবং এইভাবে অভিব্যক্তির গতি এবং নির্ভরযোগ্যতা।
যথেষ্ট পরিমাণে গভীর নেটওয়ার্কের জন্য, অযৌক্তিকতা আবারও ডুবে যায় এবং সাহিত্যে তত্ত্ব এবং অনুশীলন উভয় ক্ষেত্রেই এর প্রমাণ রয়েছে।
এজন্য যে ইএলইউ জাতটি উপরোক্ত উল্লিখিত স্যাচুরেশন ইস্যুগুলিকে আরও গভীর নেটওয়ার্কগুলির জন্য এড়াতে সুবিধাজনক এটি গভীরতরগুলির জন্য ব্যবহৃত হয় না।
সুতরাং একজনকে অবশ্যই দুটি জিনিস স্থির করতে হবে।
সংক্ষেপে, পছন্দ কখনও সুবিধার পছন্দ নয়।
পাদটিকা
[1] হাইপার-প্যারামিটারগুলি এমন পরামিতি যা সে স্তরটির মাধ্যমে সংকেতকে প্রভাবিত করে যা সেই স্তরের জন্য ইনপুটগুলির সংশ্লেষণের অংশ নয়। বর্ধন ওজন পরামিতি হয়। অন্য কোনও প্যারামিট্রাইজেশন হাইপার-প্যারামিটারগুলির সেটে। এর মধ্যে রয়েছে শিখনের হার, পিছনের প্রচারে উচ্চ ফ্রিকোয়েন্সিগুলিকে স্যাঁতসেঁতে দেওয়া এবং পুরো নেটওয়ার্কের জন্য বিস্তৃত অন্যান্য শিখন নিয়ন্ত্রণগুলি অন্তর্ভুক্ত থাকতে পারে, যদি পুরো নেটওয়ার্ক না হয়।
[2] যদি গ্রেডিয়েন্ট শূন্য হয়, তবে প্যারামিটারগুলির কোনও বুদ্ধিমান সমন্বয় হতে পারে না কারণ সামঞ্জস্যের দিকটি অজানা এবং এর দৈর্ঘ্য অবশ্যই শূন্য হতে হবে। পড়াশোনা বন্ধ হয়ে যায়।
[3] যদি সিপিইউ তাদের নিকটতম ডিজিটাল উপস্থাপনার জন্য অত্যন্ত ক্ষুদ্র মানগুলির চারদিকে পরিণত হয়, তখন বিশৃঙ্খলা শব্দটি যদি স্তরগুলিতে ফিরে প্রচারের উদ্দেশ্যে সংশোধন সংকেতকে প্রাধান্য দেয়, তবে সংশোধনটি বাজে হয়ে যায় এবং শিখন বন্ধ হয়ে যায়।
[৪] কনভার্জেন্সের হার গতির একটি পরিমাপ (মাইক্রোসেকেন্ডগুলির সাথে তুলনামূলক বা অ্যালগরিদমের পুনরাবৃত্তি সূচকের তুলনায়) যেখানে শেখার ফলাফল (সিস্টেমের আচরণ) যথেষ্ট ভাল বলে বিবেচিত হয় তার কাছে পৌঁছায়। এটি সাধারণত রূপান্তরকরণ (শেখার) জন্য কিছু প্রথাগত গ্রহণযোগ্যতার মানদণ্ডের নির্দিষ্ট নৈকট্য।
[5] বক্রতা সহ ফাংশনগুলি এমনগুলি যা সরাসরি বা সমতল হিসাবে ভিজ্যুয়ালাইজড হয় না। একটি প্যারাবোলার বক্রতা রয়েছে। একটি সরল রেখা না। একটি ডিমের পৃষ্ঠের বক্রতা থাকে। একটি নিখুঁত ফ্ল্যাট সমতল না। গাণিতিকভাবে, যদি ফাংশনের হেসিয়ান উপাদানগুলির কোনও শূন্য হয় না, তবে ফাংশনটির বক্রতা থাকে।