প্রশ্ন ট্যাগ «activation-function»

সক্রিয়করণ ফাংশনগুলি w * x + bনিউরাল নেটওয়ার্কে টাইপের লিনিয়ার আউটপুটে অ-রৈখিকতা প্রবর্তনের জন্য ব্যবহৃত হয় । যা আমি সিগময়েডের মতো অ্যাক্টিভেশন ফাংশনগুলির জন্য স্বজ্ঞাতভাবে বুঝতে সক্ষম। আমি আরএলইউর সুবিধাগুলি বুঝতে পারি, যা ব্যাকপ্রসারণের সময় মৃত নিউরনগুলি এড়িয়ে চলে। তবে, আমি বুঝতে সক্ষম নই যে এর আউটপুট রৈখিক হলে কেন …

19 machine-learning  neural-network  deep-learning  activation-function 

আমি বিইআরটি পেপার দিয়ে যাচ্ছিলাম যা জেলু (গাউসীয় ত্রুটি লিনিয়ার ইউনিট) ব্যবহার করে যা সমীকরণকে যা ঘুরে ফিরেGELU(x)=xP(X≤x)=xΦ(x).GELU(x)=xP(X≤x)=xΦ(x). GELU(x) = xP(X ≤ x) = xΦ(x).0.5x(1+tanh[2/π−−−√(x+0.044715x3)])0.5x(1+tanh[2/π(x+0.044715x3)])0.5x(1 + tanh[\sqrt{ 2/π}(x + 0.044715x^3)]) আপনি কি সমীকরণটি সরল করতে এবং এটি কীভাবে আনুমানিক করা হয়েছে তা ব্যাখ্যা করতে পারেন।

18 activation-function  bert  mathematics 

এখানে উত্তরটি বিলুপ্ত হওয়া এবং বিস্ফোরিত গ্রেডিয়েন্টকে বোঝায় যেগুলি অ- sigmoidসক্রিয় ক্রিয়াকলাপে ছিল তবে আমার ধারণা, Reluএর একটি অসুবিধা রয়েছে এবং এটি তার প্রত্যাশিত মান। আউটপুটটির জন্য কোনও সীমাবদ্ধতা নেই Reluএবং সুতরাং এর প্রত্যাশিত মানটি শূন্য নয়। আমি সময় মনে রাখবেন সামনে জনপ্রিয়তা Reluযে tanhসবচেয়ে জনপ্রিয় ছিল মধ্যে মেশিন বিশেষজ্ঞদের …

17 machine-learning  neural-network  deep-learning  gradient-descent  activation-function 

আমি নিউরাল নেটওয়ার্কগুলির জন্য অ্যাক্টিভেশন ফাংশন ধরণের অধ্যয়ন করেছি। ফাংশনগুলি নিজেরাই বেশ সোজা, তবে প্রয়োগের পার্থক্য সম্পূর্ণ পরিষ্কার নয়। এটি যুক্তিসঙ্গত এবং লিনিয়ার ধরণের ফাংশনগুলির মধ্যে পার্থক্য রাখার পক্ষে যুক্তিযুক্ত যে বাইনারি / অবিচ্ছিন্ন আউটপুট নির্ভর করে তবে সাধারণ লিনিয়ারটির চেয়ে সিগময়েড ফাংশনটির সুবিধা কী? আরএলইউ বিশেষত আমার জন্য বুঝতে …

15 neural-network  activation-function