2
জেলু অ্যাক্টিভেশন কি?
আমি বিইআরটি পেপার দিয়ে যাচ্ছিলাম যা জেলু (গাউসীয় ত্রুটি লিনিয়ার ইউনিট) ব্যবহার করে যা সমীকরণকে যা ঘুরে ফিরেGELU(x)=xP(X≤x)=xΦ(x).GELU(x)=xP(X≤x)=xΦ(x). GELU(x) = xP(X ≤ x) = xΦ(x).0.5x(1+tanh[2/π−−−√(x+0.044715x3)])0.5x(1+tanh[2/π(x+0.044715x3)])0.5x(1 + tanh[\sqrt{ 2/π}(x + 0.044715x^3)]) আপনি কি সমীকরণটি সরল করতে এবং এটি কীভাবে আনুমানিক করা হয়েছে তা ব্যাখ্যা করতে পারেন।