ডিপ লার্নিংয়ের ডিপ রেসিডুয়াল নেটওয়ার্কগুলির প্রসঙ্গে একটি রেসিডুয়াল লার্নিং ব্লক আসলে কী?

আমি চিত্র স্বীকৃতির জন্য ডিপ রেসিডুয়াল লার্নিং পত্রিকাটি পড়ছিলাম এবং আমার 100% নিশ্চিততা সহ বুঝতে সমস্যা হয়েছিল যে একটি রেসিডুয়াল ব্লকটি গণনামূলকভাবে আবশ্যক। তাদের কাগজ পড়া তাদের চিত্র 2:

যা একটি রেসিডুয়াল ব্লক অনুমান করা যায় তা চিত্রিত করে। একটি অবশিষ্টাংশের ব্লকটির গণনা কি কেবল একইরকম:

y = σ (W_{2} σ (W_{1} x + b_{1}) + b_{2} + x)

$\mathbf{y} = \sigma( W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 + \mathbf{x} )$

নাকি এটা অন্য কিছু?

অন্য কথায় সম্ভবত কাগজের স্বরলিপিটি মিলানোর চেষ্টা করা হ'ল:

F (x) + x = [W_{2} σ (W_{1} x + b_{1}) + b_{2}] + x

$\mathcal F(x) + x = \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x}$

এটা কি সত্যি?

লক্ষ্য করুন যে বৃত্তের সমষ্টি হওয়ার পরে, শব্দটি কাগজে প্রকাশিত হবে, সুতরাং একটি অবশিষ্টাংশের ব্লক (যা আমি th by দ্বারা চিহ্নিত করেছি ) এর আউটপুট হওয়া উচিত: $\mathbf{y}$

σ (F (x) + x) = σ ([W_{2} σ (W_{1} x + b_{1}) + b_{2}] + x)

$\sigma( \mathcal F(x) + x ) = \sigma( \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x} )$

একটি অতিরিক্ত রেলু নন-লিনিয়ারিটি । $\sigma$

— চার্লি পার্কার
সূত্র

x হল ইতিবাচক রিলু (x) = x

— রায় তায়েক

হ্যাঁ এটি সত্য, আপনি কীভাবে এটি প্রয়োগ করা হয় তা দেখতে তাদের ক্যাফে মডেলটি একবার দেখে নিতে পারেন ।

— dontloo
সূত্র