প্রশ্ন ট্যাগ «derivative»

আমি বুঝতে চেষ্টা করছি যে কোনও সফটম্যাক্স / ক্রস-এন্ট্রপি আউটপুট স্তরটির জন্য ব্যাকপ্রসারণ কীভাবে কাজ করে। ক্রস এনট্রপি ত্রুটি ফাংশন E(t,o)=−∑jtjlogojই(টি,ণ)=-Σঞটিঞলগ⁡ণঞE(t,o)=-\sum_j t_j \log o_j যথাক্রমে নিউরন জে লক্ষ্য এবং আউটপুট হিসাবে tটিt এবং সহ । যোগফল আউটপুট স্তরের প্রতিটি নিউরনের উপরে। ও জে নিজেই সফটম্যাক্স ফাংশনের ফলাফল:oণojঞjojojo_j oj=softmax(zj)=ezj∑jezjoj=softmax(zj)=ezj∑jezjo_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}} আবার, …

40 backpropagation  derivative  softmax  cross-entropy 

আমি কোর্সেরাতে মেশিন লার্নিং স্ট্যানফোর্ড কোর্স করছি। লজিস্টিক রিগ্রেশন সম্পর্কিত অধ্যায়ে, ব্যয় কার্যকারিতাটি হ'ল: তারপরে, এটি এখানে উদ্ভূত: আমি ব্যয় ফাংশনের ডেরাইভেটিভ পাওয়ার চেষ্টা করেছি তবে আমি সম্পূর্ণ আলাদা কিছু পেয়েছি। কীভাবে ডেরাইভেটিভ প্রাপ্ত হয়? মধ্যস্থতাকারী পদক্ষেপগুলি কোনটি?

29 regression  logistic  gradient-descent  derivative 

এই প্রশ্নটি এখানে রয়েছে কিনা তা নিশ্চিত নয়, তবে এটি অপ্টিমাইজেশনের গ্রেডিয়েন্ট পদ্ধতির সাথে ঘনিষ্ঠভাবে সম্পর্কিত, যা এখানে বিষয়টিতে মনে হচ্ছে। যাইহোক, অন্য কোনও সম্প্রদায়ের বিষয়টিতে আরও ভাল দক্ষতা আছে বলে যদি মনে করেন তবে মাইগ্রেশন নির্দ্বিধায় করুন। সংক্ষেপে, আমি বিপরীত-মোড স্বয়ংক্রিয় পার্থক্যের একটি ধাপে ধাপে উদাহরণ খুঁজছি । বিষয়টিতে …

27 optimization  derivative  tensorflow  automatic-differentiation 

বইয়ের প্যাটার্ন স্বীকৃতি এবং মেশিন লার্নিংয়ে (সূত্র 1.27), এটি দেয় py(y)=px(x)∣∣∣dxdy∣∣∣=px(g(y))|g′(y)|py(y)=px(x)|dxdy|=px(g(y))|g′(y)|p_y(y)=p_x(x) \left | \frac{d x}{d y} \right |=p_x(g(y)) | g'(y) | যেখানে , হল সেই পিডিএফ যা ভেরিয়েবলের পরিবর্তনের সাথে সাথে সম্পর্কিত।p x ( x ) p y ( y )x=g(y)x=g(y)x=g(y)px(x)px(x)p_x(x)py(y)py(y)p_y(y) বই বলছেন কারণ যে পর্যবেক্ষণ সীমার মধ্যে পতনশীল এর …

16 machine-learning  probability  self-study  derivative  jacobian 

আমার একটি ডেটাসেট রয়েছে যা বলি, অবস্থান, গতি এবং ত্বরণের জন্য কিছু পরিমাপ। সবাই একই "রান" থেকে আসে। আমি একটি রৈখিক সিস্টেম তৈরি করতে পারি এবং এই সমস্ত পরিমাপের সাথে একটি বহুবচন ফিট করতে পারি। কিন্তু আমি কি স্প্লিংসের সাহায্যে একই কাজ করতে পারি? এটি করার একটি 'আর' উপায় কী? …

14 r  model  fitting  splines  derivative 

আমি বিশ্বাস করি যে একটি গাউসিয়া প্রক্রিয়া (জিপি) এর ডেরাইভেটিভ অন্য একটি জিপি, এবং তাই আমি জানতে চাই যে কোনও জিপি এর ডেরিভেটিভের পূর্বাভাস সমীকরণের জন্য বন্ধ ফর্ম সমীকরণ আছে কিনা? বিশেষত, আমি স্কোয়ার্ড এক্সফোনেনিয়াল (যাকে গাউসীয়ও বলা হয়) কোভারিয়েন্স কার্নেলটি ব্যবহার করছি এবং গাউসিয়ান প্রক্রিয়াটির ডেরাইভেটিভ সম্পর্কে ভবিষ্যদ্বাণী করা …

12 stochastic-processes  gaussian-process  derivative 

গভীর শিক্ষার বিষয়ে গুডফেলিজ (২০১ 2016) বইয়ে তিনি এল 2 নিয়মিতকরণের ( https://www.DPlearningbook.org/contents/regulariization.html পৃষ্ঠা 247) এর দিকে দ্রুত থামার সমতুল্যতার বিষয়ে কথা বলেছেন talked চার্জ ক্রম এর চতুর্ভুজ অনুমান দেওয়া হয়েছে:jjj জে^( θ ) = জে( ডাব্লু*) + 12( ডাব্লু - ডাব্লু)*)টিএইচ( ডাব্লু - ডাব্লু)*)J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) যেখানে হেসিয়ান ম্যাট্রিক্স (সম। 7.33)। …

11 neural-networks  deep-learning  loss-functions  derivative 

আমি কিছু বিন্দুতে দেখেছি অন্য সম্মান সঙ্গে এক সম্ভাব্যতা পরিমাপ রাডন-Nikodym ব্যুৎপন্ন ব্যবহার, এর মধ্যে উল্লেখযোগ্য হল Kullback-Leibler বিকিরণ, যেখানে এটি কিছু অবাধ পরামিতি জন্য একটি মডেল সম্ভাবনা পরিমাপ ব্যুৎপন্ন হয় সঙ্গে আসল প্যারামিটার সম্মান θ 0 :θθ\thetaθ0θ0\theta_0 ঘপিθঘপিθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} কোথায় এই datapoints স্থান উভয়েই সম্ভাব্যতা পরিমাপ করে একটি প্যারামিটার …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

আমি বুঝেছি যে নিউরাল নেটওয়ার্কগুলি (এনএন) উভয় ফাংশন এবং তাদের ডেরাইভেটিভগুলির সর্বজনীন অনুমানক হিসাবে বিবেচিত হতে পারে, কিছু অনুমানের অধীনে (নেটওয়ার্ক এবং ফাংশন উভয়কে আনুমানিক)। প্রকৃতপক্ষে, আমি সাধারণ, তবু তুচ্ছ ত্রিভুক্ত ফাংশনগুলিতে (উদাহরণস্বরূপ, বহুভুজ) বেশ কয়েকটি পরীক্ষা করেছি এবং দেখে মনে হচ্ছে যে আমি তাদের এবং তাদের প্রথম ডেরাইভেটিভগুলি ভালভাবে …

11 machine-learning  neural-networks  function  derivative 

অ্যান্ড্রু এনগের মেশিন লার্নিং কোর্সে তিনি এই সূত্রটি ব্যবহার করেছেন: ∇Atr(ABATC)=CAB+CTABT∇Atr(ABATC)=CAB+CTABT\nabla_A tr(ABA^TC) = CAB + C^TAB^T এবং তিনি একটি দ্রুত প্রমাণ যা নীচে প্রদর্শিত হয়েছে: ∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + …

10 machine-learning  matrix  derivative