প্রশ্ন ট্যাগ «neural-networks»

আমি ব্যাকপ্রোপেশন প্রশিক্ষণপ্রাপ্ত নিউরাল নেটওয়ার্কে একটি সফটম্যাক্স স্তর যুক্ত করার চেষ্টা করছি, তাই আমি এর গ্রেডিয়েন্টটি গণনা করার চেষ্টা করছি। সফটম্যাক্স আউটপুট যেখানে আউটপুট নিউরন সংখ্যা।hj=ezj∑ezihj=ezj∑ezih_j = \frac{e^{z_j}}{\sum{e^{z_i}}}jjj আমি যদি এটি প্রাপ্ত করি তবে আমি পেয়েছি ∂hj∂zj=hj(1−hj)∂hj∂zj=hj(1−hj)\frac{\partial{h_j}}{\partial{z_j}}=h_j(1-h_j) লজিস্টিক রিগ্রেশন অনুরূপ। তবে এটি ভুল কারণ আমার সংখ্যার গ্রেডিয়েন্ট চেক ব্যর্থ হয়। …

43 neural-networks 

নিউরাল নেটওয়ার্কের ম্যাক্সআউট ইউনিটগুলি কি কি ব্যাখ্যা করতে পারে? তারা কীভাবে সম্পাদন করে এবং কীভাবে তারা প্রচলিত ইউনিট থেকে আলাদা? গুডফেলো এট আল দ্বারা 2013 সালের "ম্যাক্সআউট নেটওয়ার্ক" কাগজটি পড়ার চেষ্টা করেছি । (অধ্যাপক যোশুয়া বেনজিওর গ্রুপ থেকে) তবে আমি তা বেশিরভাগই পাই না।

42 machine-learning  neural-networks 

মোমেন্টাম একটানা পুনরাবৃত্তির সাথে ওজন পরিবর্তনের ওঠানামা হ্রাস করতে ব্যবহৃত হয়:αα\alpha যেখানেই(W)ত্রুটি ফাংশন হয়,W- ওজন ভেক্টর,η- শেখার হার।Δωi(t+1)=−η∂E∂wi+αΔωi(t),Δωi(t+1)=−η∂E∂wi+αΔωi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t),E(w)E(w)E({\bf w})ww{\bf w}ηη\eta ওজন ক্ষয় ওজন পরিবর্তনের দণ্ড দেয়:λλ\lambda Δωi(t+1)=−η∂E∂wi−ληωiΔωi(t+1)=−η∂E∂wi−ληωi\Delta\omega_i(t+1) =- \eta\frac{\partial E}{\partial w_i} - \lambda\eta\omega_i প্রশ্নটি হ'ল যদি পিছনের প্রচারের সময় উভয় কৌশলকে …

41 neural-networks  optimization  regularization  gradient-descent 

ডি-ফ্যাক্টো স্ট্যান্ডার্ড সিগময়েড ফাংশন, , (অ-গভীর) নিউরাল-নেটওয়ার্ক এবং লজিস্টিক রিগ্রেশন এ এত জনপ্রিয় কেন?11+e−x11+ +ই-এক্স\frac{1}{1+e^{-x}} দ্রুত গণনার সময় বা ধীরে ধীরে ক্ষয় সহ আমরা কেন অন্যান্য অন্যান্য ব্যয়যোগ্য ফাংশন ব্যবহার করি না (সুতরাং বিন্যাসের গ্রেডিয়েন্ট কম হয়)। সিগময়েড ফাংশন সম্পর্কে উইকিপিডিয়ায় কয়েকটি উদাহরণ রয়েছে । ধীর ক্ষয় এবং দ্রুত হিসাব …

40 logistic  neural-networks  least-squares 

আমি পরিসংখ্যানগুলিতে কেবল আমার পা ভেজাচ্ছি তাই এই প্রশ্নের অর্থ যদি না বোঝায় তবে আমি দুঃখিত। আমি কোনও অনুসন্ধান ইঞ্জিনে ব্যবহারকারীদের ক্লিকগুলি অধ্যয়ন করতে লুকানো রাজ্যগুলি (অন্যায় ক্যাসিনো, ডাইস রোলস ইত্যাদি) এবং নিউরাল নেটওয়ার্কগুলির পূর্বাভাস দেওয়ার জন্য মার্কভ মডেলগুলি ব্যবহার করেছি। উভয়েরই গোপনীয় অবস্থা ছিল যে আমরা পর্যবেক্ষণগুলি ব্যবহার করে …

40 data-mining  algorithms  neural-networks  markov-process 

নিউরাল নেটওয়ার্কগুলির জন্য বিলুপ্ত গ্রেডিয়েন্ট সমস্যার সমাধান হিসাবে আমি বেশ কয়েকটি স্থানে প্রশংসিত লিনিয়ার ইউনিট (আরএলইউ) পেয়েছি । এটি, সক্রিয়করণ ফাংশন হিসাবে এক সর্বোচ্চ (0, x) ব্যবহার করে। যখন অ্যাক্টিভেশনটি ইতিবাচক হয়, তবে স্পষ্টতই বলা যায় যে এটি সিগময়েড অ্যাক্টিভেশন ফাংশনটির চেয়ে ভাল, যেহেতু এর এক্সেরিভিশনটি সর্বদা বড় এক্স এর …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

আমি নিউরাল নেটওয়ার্কগুলি (এএনএন) ব্যবহার করে একটি জটিল সিস্টেমের ফলাফলের পূর্বাভাস দেওয়ার চেষ্টা করছি। ফলাফল (নির্ভরশীল) মানগুলি 0 এবং 10,000 এর মধ্যে থাকে। বিভিন্ন ইনপুট ভেরিয়েবলের বিভিন্ন ব্যাপ্তি রয়েছে। সমস্ত ভেরিয়েবলের মোটামুটি স্বাভাবিক বিতরণ রয়েছে। প্রশিক্ষণের আগে ডেটা স্কেল করার জন্য আমি বিভিন্ন বিকল্প বিবেচনা করি। একটি বিকল্প হ'ল স্বাধীনভাবে …

40 machine-learning  neural-networks  multidimensional-scaling 

ইমেজনেট শ্রেণিবদ্ধকরণ কাগজগুলিতে শীর্ষ -1 এবং শীর্ষ -5 ত্রুটি হারগুলি কয়েকটি সমাধানের সাফল্য পরিমাপের জন্য গুরুত্বপূর্ণ ইউনিট, তবে সেই ত্রুটি হারগুলি কী? ইন ডীপ Convolutional নিউরাল নেটওয়ার্ক সঙ্গে ImageNet ক্লাসিফিকেশন Krizhevsky এট দ্বারা। একক সিএনএন (পৃষ্ঠা 7) ভিত্তিক প্রতিটি সমাধানের কোনও শীর্ষ -5 ত্রুটি হার নেই যখন 5 এবং 7 …

38 classification  neural-networks  error  measurement-error  image-processing 

নিউরাল নেটওয়ার্কগুলি তাদের জটিল কাঠামোর কারণে প্রায়শই "ব্ল্যাক বক্স" হিসাবে বিবেচিত হয়। এটি আদর্শ নয়, কারণ কোনও মডেল অভ্যন্তরীণভাবে কীভাবে কাজ করছে তার একটি স্বজ্ঞাত উপলব্ধি করা প্রায়শই উপকারী। প্রশিক্ষিত নিউরাল নেটওয়ার্ক কীভাবে কাজ করছে তা দেখার জন্য কী কী পদ্ধতি রয়েছে? বিকল্পভাবে, কীভাবে আমরা সহজে নেটওয়ার্কের হজমযোগ্য বর্ণনাগুলি বের …

37 data-visualization  neural-networks 

সাধারণভাবে নিউরাল নেটওয়ার্ক এবং বিশেষত ডিপ নিউরাল নেটওয়ার্কগুলির প্রসঙ্গে যে বিষয়টি আমি প্রায়শই সামনে এনেছি তা হ'ল তারা "ডেটা ক্ষুধার্ত" - এটি হ'ল আমাদের কাছে একটি বড় ডেটা সেট না করা পর্যন্ত তারা ভাল পারফর্ম করবেন না is নেটওয়ার্ক প্রশিক্ষণ যা দিয়ে। আমার বোধগম্যতা হ'ল এননেটস, বিশেষত ডিপ এননেটসের বিপুল …

37 neural-networks  deep-learning  regularization 

আমি একটি নিউরাল নেটওয়ার্ক প্রশিক্ষণ দিচ্ছি এবং প্রশিক্ষণের ক্ষতি হ্রাস পাচ্ছে, তবে বৈধতা হ্রাস পায় না বা খুব অনুরূপ আর্কিটেকচার এবং ডেটা সহ রেফারেন্স বা পরীক্ষার উপর ভিত্তি করে যা প্রত্যাশা করি তার চেয়ে অনেক কম হয়। আমি এটা কিভাবে ঠিক করবো? প্রশ্ন হিসাবে আমার নিউরাল নেটওয়ার্কটি শিখতে না পারলে …

37 neural-networks  deep-learning 

কনভ্যুশনাল নিউরাল নেটওয়ার্কগুলির প্রসঙ্গে "কার্নেল" এবং "ফিল্টার" পদগুলির মধ্যে পার্থক্য কী?

37 neural-networks  terminology  deep-learning  conv-neural-network 

প্রথমত, আমি বুঝতে পেরেছিলাম যে আমার যদি বাইনারি পূর্বাভাসের প্রয়োজন হয় তবে আমাকে একটি হট-এনকোডিংয়ের মাধ্যমে কমপক্ষে দুটি ক্লাস তৈরি করতে হবে। এটা কি সঠিক? তবে, বাইনারি ক্রস এনট্রপি কি কেবলমাত্র এক শ্রেণীর সাথে ভবিষ্যদ্বাণীগুলির জন্য? যদি আমি একটি শ্রেণীবদ্ধ ক্রস এনট্রপি ক্ষতি ব্যবহার করি যা সাধারণত বেশিরভাগ লাইব্রেরিতে (টেনসরফ্লোয়ের …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

খরচ ফাংশন স্নায়ুর নেটওয়ার্ক হল , এবং এটি বলে দাবি করা হয় অ উত্তল । আমি কেন পুরোপুরি বুঝতে পারি না কেন যেহেতু আমি দেখতে পাচ্ছি যে এটি লজিস্টিক রিগ্রেশন ব্যয় ফাংশনের সাথে একেবারে সমান, ঠিক?J(W,b)J(W,b)J(W,b) যদি এটি নন-উত্তল হয়, তবে ২ য় অর্ডার ডেরিভেটিভ , ডান?∂J∂W&lt;0∂J∂W&lt;0\frac{\partial J}{\partial W} < …

36 neural-networks  loss-functions 

এলএসটিএম উদ্ভাবিত গ্রেডিয়েন্ট সমস্যা এড়াতে বিশেষত উদ্ভাবিত হয়েছিল। এটি কনস্ট্যান্ট ত্রুটি ক্যারোসেল (সিইসি) দিয়ে করার কথা রয়েছে, যা নীচের চিত্রটিতে ( গ্রিফ এট আল। থেকে ) ঘরের চারপাশের লুপের সাথে মিল রয়েছে । (সূত্র: ডিপলাইনিং ৪ জ.আর.আর ) এবং আমি বুঝতে পারি যে অংশটি একটি পরিচয় ফাংশনের ধরণের হিসাবে দেখা …

35 neural-networks  lstm