প্রশ্ন ট্যাগ «backpropagation»

অনেক নিউরাল নেটওয়ার্ক বই এবং টিউটোরিয়াল ব্যাকপ্রোপেশন অ্যালগরিদমের জন্য প্রচুর সময় ব্যয় করে, যা মূলত গ্রেডিয়েন্টটি গণনা করার একটি সরঞ্জাম। ধরে নেওয়া যাক আমরা ~ 10 কে পরামিতি / ওজন দিয়ে একটি মডেল তৈরি করছি। কিছু গ্রেডিয়েন্ট ফ্রি অপ্টিমাইজেশন অ্যালগরিদম ব্যবহার করে কী অপ্টিমাইজেশন চালানো সম্ভব? আমি মনে করি সংখ্যার …

94 machine-learning  neural-networks  optimization  backpropagation 

আমি বুঝতে পারি যে স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত ট্র্যাকিং ডেটাসেটের পৃথক নমুনা সহ প্রতিটি পুনরাবৃত্তি আপডেট করে ব্যাকপ্রোপেশন ব্যবহার করে নিউরাল নেটওয়ার্কটি অনুকূল করতে ব্যবহৃত হতে পারে। ব্যাচের আকার কত বড় হওয়া উচিত?

49 machine-learning  neural-networks  gradient-descent  backpropagation 

বিশেষত, আমি মনে করি আমি এই বিবৃতিটি সম্পর্কে অবাক হই: টেনসরফ্লো এর ভবিষ্যতের বড় সংস্করণগুলি ডিফল্টরূপে ব্যাকপ্রপতে লেবেলগুলির ইনপুটগুলিতে গ্রেডিয়েন্টগুলি প্রবাহিত করতে দেবে। আমি ব্যবহার করার সময় যা প্রদর্শিত হয় tf.nn.softmax_cross_entropy_with_logits। একই বার্তায় এটি আমাকে একবার দেখার জন্য অনুরোধ করে tf.nn.softmax_cross_entropy_with_logits_v2। আমি ডকুমেন্টেশনটি দেখেছি তবে এটি কেবলমাত্র এতে বলেছে tf.nn.softmax_cross_entropy_with_logits_v2: …

41 machine-learning  supervised-learning  tensorflow  backpropagation 

আমি বুঝতে চেষ্টা করছি যে কোনও সফটম্যাক্স / ক্রস-এন্ট্রপি আউটপুট স্তরটির জন্য ব্যাকপ্রসারণ কীভাবে কাজ করে। ক্রস এনট্রপি ত্রুটি ফাংশন E(t,o)=−∑jtjlogojই(টি,ণ)=-Σঞটিঞলগ⁡ণঞE(t,o)=-\sum_j t_j \log o_j যথাক্রমে নিউরন জে লক্ষ্য এবং আউটপুট হিসাবে tটিt এবং সহ । যোগফল আউটপুট স্তরের প্রতিটি নিউরনের উপরে। ও জে নিজেই সফটম্যাক্স ফাংশনের ফলাফল:oণojঞjojojo_j oj=softmax(zj)=ezj∑jezjoj=softmax(zj)=ezj∑jezjo_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}} আবার, …

40 backpropagation  derivative  softmax  cross-entropy 

আমি প্রতিটি পদ্ধতির উপকারিতা এবং কনস সম্পর্কে আলোচনা করে কয়েকটি কাগজপত্র পড়েছি, কেউ কেউ এই যুক্তি দিয়েছিলেন যে জিএ অনুকূল সমাধান সন্ধানে কোনও উন্নতি দেয় না অন্যরা দেখায় যে এটি আরও কার্যকর। মনে হয় সাহিত্যে জিএকে সাধারণত অগ্রাধিকার দেওয়া হয় (যদিও বেশিরভাগ লোকেরা প্রয়োজনীয় ফলাফল অর্জনের জন্য এটি কোনওভাবে পরিবর্তন …

34 neural-networks  genetic-algorithms  backpropagation 

অ্যান্ড্রু এনগের নিউরাল নেটওয়ার্কস এবং কোর্সেরার ডিপ লার্নিং কোর্সে তিনি বলেছিলেন যে ব্যবহারের ক্ষেত্রে ব্যবহার প্রায় সবসময়ই পছন্দনীয় ।s i g m o i dtanhtanhtanhsigmoidsigmoidsigmoid তিনি যে কারণটি দিয়েছেন তা হ'ল ০.০ এর চেয়ে প্রায় 0 টি কেন্দ্র ব্যবহার করে আউটপুটগুলি এবং "পরবর্তী স্তরটির জন্য কিছুটা সহজ করে তোলে"।s i …

33 machine-learning  neural-networks  backpropagation  sigmoid-curve 

জিরো দিয়ে ওজন সূচনা করা কেন বিপজ্জনক? এটির কোনও সাধারণ উদাহরণ যা তা দেখায়?

30 neural-networks  backpropagation 

আমি এখানে নিম্নলিখিত পড়ুন: সিগময়েড আউটপুটগুলি শূন্য-কেন্দ্রিক নয় । এটি অনাকাঙ্ক্ষিত যেহেতু নিউরালনগুলি পরে নিউরাল নেটওয়ার্কে প্রসেসিংয়ের পরবর্তী স্তরগুলিতে (খুব শীঘ্রই এটি সম্পর্কে আরও) ডেটা প্রাপ্ত হবে যা শূন্য-কেন্দ্রিক নয়। এই গ্রেডিয়েন্ট বংশদ্ভুত সময় গতিবিদ্যা উপর বিষয় রয়েছে সবসময় ইতিবাচক হলে ডেটা একটি স্নায়ুর উদ্ভেদ যদি কারণ (যেমন x>0x>0x > …

26 neural-networks  deep-learning  backpropagation 

আমি উত্সাহিত করছি কিভাবে রেসনেট মডিউলগুলি / এড়িয়ে যাওয়া সংযোগগুলি ব্যবহার করে নিউরাল নেটওয়ার্কের মাধ্যমে গ্রেডিয়েন্টগুলি ফেরত প্রচারিত হয় are আমি রেসনেট (যেমন স্কিপ-লেয়ার সংযোগ সহ নিউরাল নেটওয়ার্ক ) সম্পর্কে বেশ কয়েকটি প্রশ্ন দেখেছি তবে এটি প্রশিক্ষণের সময় গ্রেডিয়েন্টগুলির ব্যাক-প্রসারণ সম্পর্কে বিশেষত জিজ্ঞাসা করছে। প্রাথমিক স্থাপত্য এখানে: আমি এই কাগজটি …

22 machine-learning  neural-networks  conv-neural-network  gradient-descent  backpropagation 

ব্যাক-প্রসারণ অ্যালগরিদম ব্যবহার করে কোনও নিউরাল নেটওয়ার্ক প্রশিক্ষণ দেওয়ার সময়, গ্রেডিয়েন্ট বংশদ্ভুত পদ্ধতি ওজন সম্পর্কিত আপডেটগুলি নির্ধারণ করার জন্য ব্যবহৃত হয়। আমার প্রশ্নটি হ'ল ধীরে ধীরে নির্দিষ্ট ওজনের ক্ষেত্রে ন্যূনতম বিন্দুটি সনাক্ত করতে গ্রেডিয়েন্ট বংশদ্ভুত পদ্ধতি ব্যবহার করার পরিবর্তে, আমরা কেন কেবল ডেরাইভেটিভ ডি সেট করি না ( ত্রুটি )d(Error)dw=0d(Error)dw=0\frac{d(\text{Error})}{dw}=0, …

22 neural-networks  gradient-descent  backpropagation 

গভীর এবং অগভীর নিউরাল নেটওয়ার্কগুলির প্রশিক্ষণে, অন্যান্য আবহাওয়াবিজ্ঞানের বিপরীতে গ্রেডিয়েন্ট পদ্ধতিগুলি (যেমন গ্রেডিয়েন্ট বংশোদ্ভূত নেস্টেরভ, নিউটন-রাফসন) সাধারণত ব্যবহৃত হয় কেন? মেটাহিউরিস্টিকস দ্বারা আমি বোঝায় যে পদ্ধতিগুলি যেমন সিমুলেটেড অ্যানিলিং, পিঁপড়া কলোনী অপ্টিমাইজেশন ইত্যাদি, যা স্থানীয় মিনিমে আটকে না যাওয়ার জন্য তৈরি করা হয়েছিল।

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

আপনি যখন সমস্ত ওজনকে একই মান হিসাবে শুরু করবেন (0.5 বলুন) তবে ব্যান্ডপ্রসারণ কাজ করে না কেন, তবে এলোমেলো সংখ্যা দেওয়ার সময় সূক্ষ্ম কাজ করে? প্রথমদিকে ওজন একই রকম হওয়া সত্ত্বেও অ্যালগরিদম ত্রুটিটি গণনা করে সেখান থেকে কাজ করা উচিত নয়?

20 machine-learning  neural-networks  backpropagation 

মাল্টিলেয়ার পার্সেপট্রন (এমএলপি) ব্যবহৃত ব্যাকপ্রপ্যাগেশন অ্যালগরিদম সম্পর্কে আমি কিছুটা বিভ্রান্তি পেয়েছি । ত্রুটিটি ব্যয় কার্য দ্বারা সামঞ্জস্য করা হয়। ব্যাকপ্রকাশে, আমরা লুকানো স্তরগুলির ওজন সামঞ্জস্য করার চেষ্টা করছি। আউটপুট ত্রুটিটি আমি বুঝতে পারি, এটি e = d - y[সাবস্ক্রিপ্ট ছাড়াই]। প্রশ্নগুলি হ'ল: কিভাবে লুকানো স্তরের ত্রুটি পাওয়া যায়? কীভাবে এটি …

19 machine-learning  neural-networks  backpropagation 

আমি যখন মিনি ব্যাচের গ্রেডিয়েন্ট শালীন প্রয়োগ করেছি, তখন আমি প্রশিক্ষণ ব্যাচের সমস্ত উদাহরণের গ্রেডিয়েন্টগুলি গড়েছি। তবে, আমি লক্ষ্য করেছি যে অনলাইন গ্রেডিয়েন্ট শালীনের তুলনায় এখন অনুকূল শিক্ষার হার অনেক বেশি। আমার অন্তর্নিহিততা এটি কারণ হ'ল গড় গ্রেডিয়েন্টটি কম গোলমাল এবং এটি দ্রুত অনুসরণ করা যেতে পারে। সুতরাং সম্ভবত এটি …

15 neural-networks  gradient-descent  backpropagation 

একটি পুনরাবৃত্ত নিউরাল নেটওয়ার্কে, আপনি সাধারণত বেশ কয়েকটি সময় পদক্ষেপের মাধ্যমে নেটওয়ার্কটি "আনারোল" করুন এবং তারপরে ইনপুটগুলির ক্রম জুড়ে প্রচার করে এগিয়ে যেতে পারেন। আপনি ক্রমের প্রতিটি পৃথক পদক্ষেপের পরে ওজনগুলি কেন আপডেট করবেন না? (1 টি কাটা দৈর্ঘ্যের দৈর্ঘ্যটি ব্যবহারের সমতুল্য, তাই আনারোল করার মতো কিছুই নেই) এটি সম্পূর্ণভাবে …

14 time-series  neural-networks  backpropagation  rnn