প্রশ্ন ট্যাগ «gradient-descent»

আমি পড়েছি যে কে-মানে অ্যালগরিদম কেবল স্থানীয় সর্বনিম্নে রূপান্তর করে বিশ্বব্যাপী সর্বনিম্নে নয়। কেন? আমি যৌক্তিকভাবে ভাবতে পারি যে কীভাবে সূচনাটি চূড়ান্ত ক্লাস্টারিংয়ের উপর প্রভাব ফেলতে পারে এবং উপ-সর্বোত্তম ক্লাস্টারিংয়ের সম্ভাবনা রয়েছে, তবে আমি এমন কিছু পাইনি যা গাণিতিকভাবে এটি প্রমাণ করবে। এছাড়াও, কেন-কেন একটি পুনরাবৃত্তি প্রক্রিয়া? আমরা কেবল সেন্ট্রয়েডগুলিতে …

17 clustering  k-means  convergence  gradient-descent  minimum 

উভয় পদ্ধতির প্রো ও কনস কী?

16 maximum-likelihood  predictive-models  optimization  gradient-descent 

আমি বর্তমানে জন ডুচি এবং ইওরাম সিঙ্গার দ্বারা ফরোয়ার্ড-ব্যাকওয়ার্ড স্প্লিটিং ব্যবহার করে দক্ষ অনলাইনে এবং ব্যাচ লার্নিংটি কাগজটি পড়েছি । 'অনলাইন' এবং 'ব্যাচ' পদগুলির ব্যবহার সম্পর্কে আমি খুব বিভ্রান্ত। আমি ভেবেছিলাম 'অনলাইন' এর অর্থ আমরা প্রশিক্ষণের ডেটার এক ইউনিট প্রক্রিয়াকরণের পরে ওজনের পরামিতিগুলি আপডেট করি। তারপরে আমরা প্রশিক্ষণের ডেটার পরবর্তী …

16 machine-learning  online  gradient-descent 

স্ট্যান্ডার্ড গ্রেডিয়েন্ট বংশোদ্ভূত পুরো প্রশিক্ষণ ডেটাসেটের জন্য গ্রেডিয়েন্ট গণনা করবে। for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad একটি প্রাক সংজ্ঞায়িত সংখ্যার জন্য, আমরা প্রথমে সম্পূর্ণ ডেটাসেটের জন্য আমাদের প্যারামিটার ভেক্টর প্যারামগুলির জন্য ক্ষতির ফাংশনের গ্রেডিয়েন্ট ভেক্টর ওয়েট_ গ্রেড গণনা করি। বিপরীতে …

15 machine-learning  optimization  gradient-descent  computational-statistics  sgd 

আমি বিভিন্ন পেরসেপ্ট্রন বাস্তবায়নের জন্য কিছুটা পরীক্ষা করেছি এবং "পুনরুক্তি" সঠিকভাবে বুঝতে পারছি কিনা তা নিশ্চিত করতে চাই। রোজেনব্ল্যাট এর মূল পার্সেপেট্রন নিয়ম যতদূর আমি বুঝতে পেরেছি, রোজেনব্ল্যাটের ক্লাসিক পার্সেপেট্রন অ্যালগরিদমে, ওজনগুলি প্রতিটি প্রশিক্ষণের উদাহরণের সাথে একযোগে আপডেট করা হয় যার মাধ্যমে Δw(t+1)=Δw(t)+η(target−actual)xiΔw(t+1)=Δw(t)+η(target−actual)xi\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + \eta(target - actual)x_i যেখানে …

15 optimization  gradient-descent  perceptron 

আমি যখন মিনি ব্যাচের গ্রেডিয়েন্ট শালীন প্রয়োগ করেছি, তখন আমি প্রশিক্ষণ ব্যাচের সমস্ত উদাহরণের গ্রেডিয়েন্টগুলি গড়েছি। তবে, আমি লক্ষ্য করেছি যে অনলাইন গ্রেডিয়েন্ট শালীনের তুলনায় এখন অনুকূল শিক্ষার হার অনেক বেশি। আমার অন্তর্নিহিততা এটি কারণ হ'ল গড় গ্রেডিয়েন্টটি কম গোলমাল এবং এটি দ্রুত অনুসরণ করা যেতে পারে। সুতরাং সম্ভবত এটি …

15 neural-networks  gradient-descent  backpropagation 

আমি সংমিশ্রণীয় নিউরাল নেটওয়ার্কগুলি সম্পর্কে অনেকগুলি পড়ছি এবং ভাবছিলাম যে তারা কীভাবে নষ্ট হওয়া গ্রেডিয়েন্ট সমস্যাটিকে এড়িয়ে চলে। আমি জানি গভীর বিশ্বাস নেটওয়ার্কগুলি একক স্তরের অটো-এনকোডার বা অন্যান্য প্রাক-প্রশিক্ষিত অগভীর নেটওয়ার্কগুলি স্ট্যাক করে এবং এই সমস্যাটি এড়াতে পারে তবে সিএনএন-তে কীভাবে এড়ানো যায় তা আমি জানি না। উইকিপিডিয়া অনুসারে : …

15 machine-learning  optimization  deep-learning  gradient-descent 

গভীর শেখার সাহিত্য গ্রেডিয়েন্ট বংশোদ্ভূত অ-ধ্রুবক শিক্ষার হার ব্যবহার করে চতুর কৌশল দ্বারা পূর্ণ। ক্ষতিকারক ক্ষয়, আরএমএসপ্রপ, অ্যাডাগ্রাড ইত্যাদির মতো বিষয়গুলি কার্যকর করা সহজ এবং প্রতিটি গভীর শেখার প্যাকেজে পাওয়া যায়, তবুও এগুলি নিউরাল নেটওয়ার্কগুলির বাইরে অস্তিত্বহীন বলে মনে হয়। এটির জন্যে কোন কারণ আছে কি? যদি এটি হয় যে …

14 machine-learning  deep-learning  optimization  gradient-descent 

মিনি ব্যাচের গ্রেডিয়েন্ট বংশোদ্ভূত কীভাবে একটি জিন পয়েন্টে আটকা যেতে পারে তা নিয়ে আমি বর্তমানে কিছুটা বিস্মিত হয়েছি। সমাধানটি খুব তুচ্ছ হতে পারে যা আমি এটি পাই না। আপনি একটি নতুন নমুনা প্রত্যেক যুগে পেতে, এবং এটি একটি নতুন একটি নতুন ব্যাচ উপর ভিত্তি করে ত্রুটি নির্ণয়, তাই খরচ ফাংশন …

14 gradient-descent  sgd 

একটি প্রাসঙ্গিক-দস্যু সমস্যা সমাধানের জন্য আমি স্বরযুক্ত ওয়াবিট ব্যবহার করছি । আমি ব্যবহারকারীদের বিজ্ঞাপন প্রদর্শন করছি, এবং বিজ্ঞাপনটি যে প্রসঙ্গে দেখানো হয়েছে (যেমন ব্যবহারকারী ব্যবহারকারী, তারা কোন সাইটে আছেন ইত্যাদি) সম্পর্কে আমার কাছে যথেষ্ট তথ্য রয়েছে। জন ল্যাংফোর্ডের বর্ণনা অনুসারে এটি একটি দুর্দান্ত ক্লাসিক প্রাসঙ্গিক দস্যু সমস্যা বলে মনে হচ্ছে …

14 multinomial  gradient-descent  multiarmed-bandit  vowpal-wabbit  contextual-bandit 

স্ট্যানফোর্ডে অ্যান্ড্রু এনগির বিনামূল্যে অনলাইন মেশিন লার্নিং কোর্সে আমি ভিডিওগুলি নিয়ে যাচ্ছি । তিনি গ্রেডিয়েন্ট বংশোদ্ভূতকে অ্যালগরিদম হিসাবে অষ্টাভে এটি সম্পাদন করার জন্য লিনিয়ার রিগ্রেশন এবং লেখার কাজগুলি সমাধান করার জন্য আলোচনা করেন ses সম্ভবত আমি আর এ ফাংশনগুলি আবার লিখতে পারি, তবে আমার প্রশ্নটি কি lm () ফাংশনটি ইতিমধ্যে …

14 r  regression  machine-learning  gradient-descent 

আসুন ধরা যাক আমাদের ডেটা সেটটিতে 1 মিলিয়ন উদাহরণ রয়েছে, যেমন, and, এবং আমরা এই ডেটা সেটটিতে লজিস্টিক বা লিনিয়ার রিগ্রেশন সঞ্চালনের জন্য গ্রেডিয়েন্ট ব্যবহার করতে চাই।x1,…,x106x1,…,x106x_1, \ldots, x_{10^6} গ্রেডিয়েন্ট বংশোদ্ভূত পদ্ধতিটি কী এটি এটি অদক্ষ করে তোলে? রিকল যে সময়ে গ্রেডিয়েন্ট বংশদ্ভুত ধাপ দেওয়া হয়:ttt wt+1=wt+ηt∇f(x)wt+1=wt+ηt∇f(x)w_{t+1} = w_{t} + …

13 machine-learning  gradient-descent  large-data 

সম্প্রতি আমি ইয়ান ডাউফিন এট আল-র একটি কাগজ পড়েছি। হাই-ডাইমেনশনাল নন-কনভেক্স অপটিমাইজেশনে স্যাডল পয়েন্ট সমস্যার সনাক্তকরণ এবং আক্রমণ করা , যেখানে তারা স্যাডল-ফ্রি নিউটন নামে একটি আকর্ষণীয় বংশদ্ভুত অ্যালগরিদম প্রবর্তন করে , যা ঠিক নিউরাল নেটওয়ার্ক অপ্টিমাইজেশনের জন্য উপযুক্ত বলে মনে হয় এবং স্যাডল পয়েন্টগুলিতে আটকা পড়তে হবে না ভ্যানিলা …

13 optimization  deep-learning  gradient-descent 

কিছু পাইথন এবং স্ক্লার্ন শিখার চেষ্টা করছি, তবে আমার কাজের জন্য আমাকে এমন নিবন্ধগুলি চালনা করতে হবে যা পোইসন, গামা এবং বিশেষত টোয়েডি পরিবারগুলির ত্রুটি বিতরণ ব্যবহার করে। আমি তাদের সম্পর্কে ডকুমেন্টেশনে কিছু দেখতে পাচ্ছি না, তবে তারা আর বিতরণের বেশ কয়েকটি অংশে রয়েছে, তাই আমি ভাবছিলাম যে পাইথনের জন্য …

13 generalized-linear-model  python  scikit-learn  gradient-descent  tweedie-distribution 

এমন কোনও সাহিত্য আছে যা স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত হওয়ার সময় মিনিবেচের আকারের পছন্দটি পরীক্ষা করে? আমার অভিজ্ঞতাকে, এটি একটি অভিজ্ঞতাগত পছন্দ বলে মনে হয়, সাধারণত ক্রস-বৈধতা বা থাম্বের বিভিন্ন নিয়ম ব্যবহার করে পাওয়া যায়। বৈধতা ত্রুটি হ্রাস হওয়ায় আস্তে আস্তে মিনিব্যাচের আকার বাড়ানো কি ভাল ধারণা? এটি সাধারণকরণের ত্রুটিতে কী …

13 machine-learning  gradient-descent  hyperparameter  deep-learning