গভীর শিক্ষায় ওজন ও পক্ষপাত কী?

Question

আমি টেনসরফ্লো ওয়েবসাইট থেকে মেশিন শিখতে শুরু করছি। আমি একটি গভীর শিক্ষণ কর্মসূচী অনুসরণ করে প্রবাহের খুব খুব প্রাথমিক বিষয়বস্তু বিকাশ করেছি (এই পদ্ধতিটি আমাকে বই এবং বড় নিবন্ধগুলি পড়ার পরিবর্তে দ্রুত শিখিয়ে তোলে)।

আমি কয়েকটি বিভ্রান্তিকর জিনিস পেয়েছি যেগুলির মধ্যে আমি 2 টির মধ্যে রয়েছে:

1. পক্ষপাত
2. ওজন

টেনসরফ্লো ওয়েবসাইটে এমএনআইএসটি টিউটোরিয়ালে, তারা উল্লেখ করেছেন যে কোনও চিত্রের মধ্যে একটি নির্দিষ্ট প্যাটার্নের অস্তিত্বের প্রমাণ পেতে আমাদের পক্ষপাত এবং ওজন প্রয়োজন। আমি যা বুঝতে পারি না তা হ'ল, কোথায় এবং কীভাবে বায়াস এবং ওজনের মান নির্ধারণ করা হয়?

আমাদের কি এই মানগুলি সরবরাহ করতে হবে বা টেনসরফ্লো লাইব্রেরি প্রশিক্ষণ ডেটা সেটের ভিত্তিতে স্বয়ংক্রিয়ভাবে এই মানগুলি গণনা করে?

এছাড়াও যদি আপনি গভীর শিক্ষার ক্ষেত্রে আমার গতি কীভাবে ত্বরান্বিত করতে চান সে সম্পর্কে কিছু পরামর্শ দিতে পারতেন, তবে দুর্দান্ত হবে!

টেনসরফ্লো শুরুর টিউটোরিয়াল

Comments

একটি পরিসংখ্যানের মডেলের পরামিতি হিসাবে , তারা আপনার ডেটা নির্ভর করে এমন একটি ক্ষতির ফাংশন হ্রাস করে শিখেছে বা অনুমান করা হয় । এবং এটিই মেশিন লার্নিং সম্পর্কে। আপনি যদি এই শিক্ষাগত পদ্ধতিটি অনুসরণ করেন তবে আপনি প্রচুর প্রশ্ন জিজ্ঞাসা করছেন। আমি কাউসারার মতো একটি এমওওসি নেওয়ার পরামর্শ দিচ্ছি যাতে আপনি জিনিসগুলি একটি বুদ্ধিমান ক্রমে শিখতে পারেন।

— এমরে

এটি খুব বেসিক, সুতরাং আপনার @ ইমর প্রস্তাবিত মত একটি কোর্স করা উচিত।

— হ্যালো ওয়ার্ল্ড

Answer 1

গাণিতিকভাবে বলছি। আপনি কল্পনা করুন যে আপনি একটি মডেল (কোনও ধরণের নয়, চিত্র 8 টি)

$Y = WX + nigerian$

তাহলে আপনি কি বোঝেন? পক্ষপাতদুষ্ট হ'ল আপনার মতো মডেলটিতে পূর্ব-ধারণা um

যুক্তিযুক্তভাবে ওজন হিসাবে, ওজন আপনার গ্রেডিয়েন্ট (লিনিয়ার বীজগণিত মধ্যে একটি),

গ্রেডিয়েন্ট কী? এটি লিনিয়ার ফাংশনের খাড়াতা।

লিনিয়ার গ্রেডিয়েন্টটি কী খুব খাড়া করে তোলে (উচ্চ ধনাত্মক মান)?

এর কারণ X (ইনপুট) এর সামান্য পরিবর্তনগুলি Y অক্ষ (আউটপুট) এ বড় পার্থক্য সৃষ্টি করে। সুতরাং আপনি (আর কোনও মডেল হিসাবে নন, তবে একটি উজ্জ্বল গণিতবিদ (আপনার পরিবর্তিত অহং)) বা আপনার কম্পিউটার এই গ্রেডিয়েন্টটি সন্ধান করার চেষ্টা করে, যা আপনি ওজন বলতে পারেন। পার্থক্যটি হ'ল এটি সন্ধানের জন্য আপনি একটি পেন্সিল এবং গ্রাফ বইটি ব্যবহার করেন তবে ব্ল্যাক বক্সটি রেজিস্ট্রারগুলির সাথে বৈদ্যুতিন যাদু করে।

মেশিন লার্নিং প্রক্রিয়াতে, কম্পিউটার বা আপনি ডেটা পয়েন্টগুলি জুড়ে অনেকগুলি সরল রেখা বা লিনিয়ার ফাংশন আঁকার চেষ্টা করেন,

আপনি কেন অনেক সরল রেখা আঁকতে চেষ্টা করেন?

কারণ আপনার গ্রাফ বই / কম্পিউটার মেমরিতে, আপনি চেষ্টা করছেন যে লাইনটি অ্যাপোপ্রেটলি ফিট করে।

আমি বা কম্পিউটার সঠিকভাবে ফিট করে এমন রেখাটি কীভাবে জানতে পারি?

আমার মাধ্যমিক বিদ্যালয়ে, আমাকে ডেটা পয়েন্টগুলি জুড়ে একটি লাইন আঁকতে শেখানো হয়েছিল, সমস্ত ডেটা পয়েন্টের মাঝখানে পুরোপুরিভাবে কেটে যায় এমন লাইনটি চাক্ষুষরূপে পরীক্ষা করে দেখানো those । কম্পিউটার হিসাবে, এটি ডাটা পয়েন্টগুলির প্রতি প্রতিটি লাইনের স্ট্যান্ডার্ড বিচ্যুতি এবং তারতম্য চেষ্টা করে। সর্বনিম্ন বিচ্যুতি সহ লাইনটি (কখনও কখনও এটিকে ত্রুটির ফাংশন বলবে) বেছেসেন হয়।

শান্ত! সুতরাং এবং কি ঘটবে

সেই লাইনের গ্রেডিয়েন্ট গণনা করা যাক, শিখুন যে ওজন শিখার সমস্যাটি গণনা করা হয়

মেশিন লার্নিং এর প্রাথমিক বোঝাপড়া এবং একটি উচ্চ বিদ্যালয়ের শিক্ষার্থী তার / তার গ্রাফবুকে প্লাটফর্ম গ্রাফ এনেছে

Answer 2

আমি আপনার প্রশ্নের মতামতগুলির সাথে একমত হয়েছি যে আপনি অবশ্যই কোর্সেরার অ্যান্ড্রু এনজির মেশিন লার্নিংটি অবশ্যই একটি কোর্সটি সন্ধান করবেন , এটি একটি অত্যন্ত সম্মানিত, নিখরচায় পরিচয়মূলক কোর্স। এটি মেশিন লার্নিংয়ের মৌলিক বিষয়গুলির একটি প্রাথমিক প্রশ্ন। এই হিসাবে আমি এই উত্তরে গণিতগুলি আবরণ করছি না, আপনি যে কোর্স সহ অনেক জায়গা থেকে এটি পেতে পারেন।

কোথায় এবং কীভাবে বায়াস এবং ওজনের মান নির্ধারণ করা হয়?

ওজন এবং বায়াসগুলি আপনার মডেলের শেখার পরামিতি। নিউরাল নেটওয়ার্কগুলির পাশাপাশি, তারা লিনিয়ার রিগ্রেশন সম্পর্কিত মডেলগুলিতে একই নামের সাথে উপস্থিত হয়। বেশিরভাগ মেশিন লার্নিং অ্যালগরিদমগুলিতে এর মতো কিছু শেখার পরামিতি অন্তর্ভুক্ত থাকে।

এই পরামিতিগুলির মানগুলি শিখতে শুরু করার আগে এলোমেলোভাবে সূচনা করা হয় (এটি তাদের সমস্তকে একক মানে রূপান্তরিত করে)। তারপরে প্রশিক্ষণের সময় ডেটা উপস্থাপন করার সময় এগুলি সঠিক মানের আউটপুট রয়েছে এমন মানগুলির দিকে সামঞ্জস্য হয়।

আমাদের কি এই মানগুলি সরবরাহ করতে হবে বা টেনসরফ্লো লাইব্রেরি প্রশিক্ষণ ডেটা সেটের ভিত্তিতে স্বয়ংক্রিয়ভাবে এই মানগুলি গণনা করে?

প্রশিক্ষণের আগে আপনাকে মান সরবরাহ করার দরকার নেই, যদিও আপনি কতগুলি পরামিতি থাকতে হবে এমন বিষয়গুলি সিদ্ধান্ত নিতে চাইতে পারেন (নিউরাল নেটওয়ার্কগুলিতে যা প্রতিটি স্তরের আকার দ্বারা নিয়ন্ত্রিত হয়)। টেনসরফ্লো প্রশিক্ষণের সময় স্বয়ংক্রিয়ভাবে মানগুলি গণনা করে। আপনার যদি ইতিমধ্যে প্রশিক্ষিত মডেল থাকে এবং এটি পুনরায় ব্যবহার করতে চান, তখন আপনি ফাইলগুলি থেকে লোড করে সরাসরি মানগুলি সেট করতে চান।

টিউটোরিয়াল থেকে ওজন এবং বায়াসে পরিবর্তনগুলি পরিচালনা করে এমন নির্দিষ্ট কোডটি হ'ল:

train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

এবং এই:

sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

প্রথম লাইনে ওজন এবং মানগুলি কীভাবে পরিবর্তন করা হবে তা নির্ধারণ করে। আপনি প্রায় আক্ষরিক হিসাবে এটি পড়তে পারেন "সরবরাহকৃত ডেটার ক্রস এনট্রপি কমাতে গ্রেডিয়েন্ট বংশোদ্ভূত অপ্টিমাইজার ব্যবহার করে এমন একটি প্রশিক্ষণ ফাংশন সংজ্ঞায়িত করুন"।

$y$$x$

Answer 3

ওজন - ওজনই সংযোগের শক্তি। যদি আমি ইনপুট বৃদ্ধি করি তবে আউটপুটটিতে এর কতটা প্রভাব রয়েছে।

শূন্যের নিকটে ওজন মানে এই ইনপুটটি পরিবর্তন করলে আউটপুট পরিবর্তন হবে না। নেটওয়ার্ককে সহজ করার জন্য অনেক অ্যালগরিদম স্বয়ংক্রিয়ভাবে সেই ওজনগুলিকে শূন্যে সেট করে।

বায়াস - এর অর্থ হল যে আমাদের ভবিষ্যদ্বাণীগুলি আসল মূল্যবোধ থেকে কতটা দূরে। সাধারণত প্যারামেট্রিক অ্যালগরিদমে একটি উচ্চ পক্ষপাত থাকে যা তাদের শেখার জন্য দ্রুত এবং বুঝতে সহজতর তবে সাধারণত কম নমনীয় হয়। পরিবর্তে তাদের জটিল সমস্যাগুলির উপর নিম্ন ভবিষ্যদ্বাণীপূর্ণ পারফরম্যান্স রয়েছে যা অ্যালগোরিদম পক্ষপাতের সরলকরণ অনুমানগুলি পূরণ করতে ব্যর্থ হয়।

লো বায়াস : লক্ষ্য ফাংশনটির ফর্ম সম্পর্কে আরও অনুমানের পরামর্শ দেয়।

হাই-বিয়া এস: লক্ষ্য ফাংশনের ফর্ম সম্পর্কে কম অনুমানের পরামর্শ দেয়।

Comments

ওপি একটি নিউরাল নেটওয়ার্কে বায়াস প্যারামিটার সম্পর্কে জিজ্ঞাসা করছিল। পক্ষপাতদুষ্টের জন্য আপনার সংজ্ঞাগুলি ঠিক আছে, তবে প্রশ্নের উত্তর দেবেন না।

— নীল স্লেটার