নিউরাল নেটওয়ার্ক থেকে কীভাবে আসল-মূল্যবান ক্রমাগত আউটপুট পাবেন?

Question

নিউরাল নেটওয়ার্কগুলির এখনও অবধি আমি বেশিরভাগ উদাহরণে দেখেছি, নেটওয়ার্কটি শ্রেণিবদ্ধকরণের জন্য ব্যবহৃত হয় এবং নোডগুলি সিগময়েড ফাংশন দিয়ে রূপান্তরিত হয়। যাইহোক, আমি একটি অবিচ্ছিন্ন আসল মান আউটপুট করতে একটি নিউরাল নেটওয়ার্ক ব্যবহার করতে চাই (বাস্তবে আউটপুটটি সাধারণত -5 থেকে +5 এর মধ্যে থাকে)।

আমার প্রশ্নগুলি হ'ল:

1. Should I still scale the input features using feature scaling? What range?
2. What transformation function should I use in place of the sigmoid?

আমি প্রাথমিকভাবে এটি পাইব্রাইন বাস্তবায়ন করতে দেখছি যা এই স্তরগুলির বর্ণনা দেয় ।

সুতরাং আমি ভাবছি যে শুরু করার জন্য আমার কাছে 3 স্তর থাকা উচিত (একটি ইনপুট, লুকানো এবং আউটপুট স্তর) যা সমস্ত লিনিয়ার স্তর রয়েছে? এটা কি যুক্তিযুক্ত উপায়? অথবা বিকল্পভাবে আমি সিগময়েড ফাংশন -5 থেকে 5 এর মধ্যে "প্রসারিত" করতে পারি?

Comments

নিশ্চিত যে আপনি সিগময়েড ব্যবহার করতে পারেন । উদাহরণস্বরূপ লজিস্টিক ফাংশন থেকে শুরু করুন, 10 দ্বারা গুণিত করুন, 5 কে বিয়োগ করুন ...$[-\infty, \infty] \mapsto [-5, 5]$

— এসবিএল

এমন কোনও কারণ আছে যা আপনি দুটি গোপন স্তর ব্যবহার করা এড়িয়ে চলেছেন? এটি একটি নিউরাল নেটওয়ার্ক থেকে বাস্তব-মূল্যবান অবিচ্ছিন্ন আউটপুট প্রাপ্তি সম্পাদনের সহজতম উপায় বলে মনে হয়। "যে কোনও ফাংশন দুটি গোপন স্তর সহ নেটওয়ার্কের মাধ্যমে স্বেচ্ছাসেবী নির্ভুলতার সাথে সংযুক্ত করা যায়" (মিশেল মেশিন লার্নিং পাঠ্য স্লাইড 26: cs.cmu.edu/afs/cs.cmu.edu/project/theo-20/ এর নোটগুলিতে উল্লেখ করা হয়েছে) www / mlbook / ch4.pdf )

— ক্রিস সিমোকট

@ ক্রিসসিমোক্যাট: না, তবে আমি এখন পর্যন্ত যা পড়েছি তার বেশিরভাগটিই একটি একক লুকানো স্তরকে যুক্তিসঙ্গত সূচনা পয়েন্ট হিসাবে দেখায়। একটি একক আড়াল স্তর নেটওয়ার্ক কোনও ফাংশন আনুমানিক না করতে পারে?

— ব্যবহারকারী

@ ক্রিসসিমোক্যাট: সম্ভবত আমি কিছু মিস করছি তবে আমি ভেবেছিলাম একক লুকানো স্তরটি "একক স্তর পার্সেপট্রন" এর সমান নয়, না?

— ব্যবহারকারী

না আপনি কিছু মিস করছেন না আমি আপাতদৃষ্টিতে এ সম্পর্কে খুব দুঃখিত অনুভব করছি না।

— ক্রিস সিমোকট

Answer 1

ঘ । ফিচার স্কেলিংটি ব্যবহার করে কি আমার এখনও ইনপুট বৈশিষ্ট্যগুলি স্কেল করা উচিত? কি পরিসীমা?

স্কেলিং কিছু খারাপ করে না। সরলে এর নিউরাল নেটওয়ার্ক এফএকিউ থেকে উত্তরটি পড়ুন: বিষয়: আমি কি ডেটাটি স্বাভাবিক / মানায়িত / পুনরুদ্ধার করব? ।

ঘ । সিগময়েডের জায়গায় আমার কোন রূপান্তর ফাংশন ব্যবহার করা উচিত?

অ্যাক্টিভেশন ফাংশন হিসাবে আপনি লজিস্টিক সিগময়েড বা তান ব্যবহার করতে পারেন। তাতে কিছু যায় আসে না। আপনার শেখার অ্যালগরিদম পরিবর্তন করতে হবে না। আপনাকে কেবলমাত্র আপনার প্রশিক্ষণের আউটপুটগুলি আউটপুট স্তর অ্যাক্টিভেশন ফাংশনের ( বা ) এর করতে হবে এবং আপনি যখন আপনার নেটওয়ার্ক প্রশিক্ষণ দিয়েছিলেন তখন আপনাকে আপনার আউটপুটটি স্কেল করতে হবে নেটওয়ার্কে । আপনাকে সত্যিই অন্য কিছু পরিবর্তন করতে হবে না।[ - 1 , 1 ] [ - 5 , 5 $[0,1]$$[-1,1]$$[-5,5]$

Comments

[-5,5] পরিসীমাতে নিউরাল নেটওয়ার্ক আউটপুট স্কেল করার সঠিক উপায় কী?

— ব্যবহারকারী

একটি অন্তর উপাদান স্কেল করতে আপনাকে গণনা করতে হবে । [ c , d ] e - $e \in [a,b]$$[c,d]$$\frac{e-a}{b-a} \cdot (d-c)+c$

— আলফা

তবে যেহেতু সিগময়েড অ-রৈখিক, অভিন্ন বিতরণের সাথে সিগময়েডের মান স্যাম্পল করে আমরা সম্ভবত 1 এর কাছাকাছি বা 0 এর কাছাকাছি কিছু পেয়ে যাব যার অর্থ আমাদের আরও ভালভাবে মাঝখানে মানগুলি বাছতে আমাদের নেটওয়ার্ক শিখতে হবে। সিগময়েড + স্কেলিং কি আসলেই ভাল পছন্দ?

— স্মারটইয়

Answer 2

দাবি অস্বীকার: উপস্থাপিত পদ্ধতিটি অবিচ্ছিন্ন মানগুলির পক্ষে কার্যকর নয়, তবে আমি বিশ্বাস করি প্রকল্পটির জন্য সিদ্ধান্ত গ্রহণে কিছুটা ওজন বহন করে স্মারটি 7777 একটি উদ্ধারকৃত সিগময়েড ফাংশনটি ব্যবহারের জন্য একটি ভাল বিষয় নিয়ে আসে। সহজাতভাবে, সিগময়েড ফাংশন একটি সম্ভাবনা তৈরি করে, যা একটি নমুনা সাফল্যের হার বর্ণনা করে (অর্থাত এই বৈশিষ্ট্যযুক্ত 100 টির মধ্যে 95 টি সফলভাবে 'কুকুর')। বর্ণিত চূড়ান্ত ফলাফলটি একটি বাইনারি, এবং প্রশিক্ষণ, 'বাইনারি ক্রস-এন্ট্রপি' ব্যবহার করে ডায়ামেট্রিকভাবে বিরোধী ফলাফলগুলি পৃথক করার প্রক্রিয়া বর্ণনা করে, যা মধ্যম সীমার ফলাফলকে সহজাতভাবে নিরুৎসাহিত করে। আউটপুটটির ধারাবাহিকতা কেবলমাত্র নমুনার সংখ্যার উপর ভিত্তি করে স্কেলিংয়ের জন্য রয়েছে (উদাহরণস্বরূপ ০.৯761১ এর অর্থ এই যে বা অনুরূপ ট্রিটস প্রদর্শনকারী 10000 নমুনার মধ্যে 9761 'কুকুর'), তবে প্রতিটি ফলাফল নিজেই বাইনারি হিসাবে বিবেচনা করা উচিত এবং নির্বিচারে দানাদার নয়। এই হিসাবে, এটির জন্য ভুল নম্বর দেওয়া উচিত নয় এবং এক হিসাবে আসল সংখ্যা হিসাবে প্রয়োগ করা উচিত এবং এটি এখানে প্রযোজ্য নয়। যদিও আমি নেটওয়ার্কটির ব্যবহার সম্পর্কে নিশ্চিত নই, তবে আমি আউটপুট ভেক্টরটি নিজেই স্বাভাবিক করব। এটি সফটম্যাক্স দিয়ে করা যেতে পারে। এটির জন্য নেটওয়ার্ক থেকে 11 লিনিয়ার আউটপুট (বিন) থাকা প্রয়োজন (প্রতিটি আউটপুট -5 থেকে +5 এর জন্য একটি), প্রতিটি শ্রেণীর জন্য একটি for এটি যে কোনও একটি 'বিন' এর সঠিক উত্তর হওয়ায় একটি আশ্বাসের মান সরবরাহ করবে। এই আর্কিটেকচারটি এক-হট এনকোডিংয়ের সাথে প্রশিক্ষণযোগ্য হবে, 1 টি সঠিক বিনটিকে নির্দেশ করে। লোভী কৌশল বা সম্ভাব্য নমুনার নমুনার মতো ফলাফলটি কোনও পদ্ধতিতে তখন ব্যাখ্যাযোগ্য। যাইহোক, এটি একটি অবিচ্ছিন্ন পরিবর্তনশীল হিসাবে পুনরায় আবদ্ধ করতে, প্রতিটি সূচকের নিশ্চয়তা ওজন হিসাবে একটি নম্বর-লাইনে চিহ্নিত করা (সিগময়েড ইউনিটের আচরণের সমান) হিসাবে ওজন হিসাবে ব্যবহার করা যেতে পারে, তবে এটি প্রাথমিক সমস্যাটিকেও হাইলাইট করে: যদি নেটওয়ার্কটি মোটামুটি নিশ্চিত হয় তবে ফলাফলটি -2 বা +3, তবে একেবারে নিশ্চিত যে এটি অন্য কিছু নয়, এটি কি +1 একটি কার্যকর ফলাফল? আপনার বিবেচনার জন্য আপনাকে ধন্যবাদ। তোমার প্রোজেক্ট এর জন্য শুভকামনা।