নিউরাল নেটওয়ার্ক পূর্বাভাসের আস্থা কীভাবে নির্ধারণ করবেন?


22

আমার প্রশ্নটি উদাহরণস্বরূপ, ধরুন যে আমার কাছে এমন একটি প্রশিক্ষণ সেট রয়েছে যেখানে ইনপুটটিতে কিছুটা আওয়াজ পাওয়া যায় তবে আউটপুটটি উদাহরণস্বরূপ হয় না;

# Training data
[1.02, 1.95, 2.01, 3.06] : [1.0]
[2.03, 4.11, 5.92, 8.00] : [2.0]
[10.01, 11.02, 11.96, 12.04] : [1.0]
[2.99, 6.06, 9.01, 12.10] : [3.0]

এখানে আউটপুট হ'ল ইনপুট অ্যারের গ্রেডিয়েন্ট যদি এটি নির্বোধ হয় (প্রকৃত গ্রেডিয়েন্ট নয়)।

নেটওয়ার্কটি প্রশিক্ষণের পরে, প্রদত্ত ইনপুটটির জন্য আউটপুটটিকে এমন কিছু দেখা উচিত।

# Expected Output
[1.01, 1.96, 2.00, 3.06] : 95% confidence interval of [0.97, 1.03]
[2.03, 4.11, 3.89, 3.51] : 95% confidence interval of [2.30, 4.12]

আমার প্রশ্ন হ'ল কীভাবে একটি নিউরাল নেটওয়ার্ক তৈরি করা যায় যে এটি একটি পূর্বাভাসিত মান এবং আত্মবিশ্বাসের একটি পরিমাপ যেমন একটি বৈকল্পিকতা বা আত্মবিশ্বাসের ব্যবধানকে ফিরিয়ে দেবে?


3
যদি আপনি এমন কোনও বিরতি সন্ধান করছেন যা ভবিষ্যতের উপলব্ধি ধারণ করে , তবে আপনি একটি ভবিষ্যদ্বাণী-অন্তরালের সন্ধান করছেন , আত্মবিশ্বাস-বিরতি নয় যা অলক্ষণীয় পরামিতিগুলির সাথে সম্পর্কিত । এটি প্রায়শই বিভ্রান্ত হয়।
এস। কোলাসা - মনিকা

উত্তর:


20

দেখে মনে হচ্ছে আপনি কোনও খুঁজছেন , অর্থাত্, একটি বিরতি যা ভবিষ্যতের উপলব্ধির একটি পূর্বনির্ধারিত শতাংশ ধারণ করে। ( পার্থক্যটির জন্য এবং জন্য ট্যাগ উইকিগুলি দেখুন ))

আপনার সেরা বাজি সম্ভবত এনএন আর্কিটেকচারের সাথে সরাসরি কাজ করবে যা একক পয়েন্ট পূর্বাভাস দেয় না, তবে পুরো ভবিষ্যদ্বাণীমূলক বিতরণ । তারপরে আপনি এই বিতরণগুলি থেকে সরাসরি পছন্দসই পূর্বাভাস অন্তরগুলি (বা গড়, বা মিডিয়ান পয়েন্ট পূর্বাভাস) বের করতে পারেন। আমি এবং অন্যরা এই যুক্তি দিয়ে আসছি যে ভবিষ্যদ্বাণীপূর্ণ বিতরণগুলি বিন্দু পূর্বাভাসের তুলনায় অনেক বেশি কার্যকর , তবে সত্যি কথা বলতে, আমি এখনও নিউরাল নেট দিয়ে ভবিষ্যদ্বাণীমূলক বিতরণ সম্পর্কে খুব বেশি কাজ দেখিনি, যদিও আমি চোখ খোলা রেখে চলেছি। এই কাগজটি মনে হচ্ছে এটি কার্যকর হতে পারে। আপনি কিছুটা অনুসন্ধান করতে চাইতে পারেন, সম্ভবত অন্যান্য পূর্বাভাস বিতরণ বা "ভবিষ্যদ্বাণীমূলক ঘনত্ব" এবং এর মতো অন্যান্য কীওয়ার্ডও ব্যবহার করতে পারেন।

এটি বলেছিল, আপনি মাইকেল ফিন্ডের নিউরোবেইস অ্যালগরিদমটি সন্ধান করতে চাইতে পারেন , যা ভবিষ্যদ্বাণীীয় ঘনত্বের পূর্বাভাস দেওয়ার জন্য একটি বায়সিয়ান পদ্ধতির ব্যবহার করে।


1
এটি অন্য দরকারী কাগজ হতে পারে - একটি নিউরাল নেট যা বিতরণগুলি শিখে: google.com/…
প্রো কিউ

@ স্টেফান: লিঙ্কটি শেষ হয়ে গেছে: (
ম্যাথু ড্রুরি

@ ম্যাথেজড্রুরি: আপনি কোন লিঙ্কটি বোঝাতে চাইছেন? তিনজনই আমার জন্য ভাল কাজ করছে।
এস। কোলাসা - মনিকা

আপনি কি আমাদের এনএন প্রেডিকটিভ ডিস্ট্রিবিউশনগুলির সাথে একটি সাধারণ টার্নসরফ্লো ডেমো / উদাহরণে যেতে পারেন?
মার্টিন থেগারসেন

@ মার্টিনথগার্সেন: দুঃখিত, না, আমি টেনস্রোফ্লো ব্যবহার করি না ...
এস কোলাসা - মনিকা পুনরায় ইনস্টল করুন

5

আমি নিশ্চিত নই যে আপনি একটি একক পূর্বাভাসের জন্য একটি আত্মবিশ্বাসের ব্যবধান গণনা করতে পারেন তবে পুরো ডেটাসেটের ত্রুটি হারের জন্য আপনি সত্যিকার অর্থে একটি আত্মবিশ্বাসের ব্যবধান গণনা করতে পারেন (আপনি নির্ভুলতার জন্য সাধারণীকরণ করতে পারেন এবং যা যা মূল্যায়ন করছেন তা নির্ধারণ করতে পারেন))

যদি আপনার ত্রুটি হার থাকাকালীন কিছু ডেটা classifying S আকারের এন , আপনার ত্রুটি হার 95% আস্থা ব্যবধান দেওয়া হয়: ± 1.96 eSn

e±1.96e(1e)n

(টম মিশেল, অধ্যায় 5 এর "মেশিন লার্নিং" বইটি দেখুন)

সম্পাদনা

অনুমান করুন আমার আরও সাধারণ মামলা করা উচিত, যা হ'ল: যেখানেzএনএরজন্য সাধারণ পছন্দগুলিনীচের টেবিলে তালিকাবদ্ধ রয়েছে:

±z- রএন(1-)এন,
z- রএন
confidence level    80%    90%    95%    98%    99%
values of zN       1.28   1.64   1.96   2.33   2.58

1
এর জন্য অ্যাসিম্পটোটিক বিতরণ স্বাভাবিক হওয়া প্রয়োজন
ব্যবহারকারী 2879934

4
বড় আকারের নমুনার মাপের জন্য (যা এমএল মধ্যে বেশ সাধারণ) এটি সাধারণত নিরাপদ বলে ধরে নেওয়া যায়। এখানে টিআই ডাউনভোটের দরকার পড়েনি, কেবল স্পষ্টতার জন্য জিজ্ঞাসা করুন, তবে ওহ ভাল।
এমপি 85

4

নিউমারাল নেট, এসভিএম, এলোমেলো বন ইত্যাদির মতো নন প্যারাম্যাট্রিক রিগ্রেশন এবং শ্রেণিবিন্যাস সমস্যাগুলির মধ্যে ভবিষ্যদ্বাণী অন্তর (পিআই) নির্মাণ করা কঠিন। আমি এই সম্পর্কে অন্যান্য মতামত শুনতে পছন্দ করি।

তবে যতদূর আমি জানি, কনফরমাল প্রেডিকশন (সিপি) হ'ল ননপ্যারামেট্রিক রিগ্রেশন এবং শ্রেণিবিন্যাস সমস্যার ক্ষেত্রে পূর্বাভাসের জন্য ক্যালিবিটেড পিআই তৈরির একমাত্র মূল পদ্ধতি method সিপিতে টিউটোরিয়ালের জন্য, শিফার এবং ভোভক (২০০৮), জে মেশিন লার্নিং রিসার্চ 9 , 371-421 দেখুন [পিডিএফ]


3

আমি সঠিক পদ্ধতিতে এটি করার কোনও পদ্ধতি জানি না।

μσ(xi,yআমি)-লগএন(Yআমি-μ(এক্সআমি),σ(এক্সআমি))μ(এক্সআমি)Yআমিσ(এক্সআমি)

আপনি দিকে দেখতে চাইতে পারেন এমন বৈধতা ডেটার জন্য আপনার অনুমানগুলি কতটা ভাল তা পরীক্ষা করতেYআমি-μ(এক্সআমি)σ(এক্সআমি)এন(0,1)


1
σ+

লগ সম্ভাবনার উপর প্রশিক্ষিত কোনও বিতরণের প্যারামিটারগুলিতে এনএন ব্যবহার করার মতো দৃ concrete় উদাহরণ রয়েছে?
মিস পামার

3

আমি এমন কোনও পদ্ধতির কথা শুনিনি যা নিউরাল নেটওয়ার্ক পূর্বাভাসের জন্য একটি আত্মবিশ্বাসের ব্যবধান দেয়। আনুষ্ঠানিক পদ্ধতির অভাব সত্ত্বেও, মনে হচ্ছে এটির নির্মাণ সম্ভবপর হতে পারে। আমি যে গণনা শক্তির প্রয়োজন হবে তার কারণে এটির জন্য আমি কখনও চেষ্টা করি নি এবং আমি এটির জন্য নির্দিষ্টভাবে কাজ করার জন্য কোনও দাবি করি না, তবে একটি পদ্ধতি যা একটি ক্ষুদ্র নিউরাল নেট (বা জ্বলজ্বলে দ্রুত জিপিইউ পাওয়ার সাথে এটি মাঝারি আকারের জালের জন্য কাজ করতে পারে) কাজ করতে পারে ) প্রশিক্ষণ সেটটির পুনরায় নমুনা তৈরি করতে হবে এবং একই প্যারামিটার এবং প্রাথমিক সেটিংস সহ অনেকগুলি অনুরূপ নেটওয়ার্ক (10,000 বার বলুন) তৈরি করা হবে এবং আপনার প্রতিটি বুটস্ট্র্যাপযুক্ত জালের জন্য পূর্বাভাসের ভিত্তিতে আত্মবিশ্বাসের ব্যবধান তৈরি করা হবে।

উদাহরণস্বরূপ, উপরে আলোচিত হিসাবে প্রশিক্ষিত 10,000 নেটওয়ার্কগুলিতে, সেই সময়গুলির মধ্যে 9,000 (নিউরাল নেট রিগ্রেশন প্রেডিকশনগুলি বৃত্তাকার পরে) পেতে পারে, সুতরাং আপনি 90% সিআই দিয়ে 2.0 কে ভবিষ্যদ্বাণী করবেন। তারপরে আপনি প্রতিটি পূর্বাভাসের জন্য সিআই এর একটি অ্যারে তৈরি করতে এবং প্রাথমিক সিআই হিসাবে রিপোর্ট করার মোডটি বেছে নিতে পারেন।


2
আমি কৌতূহল হব যে এই পরামর্শটি কেন নিরপেক্ষভাবে কিছুটা অপ্রচলিত উপায়ে বুটস্ট্র্যাপিং করা হয়েছে (সমস্যার গোলাকার উপাদানটি ভবিষ্যদ্বাণী সম্পর্কে নিউরাল নেটটি কতটা আত্মবিশ্বাসী তা পরীক্ষা করা সহজ করে তোলে)। আমি আসলে ডাউন ডাউনকে আপত্তি করি না যদি কেউ এই ভোট দেয় তবে এটি ব্যাখ্যা করতে পারে যে এটি প্রস্তাবিত প্রশ্নের বৈধ সমাধান নয় কেন। আমি নিজে শিখছি এবং প্রতিক্রিয়ার প্রশংসা করব!
টনি এস

1
আমি ভোট দিলাম না, তবে আমি যে প্রস্তাবিত পদ্ধতিটি বুঝতে পারি তাতে মডেলটির পূর্বাভাসিত মানগুলি অন্তরগুলিকে আউটপুট দেয়, এটি সত্যিকারের মানগুলিকে ক্যাপচার করে এমন অন্তরগুলির মতো নয়।
মিস পামার

3

ভবিষ্যদ্বাণী ব্যবধানের সরাসরি আউটপুট দেওয়ার ক্ষেত্রে, ২০১১ এর একটি পত্রিকা ' নিউরাল নেটওয়ার্ক-ভিত্তিক পূর্বাভাস অন্তরগুলির বিস্তৃত পর্যালোচনা ' রয়েছে

তারা চারটি পদ্ধতির তুলনা করে:

1: ডেল্টা পদ্ধতি 2: বায়েশিয়ান পদ্ধতি 3: গড় বৈকল্পিক গড় 4: বুটস্ট্র্যাপ

একই লেখক নিউরাল নেটওয়ার্ক-ভিত্তিক ভবিষ্যদ্বাণী অন্তরগুলি নির্মাণের জন্য লোয়ার আপার বাউন্ড অনুমান পদ্ধতিটি বিকাশ করে যা সরাসরি এনএন থেকে নিম্ন এবং উপরের গণ্ডিকে আউটপুট করে। দুর্ভাগ্যক্রমে এটি ব্যাকপ্রপ দিয়ে কাজ করে না, তবে সাম্প্রতিক কাজটি ডিপ লার্নিংয়ের জন্য উচ্চ-মানের পূর্বাভাস অন্তরগুলি এটি সম্ভব করেছে

ভবিষ্যদ্বাণী অন্তর সরাসরি আউটপুট আউট বিকল্প, একটি NN এর প্যারামিটারে বায়েসিয়ান নিউরাল নেটওয়ার্ক (বিএনএন) মডেল অনিশ্চয়তা, এবং ফলে আউটপুট অনিশ্চয়তা ক্যাপচার। এটি করা শক্ত, তবে জনপ্রিয় পদ্ধতিগুলির মধ্যে এমসি ড্রপআউটটি পূর্বাভাসের সময় চালানো বা জমা করা অন্তর্ভুক্ত


1
বায়সিয়ান ডিপ লার্নিংয়ের মাধ্যমে এটি করা বেশ সহজ। উদাহরণস্বরূপ দেখুন এডওয়ার্ডলিব.আর.
বেইসিয়ান-

2

ড্রপআউট ব্যবহার করে এটি করার উপায় আছে। ড্রপআউট সক্ষম সহ মূল্যায়ন চালান (এটি সাধারণত মূল্যায়নের জন্য অক্ষম থাকে তবে প্রশিক্ষণ নেওয়ার সময় চালু করা হয়), এবং কয়েকবার মূল্যায়ন চালান run

একাধিক বিভিন্ন রান থেকে ফলাফল বিতরণ আত্মবিশ্বাসের অন্তর হিসাবে ব্যবহার করা যেতে পারে।

" বায়সিয়ান আনুমানিক হিসাবে ড্রপআউট: গভীর শিক্ষায় মডেল অনিশ্চয়তার প্রতিনিধিত্ব " কাগজটি দেখুন ইউটিউব উপস্থাপনা দেখুন অ্যান্ড্রু রোয়ান - এডওয়ার্ডের সাথে বায়সিয়ান ডিপ লার্নিং (এবং ড্রপআউট ব্যবহারের কৌশল)


1

কোনও উপায় নেই, সমস্ত এমএল মডেল ঘটনা অনুধাবন সম্পর্কে নয়, এটি "এটি যে কাজ করে" আশা নিয়ে অন্তরঙ্গকরণের পদ্ধতিগুলি। এই জাতীয় প্রশ্নের আত্মবিশ্বাস দিয়ে শুরু করুন, গোলমাল করার কোনও উত্তর নেই rob

সুতরাং কিছু আবিষ্কার করতে দয়া করে বিভিন্ন প্রয়োগকৃত এবং মৌলিক বিজ্ঞান ব্যবহার করুন:

  • নিয়ন্ত্রণ ব্যবহার করুন (এবং গতিবিদ্যা সম্পর্কে ধারণা তৈরি করুন)

  • উত্তল অপ্টিমাইজেশন ব্যবহার করুন (ফাংশনটিতে কিছু অতিরিক্ত শর্ত সহ)

  • গণিতের পরিসংখ্যান (বিতরণে প্রাথমিক অনুমান সহ) ব্যবহার করুন

  • সিগন্যাল প্রসেসিং ব্যবহার করুন (এমন কিছু অনুমানের সাথে যে সংকেতটি ব্যান্ড সীমাবদ্ধ)

বিজ্ঞানীরা কিছু অর্জনের জন্য কিছু প্রাথমিক ধারণা (যাকে অ্যাক্সিওমস বলে) ব্যবহার করেন use

প্রাথমিক অনুমান ব্যতিরেকে কোনও আত্মবিশ্বাস দেওয়ার কোনও উপায় নেই, সুতরাং ডিএল মেহটোদে না হওয়াতে সমস্যা, তবে যে কোনও পদ্ধতিতে যে কোনও প্রাথমিক অনুমান ব্যতিরেকে বিভক্ত করার চেষ্টা করে-সমস্যাটি অনুমান ছাড়াই বুদ্ধিমানভাবে কিছু বোঝার উপায় নেই।

এনএন এবং বিভিন্ন এমএল পদ্ধতিগুলি "কিছু" তৈরি করার জন্য দ্রুত প্রোটোটাইপিংয়ের জন্য যা ক্রস-বৈধতা যাচাই করে "কোনওভাবে" কাজ করে বলে মনে হয়।

আরও গভীরতর রিগ্রেশন ফিটিং ই [ওয়াই | এক্স] বা এটির অনুমানের সমাধান করার জন্য একেবারে ভুল সমস্যা হতে পারে (পয়েন্ট ওয়াই = ই [ওয়াই। এক্স] এর নূন্যতম রয়েছে, সর্বাধিক নয়) এবং এর মধ্যে অনেকগুলি সূক্ষ্ম রয়েছে are জিনিস।

এছাড়াও আমি এআই / এমএলে দুটি অবিশ্বাস্য সমস্যা মনে করিয়ে দিতে পারি, যা সৌন্দর্যের স্লোগানের পিছনে কিছু কারণে ভুলে যেতে পারে:

(1) এটি অন্তরঙ্গকরণের পদ্ধতি, এক্সট্রাপোলেশন নয় - এতে নতুন সমস্যাগুলি মোকাবেলা করার ক্ষমতা নেই

(২) কোনও মডেল একই বন্টন থেকে নেই এমন ডেটাতে কীভাবে আচরণ করবে তা জানেনা (পথচারী স্থানীয়করণের জন্য কলার পোশাকের মানুষ)


প্রশিক্ষণের ডেটা থেকে ত্রুটিকে মডেলিংয়ের বিষয়ে কীভাবে অনুমানের জন্য "পূর্বাভাস" সেট করা হয়?
জ্যাকো

এমনকি ধরেও নেওয়া যাক এটি অ্যাডিটিভ "প্রেডিক্ট_ফর্ম_মেন" + "প্রেডিক্ট_ফোর_অরর"। আপনি আলাদাভাবে সিগন্যাল এবং ত্রুটির পূর্বাভাস দেওয়ার জন্য কোনও স্কিমার কল্পনা করতে পারেন। তবে আরও একবার - আমরা যদি "কেবলমাত্র" ইন্টারপোল্ট করি "তবে আমরা আত্মবিশ্বাসের সাথে কিছু বলতে পারি না। আমরা পৃষ্ঠের তাপমাত্রা পূর্বাভাস। হ্যাঁ আপনি এটি আমার ভবিষ্যদ্বাণী "20" বলতে পারেন এবং ত্রুটির ভবিষ্যদ্বাণীটি "5"। সুতরাং এটি বলে যে আমি মনে করি যে আসল প্রতিক্রিয়া মিথ্যা [20-5, 20 + 5] এ রয়েছে তবে এর অর্থ কী তা বোঝার জন্য আমাদের বাস্তব ঘটনা এবং গাণিতিক মডেলটি বুঝতে হবে understand এবং এমএল উভয় সম্পর্কে নয়। অন্যান্য ক্ষেত্রগুলি কিছু প্রাথমিক অনুমান করে।
বুড়িউজ

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.