পরিসংখ্যান এবং মেশিন লার্নিংয়ে দুটি গ্রুপের মধ্যে পার্থক্য: অনুমানের পরীক্ষা বনাম শ্রেণিবদ্ধকরণ বনাম গুচ্ছকরণ


29

ধরুন আমার কাছে দুটি এবং দুটি গ্রুপ গোষ্ঠী রয়েছে, যার লেবেলযুক্ত এ এবং বি রয়েছে (প্রতিটি উদাহরণস্বরূপ 200 টি নমুনা এবং 1 টি বৈশিষ্ট্য রয়েছে) এবং আমি জানতে চাই যে সেগুলি আলাদা কিনা। আমি করতে পারে:

  • ক) একটি পরিসংখ্যানগত পরীক্ষা (উদাহরণস্বরূপ টি-পরীক্ষা) সঞ্চালন করুন যে তারা পরিসংখ্যানগতভাবে আলাদা কিনা।

  • খ) তদারকি করা মেশিন লার্নিং ব্যবহার করুন (উদাহরণস্বরূপ ভেক্টর শ্রেণিবদ্ধকারী বা এলোমেলো বন শ্রেণিবদ্ধকারী)। আমি আমার ডেটার অংশে এটি প্রশিক্ষণ দিতে পারি এবং বাকী অংশে এটি যাচাই করতে পারি। যদি মেশিন লার্নিং অ্যালগরিদম বাকিটি সঠিকভাবে পরে শ্রেণিবদ্ধ করে, আমি নিশ্চিত হতে পারি যে নমুনাগুলি পৃথক।

  • গ) একটি অপ্রচলিত অ্যালগরিদম (উদাহরণস্বরূপ কে-মিনস) ব্যবহার করুন এবং এটি সমস্ত ডেটা দুটি নমুনায় বিভক্ত করুন। তারপরে আমি যাচাই করতে পারি যে এই দুটি পাওয়া নমুনা আমার লেবেল, এ এবং বি এর সাথে একমত হয়েছে কিনা check

আমার প্রশ্নগুলি হ'ল:

  1. ওভারল্যাপিং / এক্সক্লুসিভ এই তিনটি ভিন্ন উপায় কীভাবে?
  2. খ) এবং গ) কোন বৈজ্ঞানিক যুক্তির জন্য দরকারী?
  3. পদ্ধতিগুলি খ) এবং গ এর মধ্যে নমুনা এ এবং বি এর মধ্যে পার্থক্যের জন্য আমি কীভাবে একটি "তাত্পর্য" পেতে পারি?
  4. যদি ডেটাতে 1 টি বৈশিষ্ট্যের পরিবর্তে একাধিক বৈশিষ্ট্য থাকে তবে কী পরিবর্তন হবে?
  5. যদি তাদের মধ্যে বিভিন্ন সংখ্যার নমুনা থাকে, যেমন 100 বনাম 300?

3
আমি যা বলতে চাই মধ্যে (ক) এবং (খ) পার্থক্য হল যে পরিসংখ্যান পরীক্ষা আছে কিনা ফোকাস হয় হয় , একটি পার্থক্য যেহেতু শ্রেণীবিন্যাস পদ্ধতি এই পার্থক্য আকারের উপর ফোকাস। যখন আপনি এলোমেলো বন ব্যবহার করেন, আপনি ক্রস-বৈধতাযুক্ত নির্ভুলতা জানতে চান; সম্ভবত এটি 78%। এটি আপনার আগ্রহী নম্বরটি, এবং এটি 50% এর সমান নয় এমন বিবৃতি দেয় না
অ্যামিবা বলছেন

4
আইএমএইচও পরিস্থিতি যেখানে / সি / সি সি সিগন্যাল থেকে শব্দের অনুপাতের মধ্যে আলাদা হয় এবং এটি (ক) থেকে (খ) থেকে (সি) বেড়ে চলেছে। টি-টেস্টের সাধারণ প্রয়োগে উচ্চ শব্দ হয়; আমরা দেখতে চাই যে দলগুলি সমান নয়। গ্রুপগুলি স্পষ্টতই সমান না হলে (কম শব্দ), আমাদের আসলেই আর পরীক্ষা করার দরকার নেই; পরিবর্তে আমরা গ্রুপগুলি কতটা আলাদা তা প্রমাণ করতে চাই এবং নমুনার বাইরে শ্রেণিবিন্যাসের নির্ভুলতা এখানে সহায়তা করতে পারে। যদি আরও কম শব্দ হয় এবং শ্রেণিবদ্ধকরণের নির্ভুলতা ~ 100% হয় তবে আমরা জিজ্ঞাসা করতে পারি যে গোষ্ঠীগুলি এতটা স্বতন্ত্র যে এটি একটি ক্লাস্টারিং অ্যালগরিদম দ্বারা বাছাই করা যায়।
অ্যামিবা বলেছেন মনিকা পুনরায়

1
@ আমেবা, আমি আপনাকে সম্বোধন করছি কারণ আপনি প্রশ্ন শিরোনাম সম্পাদনা করছেন ইত্যাদি। আমি আপনাকে আরও একবার এটি বিবেচনা করতে বলব। "বিভাগ" এবং "ক্লাস্টারিং": হয় না মেশিন লার্নিং এর (একমাত্র) দখলে। এই কাজগুলি প্রথম মিটার আগে নিয়মিতভাবে পরিসংখ্যান / ডেটা বিশ্লেষণে সম্পন্ন হয়েছিল। শিক্ষানবিশ জন্মগ্রহণ করেছিলেন। এটি কেবলমাত্র এসভিএমের মতো সাম্প্রতিক কয়েকটি কৌশলগুলির ক্ষেত্রে সত্য যা এমএল এর কারণে এবং এর মধ্যে বিকশিত হয়েছিল। শ্রেণিবদ্ধকরণ / ক্লাস্টারিং / গাছগুলি কেবলমাত্র এমএল-এর সাথে যুক্ত করা অনুচিত। এমএল, যদিও এটি ট্রেন / পরীক্ষা প্রচুরভাবে ব্যবহার করে সে ক্ষেত্রে পরিসংখ্যানগত তথ্য বিশ্লেষণ থেকে পৃথক।
ttnphns

@ttnphns অবশ্যই, এটি ঠিক আছে তবে মূল শিরোনামটি ছিল "নমুনাগুলি চিহ্নিতকরণ: মেশিন লার্নিং বনাম পরিসংখ্যান পরীক্ষা (যেমন টি-টেস্ট)" এবং আমি এটিতে কিছুটা নির্ভুলতা যুক্ত করতে চেয়েছিলাম কারণ প্রশ্নটি আসলে টি-টেস্ট সম্পর্কে জিজ্ঞাসা করছে বনাম শ্রেণিবদ্ধকরণ বনাম ক্লাস্টারিং (এই নির্দিষ্ট বৈজ্ঞানিক উদ্দেশ্যে)। আমি শিরোনামের সম্ভাব্য উন্নতি সম্পর্কে চিন্তা করব।
অ্যামিবা বলেছেন মনিকাকে

@ttnphns আমি শিরোনাম সম্পাদনা করেছি, দেখুন আপনি এটি আরও পছন্দ করেন কিনা।
অ্যামিবা বলছেন মনিকা পুনরায়

উত্তর:


15

দুর্দান্ত প্রশ্ন। আপনার লক্ষ্যগুলি কী (এবং সম্ভবত আপনার পরিস্থিতির প্রকৃতির উপর ভিত্তি করে) যে কোনও কিছুই ভাল বা খারাপ, কার্যকর বা নাও হতে পারে be বেশিরভাগ ক্ষেত্রে, এই পদ্ধতিগুলি বিভিন্ন লক্ষ্য পূরণে ডিজাইন করা হয়েছে।

  • পরিসংখ্যানগত পরীক্ষার মত -test আপনি বৈজ্ঞানিক অনুমানের পরীক্ষা করার অনুমতি দেয়। এগুলি প্রায়শই অন্যান্য উদ্দেশ্যে ব্যবহৃত হয় (কারণ লোকেরা কেবল অন্য সরঞ্জামগুলির সাথে পরিচিত নয়) তবে সাধারণত এটি হওয়া উচিত নয়। আপনি একটি একটি অবরোহী হাইপোথিসিস যে দুই দলের একটি স্বাভাবিকভাবে বিতরণ পরিবর্তনশীল বিভিন্ন উপায় আছে আছে, তারপর -test আপনি যে হাইপোথিসিস পরীক্ষা এবং আপনার লং রান টাইপ আমি ভুল হার নিয়ন্ত্রণ (যদিও আপনি কিনা জানবে না দেওয়া হবে আপনি এই বিশেষ ক্ষেত্রে টাইপ আই ত্রুটির হার তৈরি করেছেন)। ttt
  • এসভিএমের মতো মেশিন লার্নিংয়ের ক্লাসিফায়ারগুলি ক্লাসগুলির একটি পরিচিত সংখ্যার অন্তর্গত হিসাবে নিদর্শনগুলিকে শ্রেণিবদ্ধ করার জন্য ডিজাইন করা হয়েছে। সাধারণ পরিস্থিতিটি হ'ল আপনার কয়েকটি পরিচিত উদাহরণ রয়েছে এবং আপনি সেগুলি ব্যবহার করে শ্রেণিবদ্ধকারীকে প্রশিক্ষণ দিতে চান যাতে ভবিষ্যতে এটি সর্বাধিক নির্ভুল শ্রেণিবদ্ধকরণ সরবরাহ করতে পারে যখন আপনার অন্য শ্রেণীর নিদর্শন থাকবে যার সত্য শ্রেণি অজানা। এখানে জোর দেওয়া নমুনা নির্ভুলতার বাইরে ; আপনি কোন অনুমান পরীক্ষা করছেন না। অবশ্যই আপনি আশা করছেন যে পূর্বাভাসকারী ভেরিয়েবলগুলি / বৈশিষ্ট্যগুলির বন্টন ক্লাসগুলির মধ্যে পৃথক, কারণ অন্যথায় ভবিষ্যতের কোনও শ্রেণিবিন্যাস সহায়তা সম্ভব হবে না, তবে আপনি আপনার বিশ্বাসটি মূল্যায়নের চেষ্টা করছেন না যে এক্স এর মাধ্যমে ওয়াইয়ের উপায়গুলি পৃথক You আপনি সঠিকভাবে অনুমান করতে চান ভবিষ্যতে এক্স যখন ওয়াই পরিচিত হবে।
  • ক্লাস্টারিংয়ের মতো আনসুপভাইজড লার্নিং অ্যালগরিদমগুলি ডেটাসেটে কাঠামো সনাক্ত করতে বা চাপিয়ে দেওয়ার জন্য ডিজাইন করা হয়েছে। আপনি এটি করতে চাইতে পারেন এমন অনেকগুলি সম্ভাব্য কারণ রয়েছে। কখনও কখনও আপনি আশা করতে পারেন যে কোনও ডেটাসেটে সত্য, সুপ্ত গ্রুপিং রয়েছে এবং এটি দেখতে চান যে ক্লাস্টারিংয়ের ফলাফলগুলি আপনার উদ্দেশ্যগুলির জন্য বুদ্ধিমান এবং ব্যবহারযোগ্য বলে মনে হচ্ছে। অন্যান্য ক্ষেত্রে, আপনি ডেটা হ্রাস সক্ষম করতে কোনও ডেটাসেটে কাঠামো চাপিয়ে দিতে চাইতে পারেন। যেভাবেই হোক, আপনি কোনও কিছুর জন্য অনুমান পরীক্ষা করার চেষ্টা করছেন না বা ভবিষ্যতে কোনও কিছুর সঠিকভাবে পূর্বাভাস দিতে সক্ষম হবেন বলে আশা করছেন না।

এটিকে মাথায় রেখে আপনার প্রশ্নগুলিকে সম্বোধন করুন:

  1. তিনটি পদ্ধতি মৌলিকভাবে তাদের লক্ষ্যগুলির মধ্যে পৃথক।
  2. খ এবং সি বৈজ্ঞানিক যুক্তিতে কার্যকর হতে পারে, এটি প্রশ্নে যুক্তিগুলির প্রকৃতির উপর নির্ভর করে। এখন পর্যন্ত বিজ্ঞানের সর্বাধিক প্রচলিত গবেষণা অনুমানকে পরীক্ষা করার উপর নির্ভর করে। তবে ভবিষ্যদ্বাণীপূর্ণ মডেল গঠন করা বা সুপ্ত প্যাটার্স সনাক্ত করাও বৈধ লক্ষ্য।
  3. আপনি সাধারণত বি বা সি পদ্ধতি থেকে 'তাত্পর্য' পাওয়ার চেষ্টা করবেন না।
  4. বৈশিষ্ট্যগুলি প্রকৃতিগতভাবে শ্রেণিবদ্ধ বলে ধরে নিচ্ছি (যা আমি সংগ্রহ করি এটি আপনার মনের মধ্যে রয়েছে), আপনি এখনও একটি ফ্যাটোরিয়াল আনোভা ব্যবহার করে অনুমানগুলি পরীক্ষা করতে পারেন। মেশিন লার্নিংয়ে মাল্টি-লেবেল শ্রেণিবিন্যাসের জন্য একটি সাবটোপিক রয়েছে । একাধিক সদস্যতা / ওভারল্যাপিং ক্লাস্টারগুলির জন্যও পদ্ধতি রয়েছে তবে এগুলি কম সাধারণ এবং ট্র্যাকটেবল সমস্যা অনেক কম less বিষয়টির ওভারভিউয়ের জন্য ক্রম্পলম্যান, সিএস (২০১০) ওভারল্যাপিং ক্লাস্টারিং দেখুন। প্রবন্ধ, ইউটি অস্টিন, বৈদ্যুতিক এবং কম্পিউটার প্রকৌশল ( পিডিএফ ))
  5. সাধারণভাবে বলতে গেলে, তিনটি ধরণের পদ্ধতির ক্ষেত্রে বিভাগের বিভিন্ন ক্ষেত্রে কেস সংখ্যা হ্রাস করার কারণে আরও বেশি অসুবিধা হয়।

2
পুনরায় # 4: আমি মনে করি আপনি ওপিতে "বৈশিষ্ট্য" শব্দের ভুল বোঝেন। মেশিন লার্নিংয়ে, "বৈশিষ্ট্য" এর অর্থ একটি পরিবর্তনশীল। সুতরাং "একাধিক বৈশিষ্ট্য" এর অর্থ হ'ল কেউ টি-টেস্টের মাল্টিভারিয়েট সংস্করণ ব্যবহার করবে (যেমন হোটেলিংয়ের টি), এবং কোনও কল্পিত আনোভা নয়।
অ্যামিবা বলছেন

11

ক্লাস্টারিংকে সম্বোধন করা যাচ্ছে না কারণ এটি অন্যান্য উত্তরে সম্বোধিত হয়েছে, তবে:

সাধারণভাবে, দুটি নমুনা অর্থপূর্ণভাবে পৃথক কিনা তা পরীক্ষার সমস্যাটি দ্বি-নমুনা পরীক্ষা হিসাবে পরিচিত ।

tp

আপনি শ্রেণিবদ্ধের বাইরে দ্বি-নমুনা পরীক্ষাটি তৈরি করেন, যেমন লোপেজ-পাজ এবং ওকোয়াব (2017) দ্বারা প্রস্তাবিত হিসাবে যদি এই সমস্যার বিষয়ে কিছু চিন্তা করা সহজ হতে পারে । নিম্নরূপ পদ্ধতি:

  • XYXtrainXtestYtrainYtest
  • XtrainYtrain
  • XtestYtest
  • p^p=12p12p12

জ্ঞাত শ্রেণিবদ্ধ পরিদর্শন করে আপনি বিতরণগুলির মধ্যে পার্থক্যগুলি একটি অর্ধ-অর্থপূর্ণ উপায়ে ব্যাখ্যা করতেও সক্ষম হতে পারেন। আপনি বিবেচিত শ্রেণিবদ্ধের পরিবার পরিবর্তন করে, আপনি নির্দিষ্ট ধরণের পার্থক্য সন্ধানের জন্য পরীক্ষাকে গাইড করতেও সহায়তা করতে পারেন।

নোট করুন যে ট্রেন-পরীক্ষা বিভাজন করা গুরুত্বপূর্ণ: অন্যথায় কোনও শ্রেণিবদ্ধ যা কেবলমাত্র তার ইনপুটগুলি মুখস্ত করে রাখে তা সর্বদা নিখুঁত বৈষম্য বজায় রাখে। প্রশিক্ষণ সংস্থায় পয়েন্টগুলির অংশ বাড়ানো আপনাকে একটি ভাল শ্রেণিবদ্ধকারী শেখার জন্য আরও ডেটা দেয় তবে শ্রেণিবিন্যাসের নির্ভুলতা সুযোগের চেয়ে সত্যই সত্য যে নিশ্চিত হওয়ার কম সুযোগ রয়েছে। এই ট্রেডঅফ এমন একটি বিষয় যা সমস্যা এবং শ্রেণিবদ্ধ পরিবারের দ্বারা পৃথক হতে চলেছে এবং এখনও ভালভাবে বোঝা যায় নি।

লোপেজ-পাজ এবং ওকুব কয়েকটি সমস্যা নিয়ে এই পদ্ধতির ভাল অভিজ্ঞতা অভিজ্ঞতা দেখিয়েছে। রামদাস এট আল। (২০১)) অতিরিক্তভাবে প্রমাণিত হয়েছে যে তাত্ত্বিকভাবে, একটি নির্দিষ্ট সাধারণ সমস্যার জন্য ঘনিষ্ঠভাবে সম্পর্কিত পদ্ধতির হার-অনুকূল ti এই সেটিংটিতে "সঠিক" জিনিসটি সক্রিয় গবেষণার ক্ষেত্র, তবে আপনি যদি কিছু অফ-শেল্ফ স্ট্যান্ডার্ড টেস্ট প্রয়োগ না করে কিছুটা নমনীয়তা এবং ব্যাখ্যা ব্যাখ্যা করতে চান তবে এই পদ্ধতিটি অনেকগুলি সেটিংসে কমপক্ষে যুক্তিযুক্ত।


(+1) এছাড়াও, নেস্টেড ক্রস-বৈধতা যাবার উপায়, ইমো। তারপরে পারফরম্যান্সের প্রাক্কলনটি কোনও তথ্যের মডেল পারফরম্যান্সের বিরুদ্ধে আপনি বাহ্যিক পুনরায় মডেলিং লুপটিতে পাবেন test যদি এলোমেলো সুযোগ দ্বারা প্রত্যাশার চেয়ে উল্লেখযোগ্যভাবে বেশি হয়, তবে আপনার ডেটা কিছুটা বৈষম্যমূলক।
ফায়ারব্যাগ

@ ফায়ারব্যাগ "নো-ইনফরমেশন মডেল পারফরম্যান্স" বলতে কী বোঝ? আমি আপনার প্রস্তাবিত পদ্ধতিটি পুরোপুরি পাই না।
ডুগল

2
@ ফায়ারবাগ একটি গুরুত্বপূর্ণ তবে সূক্ষ্ম সতর্কতা হ'ল যদি সিভি দিয়ে শ্রেণিবদ্ধকরণের নির্ভুলতা অনুমান করা হয় তবে কেউ দ্বিপদী পরীক্ষা ব্যবহার করতে পারবেন না।
অ্যামিবা বলেছেন মনিকাকে

2
@ ফায়ারবাগ আমার বক্তব্য এখনও অবধি রয়ে গেছে: আপনি বিভিন্ন ভাঁজ থেকে এবং বিশেষত পুনরাবৃত্ত সিভি থেকে এওসিগুলিতে কোনও ধরণের এক-নমুনা পরীক্ষা প্রয়োগ করতে পারবেন না কারণ এই অনুমানগুলি স্বতন্ত্র নয়। এটি একটি সুপরিচিত সমস্যা।
অ্যামিবা বলেছেন মনিকাকে

2
পুনর্নির্মাণ পরীক্ষা: আমি নিজেই করেছি। পারফরম্যান্সের প্রাক্কলন পেতে আপনি সিভি চালান, তারপরে লেবেলগুলি বদল করুন এবং পুরো সিভি পাইপলাইনটি আবার চালান (এবং নাল ডিস্ট্রিবিউশনটি পেতে এটি 100 বা 1000 বার এলোমেলো করুন)। এটি যদিও একটি ভয়ঙ্কর সময় নিতে ঝোঁক না। সিসি @ ফায়ারব্যাগে।
অ্যামিবা বলছেন মনিকা পুনরায়

3

শুধুমাত্র পদ্ধতির (ক) অনুমানের পরীক্ষার উদ্দেশ্যে কাজ করে।

তত্ত্বাবধানে থাকা মেশিন লার্নিং অ্যালগরিদম (খ) ব্যবহারের ক্ষেত্রে, তারা দলগুলির বিকৃতি সম্পর্কে হাইপোথিসিসকে প্রমাণ বা প্রমাণ করতে পারে না। যদি মেশিন লার্নিং অ্যালগরিদম গোষ্ঠীগুলিকে সঠিকভাবে শ্রেণিবদ্ধ না করে তবে এটি ঘটতে পারে কারণ আপনি আপনার সমস্যার জন্য "ভুল" অ্যালগরিদম ব্যবহার করেছেন, বা আপনি এটি যথেষ্ট পরিমাণে সুর করেননি অন্যদিকে, আপনি সম্পূর্ণ "এলোমেলো" ডেটা দীর্ঘ "নির্যাতন" করতে পারেন ওভারফিটিং মডেল উত্পাদন করতে যথেষ্ট যা পূর্বাভাস দেয়। তবুও আরেকটি সমস্যা হ'ল কখন এবং কীভাবে আপনি জানবেন যে অ্যালগোরিদম "ভাল" পূর্বাভাস দেয়? প্রায়শই আপনি 100% শ্রেণিবদ্ধকরণের নির্ভুলতার লক্ষ্য রাখবেন না, তবে আপনি কখন জানবেন যে শ্রেণিবিন্যাসের ফলাফলগুলি কিছু প্রমাণ করে?

ক্লাস্টারিং অ্যালগরিদম (সি) তদারকি শিক্ষার জন্য ডিজাইন করা হয়নি। তারা লক্ষ্যগুলি লেবেলগুলি পুনরুদ্ধার করতে নয়, তবে আপনার ডেটাগুলিকে মিলের শর্তে গোষ্ঠীবদ্ধ করার উদ্দেশ্যে। এখন, ফলাফলগুলি আপনি কোন অ্যালগরিদম ব্যবহার করেন এবং কী ধরণের মিল খুঁজে বের করছেন তার উপর নির্ভর করে। আপনার ডেটাতে বিভিন্ন ধরণের মিল থাকতে পারে, আপনি ছেলে এবং মেয়েদের মধ্যে পার্থক্য সন্ধান করতে চাইতে পারেন, তবে অ্যালগরিদম পরিবর্তে দরিদ্র এবং ধনী বাচ্চাদের দল, বা বুদ্ধিমান এবং কম বুদ্ধিমান, ডান এবং বাম হাত ইত্যাদির সন্ধান করতে পারে না finding আপনি যে গোষ্ঠীভিত্তিক ইচ্ছা করেছিলেন তা প্রমাণ করে না যে গ্রুপিংটি কোনও অর্থবোধ করে না, তবে কেবল এটিই অন্যান্য "অর্থবহ" গ্রুপিংয়ের সন্ধান করে। পূর্ববর্তী ক্ষেত্রে হিসাবে, ফলাফল ব্যবহৃত অ্যালগরিদম এবং পরামিতিগুলির উপর নির্ভর করে। দশটি অ্যালগরিদম / সেটিংসের মধ্যে একটিতে "আপনার" পাওয়া গেলে এটি কি আপনাকে স্যুট করবে? লেবেল? যদি একশতে এক হত? থামার আগে আপনি আর কতক্ষণ অনুসন্ধান করবেন? লক্ষ্য করুন যে বেশিরভাগ ক্ষেত্রে মেশিন লার্নিং ব্যবহার করার সময় আপনি ডিফল্ট সেটিংস সহ একটি অ্যালগরিদম ব্যবহার করার পরে থামবেন না এবং ফলাফলটি আপনি যে পদ্ধতিটি ব্যবহার করেছেন তার উপর নির্ভর করতে পারে।


2
পদ্ধতির (খ) এর জন্য: আপনার ফলাফলটি অর্থবোধক কিনা তা জানার সমস্যাটি সমাধান করার জন্য আমার উত্তরে উল্লিখিত হিসাবে আপনি একটি হাইপোথিসিস পরীক্ষাটি নির্মাণ করতে পারেন (যদিও এটি অবশ্যই এই সমস্যার জন্য শ্রেণিবদ্ধের নিরীহ ব্যবহারে রয়েছে)। নোট করুন যে কোনও প্রদত্ত অনুমান পরীক্ষাও নালাকে প্রত্যাখ্যান করতে ব্যর্থ হতে পারে কারণ এটি আপনার সমস্যার জন্য "ভুল" পরীক্ষা, শ্রেণিবদ্ধের সাথে ঠিক একইভাবে; ওভারফিটিংয়ের সমস্যাটি পুরোপুরি ডেটা বিভাজন দ্বারা সমাধান করা হয়।
18:30

@ দুগল ভাল পয়েন্ট (+1) তবে আমার মূল যুক্তিটি হল যে মেশিনটি ব্যবহার করে ফলাফলটি শিখার উপর নির্ভর করে আপনি কীভাবে অ্যালগরিদম চয়ন করেন, এটি ব্যবহার করেন, এটি পরীক্ষা করেন এবং ফলাফলগুলি মূল্যায়ন করেন; সুতরাং এই জাতীয় পরীক্ষার ফলাফল আপনার পরিমাণের উপর নির্ভর করে। এর অর্থ হ'ল এই পদ্ধতিটি ব্যবহার করার সময় সম্ভাব্য দুটি পৃথক পরিসংখ্যানবিদ বিভিন্ন ফলাফল পেতে পারেন। অন্যদিকে, traditionalতিহ্যগত অনুমানের পরীক্ষাগুলি সহ এটি কেবল পরীক্ষার পছন্দের উপর নির্ভর করে।
টিম

তদুপরি, এটি প্রয়োগ করার জন্য কোনও একক "সঠিক" উপায় নেই এবং প্রত্যাশিত ফলাফল পেতে আপনি সহজেই এটি উদ্দেশ্যমূলকভাবে (উদ্দেশ্যমূলক বা না) ম্যানিপুলেট করতে পারেন।
টিম

আপনি পছন্দসই ফলাফল না পাওয়া পর্যন্ত যদি এক মিলিয়ন জিনিস চেষ্টা করে থাকেন তবে হ্যাঁ। আপনি যদি নিজের বিশ্লেষণ সহ সঠিক ডেটা বিভাজন করেন তবে পরীক্ষার পদ্ধতিটি পুরোপুরি বৈধ। আরও বিকল্প থাকা আপনার এমন পরিস্থিতিতে আপনি আরও বেশি শক্তির মঞ্জুরি দেয় যেখানে আপনি কীভাবে এটি শোষণ করতে জানেন তবে হ্যাঁ আপনি যদি সাবধানতা অবলম্বন না করেন তবে প্রত্যাখ্যান করার (অজান্তে বা অন্যথায়) আরও সুযোগের সুযোগ দেয় yes
ডুগল

@ দুগাল হ্যাঁ, তবে ফলাফলটি ক্রস-বৈধকরণের জন্য ব্যবহৃত পদ্ধতি এবং নিজেই বিভাজন (যেমন পরীক্ষার গোষ্ঠীর আকার) এর উপরও নির্ভর করে। সুতরাং প্রতিটি পদক্ষেপে ফলাফল আপনার পদ্ধতির উপর নির্ভর করে। তদুপরি, আপনি যখন সিদ্ধান্ত নেওয়া এবং আরও ভাল ফলাফল অর্জনের চেষ্টা করা বন্ধ করে দেন তখনই এটি আপনার সিদ্ধান্ত (ডিফল্ট সেটিংস সহ একক অ্যালগরিদম, বনাম একক অ্যালগরিদম এবং পরামিতিগুলির সুরকরণ, একাধিক অ্যালগরিদম বনাম - কত?)। ব্যবহৃত পদ্ধতিটির জন্য অ্যাকাউন্টিং করার জন্য এই পদ্ধতির সম্ভবত কিছু সংশোধনের প্রয়োজন হতে পারে (তবে ঠিক কী?) - ডিফল্ট সেটিংস সহ একক অ্যালগরিদমের ভাল ফলাফল বলে মনে হচ্ছে
টিম

2
  1. ক) বিতরণটি পৃথক কিনা তা কেবলমাত্র আপনার প্রশ্নের উত্তর দেয় তবে কীভাবে তাদের পার্থক্য করবেন। খ) দুটি বিতরণের মধ্যে পার্থক্যের জন্য সেরা মানও খুঁজে পাবে। গ) দুটি বিতরণের কিছু নির্দিষ্ট বৈশিষ্ট্য থাকলে কাজ করবে। উদাহরণস্বরূপ এটি সাধারণ বিতরণে কাজ করবে তবে কয়েকটি দুটি মডেল বিতরণের সাথে নয়, কারণ পদ্ধতিটি দুটি ভিন্ন গোষ্ঠীর পরিবর্তে একই গ্রুপের দুটি মোডকে পৃথক করতে পারে।

  2. গ) দুটি মডেল বিতরণের কারণে বৈজ্ঞানিক যুক্তিগুলির জন্য কার্যকর নয়। খ) দুটি বিতরণকে আলাদা করার জন্য ব্যবহার করা যেতে পারে, কারণ আপনি তাৎপর্যটি গণনা করতে পারেন (দেখুন 3..) যদিও আমি এটির সাথে কখনও সাক্ষাত করি নি।

  3. বুটস্ট্র্যাপিং দ্বারা। আপনি 1000 বার এলোমেলো সাবমেরির উপর ভিত্তি করে মডেলটি গণনা করুন। আপনি একটি স্কোর পান, উদাহরণস্বরূপ, আলফা এবং বিটা ত্রুটির সর্বনিম্ন যোগফল। আপনি স্কোর আরোহণ বাছাই। 5% আত্মবিশ্বাসের জন্য আপনি 950 তম মানটি চয়ন করেন। যদি এই মান 50% এর চেয়ে কম হয় (গ্রুপ এ এবং বি এর সমান সংখ্যার জন্য) তবে 95% আত্মবিশ্বাসের সাথে আপনি নাল অনুমানটি উপেক্ষা করতে পারবেন যে বিতরণগুলি একই। সমস্যাটি হ'ল যদি বিতরণগুলি উভয়ই স্বাভাবিক হয় তবে একইরকম অর্থ হয় তবে ভিন্ন ভিন্নতা থাকে তবে আপনি বুঝতে পারবেন না যে তারা এমএল কৌশল দ্বারা আলাদা। অন্যদিকে, আপনি তারতম্যের একটি পরীক্ষা খুঁজে পেতে পারেন যা দুটি বিতরণকে আলাদা করতে সক্ষম করবে। এবং এটি অন্যান্য উপায়ে হতে পারে যে কোনও পরিসংখ্যান পরীক্ষার চেয়ে এমএল আরও শক্তিশালী হবে এবং বিতরণগুলি আলাদা করতে সক্ষম হবে।

  4. যখন আপনার এমএল-তে একটি মাত্র বৈশিষ্ট্য রয়েছে তখন আপনাকে বিতরণগুলি আলাদা করার জন্য কেবল একটি মান খুঁজে পাওয়া দরকার। দুটি বৈশিষ্ট্যের সাহায্যে সীমানাটি একটি সাইনাস হতে পারে এবং বহু-মাত্রিক স্থানে এটি সত্যই অদ্ভুত হতে পারে। সুতরাং সঠিক সীমানাটি খুঁজে পাওয়া আরও কঠিন হবে। অন্যদিকে, অতিরিক্ত বৈশিষ্ট্যগুলি অতিরিক্ত তথ্য নিয়ে আসে। সুতরাং এটি দুটি বিতরণকে আরও সহজভাবে পার্থক্য করতে দেয়। দুটি পরিবর্তনশীল যদি সাধারণত বিতরণ করা হয় তবে সীমানাটি একটি লাইন।

  5. ক্ষুদ্রতর নমুনাগুলি অ-স্বাভাবিকভাবে আচরণ করতে পারে কারণ কেন্দ্রীয় সীমাবদ্ধ তত্ত্বটি প্রয়োগ করা যায় না। বড় নমুনা আরও স্বাভাবিকভাবে আচরণ শুরু করে কারণ কেন্দ্রীয় সীমাবদ্ধ উপপাদ্য কাজ করা শুরু করে। উদাহরণস্বরূপ, উভয় গ্রুপের গড় প্রায়শই বিতরণ করা হবে যদি নমুনা যথেষ্ট বড় হয়। তবে এটি সাধারণত 100 বনাম 300 নয় তবে 1000 টি পর্যবেক্ষণের বিপরীতে 10 টি পর্যবেক্ষণ। সুতরাং এই সাইট অনুসারে গড় পার্থক্যের জন্য টি-পরীক্ষা বিতরণ নির্বিশেষে কাজ করবে যদি পর্যবেক্ষণের সংখ্যা 40 এর চেয়ে বেশি হয় এবং বিদেশী না থাকে।


0

পরিসংখ্যানগত পরীক্ষা ডেটা থেকে অনুমান করার জন্য, এটি আপনাকে কীভাবে সম্পর্কিত তা বলে tells ফলাফলটি এমন একটি যা বাস্তব-বিশ্বের অর্থ আছে has যেমন ধূমপান কীভাবে ফুসফুসের ক্যান্সারের সাথে সম্পর্কিত, দিক এবং প্রস্থ উভয় ক্ষেত্রেই। এটি এখনও কেন আপনাকে ঘটে তা বলে না। কেন ঘটনাটি ঘটেছে তার উত্তর দেওয়ার জন্য, আমাদের অন্যান্য ভেরিয়েবলগুলির সাথে আন্তঃসম্পর্কতাও বিবেচনা করতে হবে এবং যথাযথ সামঞ্জস্য করা উচিত (পার্ল, জে। (2003) কার্যকারিতা: মডেলস, কারণ, এবং তথ্য)।

তত্ত্বাবধানে পড়াশোনা ভবিষ্যদ্বাণী করার জন্য, এটি আপনাকে কী ঘটবে তা বলে। উদাহরণস্বরূপ একজন ব্যক্তির ধূমপানের স্থিতি দেওয়া, আমরা অনুমান করতে পারি যে তার ফুসফুসের ক্যান্সার হবে কিনা। সাধারণ ক্ষেত্রে এটি এখনও আপনাকে "কীভাবে" বলে, উদাহরণস্বরূপ অ্যালগরিদম দ্বারা চিহ্নিত ধূমপানের স্থিতির কাট অফ দেখে। তবে আরও জটিল মডেলগুলি ব্যাখ্যা করা কঠিন বা অসম্ভব (অনেকগুলি বৈশিষ্ট্য সহ গভীর শিক্ষণ / উত্সাহ দেওয়া)।

উপরোক্ত দু'জনের সুবিধার্থে প্রায়শই নিরীক্ষণযোগ্য শিক্ষণ ব্যবহৃত হয়।

  • পরিসংখ্যানগত পরীক্ষার জন্য, ডেটা (ক্লাস্টারিং) এর কিছু অজানা অন্তর্নিহিত সাবগ্রুপগুলি আবিষ্কার করে আমরা ভেরিয়েবলের মধ্যে সংঘবদ্ধতাগুলিতে ভিন্নতা নির্ধারণ করতে পারি। উদাহরণস্বরূপ ধূমপান এ সাবগ্রুপ এ এর ​​জন্য নয় তবে ফুসফুসের ক্যান্সারের অসুবিধা বাড়িয়ে তোলে কিন্তু বি সাবগ্রুপ বি not
  • তত্ত্বাবধানে শেখার জন্য, আমরা পূর্বাভাসের সঠিকতা এবং দৃust়তা উন্নত করতে নতুন বৈশিষ্ট্য তৈরি করতে পারি। যেমন উপগোষ্ঠীগুলি (ক্লাস্টারিং) বা বৈশিষ্ট্যগুলির সংমিশ্রণগুলি (মাত্রা হ্রাস) যা ফুসফুসের ক্যান্সারের সমস্যাগুলির সাথে সম্পর্কিত by

বৈশিষ্ট্য / ভেরিয়েবলের সংখ্যা যখন বড় হয়, তখন পরিসংখ্যান পরীক্ষার এবং তত্ত্বাবধানে শিক্ষার মধ্যে পার্থক্য আরও সুস্পষ্ট হয়ে যায়। পরিসংখ্যানগত পরীক্ষা অগত্যা এ থেকে উপকৃত হতে পারে না, এটি উদাহরণস্বরূপ নির্ভর করে যে আপনি অন্য কারণগুলির জন্য নিয়ন্ত্রণ করে বা উপরে বর্ণিত সংঘগুলিতে ভিন্নধর্ম চিহ্নিতকরণের মাধ্যমে কার্যকারণকে বিবেচনা করতে চান কিনা তা নির্ভর করে। বৈশিষ্ট্যগুলি প্রাসঙ্গিক হলে তত্ত্বাবধানে পড়াশুনা আরও ভাল সম্পাদন করবে এবং এটি আরও একটি ব্ল্যাকবক্সের মতো হয়ে যাবে।

যখন নমুনার সংখ্যাটি বড় হয়, আমরা পরিসংখ্যান পরীক্ষার জন্য আরও সুনির্দিষ্ট ফলাফল, তদারকি শিক্ষার জন্য আরও সঠিক ফলাফল এবং আনসারভিজড শিক্ষার জন্য আরও দৃ rob় ফলাফল পেতে পারি। তবে এটি ডেটার মানের উপর নির্ভর করে। খারাপ মানের ডেটা ফলাফলের প্রতি পক্ষপাত বা শব্দ প্রবর্তন করতে পারে।

কখনও কখনও আমরা জানতে চাই যে "কীভাবে" এবং "কেন" হস্তক্ষেপমূলক ক্রিয়াকলাপগুলি অবহিত করতে, যেমন ধূমপানের ফলে ফুসফুস ক্যান্সারের কারণ হয় তা চিহ্নিত করে নীতিমালা তৈরি করা যেতে পারে। কখনও কখনও আমরা সিদ্ধান্ত গ্রহণে অবহিত করতে "কী" জানতে চাই, উদাহরণস্বরূপ কার ফুসফুসের ক্যান্সার হওয়ার সম্ভাবনা রয়েছে তা খুঁজে বের করে তাদের প্রাথমিক চিকিত্সা দেওয়ার জন্য। ভবিষ্যদ্বাণী এবং এর সীমাবদ্ধতা সম্পর্কে বিজ্ঞানের উপর একটি বিশেষ সমস্যা প্রকাশিত হয়েছে ( http://s विज्ञान.sciencemag.org/content/355/6324/468)। "সাফল্য সবচেয়ে ধারাবাহিকভাবে অর্জিত হয়েছে বলে মনে হয় যখন প্রশ্নগুলি বহুবিজ্ঞানমূলক প্রচেষ্টাতে মোকাবেলা করা হয় যা ডেটা টেরাবাইট হ্যান্ডেল করার জন্য অ্যালগোরিদমিক ক্ষমতার সাথে প্রসঙ্গের মানবিক বোধের সাথে যোগ দেয়।" আমার মতে, উদাহরণস্বরূপ, হাইপোথিসিস পরীক্ষার সাহায্যে আবিষ্কার করা জ্ঞান আমাদের অবহিত করে তদারকি শেখায় সহায়তা করতে পারে আমাদের প্রথমে কোন ডেটা / বৈশিষ্ট্যগুলি সংগ্রহ করা উচিত। অন্যদিকে তত্ত্বাবধানে থাকা শিক্ষাগুলি কোন চলকগুলি অবহিত করে হাইপোথেসিগুলি তৈরি করতে সহায়তা করতে পারে

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.