ডেটা থেকে আউটলিয়ারগুলি সরানো হচ্ছে - আপনি সরিয়ে নিতে পারেন এমন সর্বাধিক সংখ্যক বিদেশী?

Question

আমার ডেটাতে আমার বেশ কয়েকজন আউটলিয়ার রয়েছে এবং ফলাফলগুলি পরিবর্তিত হয় কিনা তা দেখার জন্য আমি তাদের বাদ দিতে চাইছিলাম। আপনার মতে, বহিরাগতদের সর্বাধিক সংখ্যক কী নিজেকে সীমাবদ্ধ রাখতে হবে?

ধন্যবাদ!

Comments

আপনার গ্রাফটি এখানে ম্যাঙ্গেল করা হয়েছে: y অক্ষের সংখ্যাসূচক লেবেলগুলি অনুপস্থিত এবং কিংবদন্তি এন্ট্রি পৃথক নয়। (এটি অপ্রকাশিত ডেটা আড়াল করার একটি উপায় হতে পারে, তবে এটি আপনাকে ভাল পরামর্শ দিতে আমাদের সহায়তা করে না)) ক্রিপ্টিক কিংবদন্তি আপনার প্রশ্নকে প্রভাবিত করে না, তবে আপনি কী স্কেলে কাজ করছেন তা জেনে না দরকারী উত্তরগুলির সুযোগ সীমিত করে দেয় not । প্রদর্শিত ডেটা মাঝারি বাম বা নেতিবাচক স্কিউ প্রদর্শন করে; এটি বোধগম্য হতে পারে এবং আপাতদৃষ্টিতে বহিরাগতরা এর পরিণতি হতে পারে। বিকল্পভাবে, এটি হতে পারে যে আপনি অতিরিক্ত রূপান্তর করেছেন, উদাহরণস্বরূপ এমন লোগারিদম ব্যবহার করা হয়েছে যেখানে ডেটা এটি যোগ্যতা রাখে না।

— নিক কক্স

Answer 1

সর্বাধিক বা সর্বনিম্ন নেই। আউটলিয়ারগুলি যদি খারাপ ডেটা হয় বা তাদের অপসারণের জন্য যদি অন্য কোনও কারণ থাকে তবে তাদের অপসারণ করা উচিত। যদি কোনও স্থিতিশীল কারণ না থাকে, তবে আমি প্রস্তাব দিচ্ছি যে বিদেশিদের কাছে শক্তিশালী are আমি আউটলিয়ারদের কেবল অপসারণ করব না কারণ তারা অন্যান্য বিষয়গুলি থেকে কিছুটা দূরে।

Comments

একমত। নোট থা বক্স, হান্টার এবং হান্টার: "পরীক্ষকদের জন্য পরিসংখ্যান" বলছে যে রাসায়নিক শিল্পে, বহিরাগতরা প্রায়শই নতুন পেটেন্টের ফলস্বরূপ হয়ে থাকে! পরিস্থিতিতে উপর নির্ভর করে, outliers আপনার তথ্য তথ্য একক সবচেয়ে গুরুত্বপূর্ণ অংশ হতে পারে! এগুলি সরানো কখনই সহজ নেওয়া উচিত নয়।

— কেজেটিল বি হালওয়ারসেন

অ্যাস্ট্রোফিজিক্সেও। "আসুন কেবল ডেটা থেকে ব্ল্যাক হোল এবং নিউট্রন তারাগুলি মুছুন" :-)।

— পিটার ফ্লুম

পিটার ফ্লুম: হ্যাঁ! এবং মানুষের মধ্যে, যদি আমাদের মধ্যে কোনও বিদেশী না থাকে তবে আমরা এখনও পাথরের যুগে বাস করতাম!

— কেজেটিল বি হালওয়ারসেন

এই উদাহরণে, নোট করুন যে লেবেলযুক্ত আউটলিয়ারের 7 টিরই কম মান রয়েছে, তবে কারওরও উচ্চ মান নেই। এটি পরিমাপে সমস্যাগুলি উপস্থাপন করতে পারে বা এর অর্থ খুব আকর্ষণীয় কিছু হতে পারে। যেভাবেই হোক, নিম্ন মানের কী কী কারণে ঘটেছিল তা বিবেচনা না করে কেবল এখানে বিদেশী অপসারণ অপ্রয়োজনীয় বলে মনে হয়।

— এডিএম

আমি প্রশ্নটি কিছুটা আলাদাভাবে ব্যাখ্যা করি। এটি বিশ্লেষণ থেকে বহিরাগতদের অপসারণের প্রস্তাব দেয় না, যা এই উত্তরটি স্পষ্টতই ধরে নিয়েছে। এটি কেবলমাত্র সংবেদনশীলতা বিশ্লেষণ কীভাবে পরিচালনা করবেন তা জিজ্ঞাসা করে "এটি ফলাফলের পরিবর্তন করে কিনা তা দেখতে"। যদিও আউটলিয়ারদের অপসারণ করা যায় কিনা সে সম্পর্কে এখানে দেওয়া পরামর্শটি যথাযথ - এবং বিশ্লেষণটি যদি বিদেশিদের পক্ষে সংবেদনশীল হয় তবে পরবর্তী সিদ্ধান্তগুলিতে স্পষ্টভাবে কিছুটা প্রভাব ফেলতে পারে - তবে এ ক্ষেত্রে ওপি'র স্বার্থ কার্যকর হবে বলে মনে হয় না।

— whuber

Answer 2

আমি অন্য যে কোনও উত্তর এবং মন্তব্যে বলা হয়েছিল এমন কিছুটির উপরে জোর দেব (আমি মনে করি যে @ পিটার ফ্লমের উত্তরগুলি সঠিক এবং এডএম সবার মধ্যে পরিমাপের বিষয়ে স্পর্শে আছে)।

ডেটা বিশ্লেষণ এমন একটি বিষয় যা অবশ্যই যত্ন সহকারে করা উচিত। আপনার যোগাযোগের বহিরাগতদের অর্থ সম্পর্কে আপনাকে অবশ্যই খুব ভালভাবে অবহিত হতে হবে। উদাহরণস্বরূপ, ধরে নিলেন যে আপনার পরিমাপের পদ্ধতিটি "সঠিকভাবে" করা হয়েছে (মানে আপনি পক্ষপাতদর্শন প্রবর্তন করেননি, আপনার সরঞ্জামগুলি ক্রমাঙ্কিত করা হয়েছিল, উপকরণটি পড়া ব্যক্তিটি এটি সঠিকভাবে করেছিলেন ইত্যাদি)), কিছু বহিরাগত আকর্ষণীয় কিছু বলতে পারে এবং কখনও কখনও খুব গুরুত্বপূর্ণ।

এখানে একটি আপ-আপ উদাহরণ দেওয়া আছে, দয়া করে উপভোগ করুন (তাদের মন্তব্যগুলিতে নির্দেশ করুন) যদি এটি সমস্ত দিক থেকে 100% সঠিক না হয়। ;)

বলুন যে কেউ ব্যাকটেরিয়ার কিছু সংস্কৃতিতে (জনসংখ্যা) একটি নির্দিষ্ট পরিমাণে পদার্থের প্রয়োগের প্রভাব পরীক্ষা করছে। এখন, "সাধারণভাবে", এর প্রভাবটি জনসংখ্যায় ব্যাকটেরিয়ার সংখ্যা স্থিতিশীল করতে, তবে বিভিন্ন সংস্কৃতির মধ্যে কিছু বিদেশি রয়েছেন।

কল্পনা করুন যে আপনার সমস্ত প্রবাসীরা এমন পরিস্থিতি নির্দেশ করে যেখানে সমস্ত ব্যাকটিরিয়া মারা গেছে। বা সমস্ত আউটলিয়াররা এমন সংস্কৃতির প্রতিনিধিত্ব করে যেখানে ব্যাকটেরিয়া জনসংখ্যা নিয়ন্ত্রণের বাইরে চলে গেছে।

আমি যে বিষয়টি উল্লেখ করতে চাই তা হ'ল আপনার অনুমিত আউটলাইয়ারদের প্রকৃতি অর্থবহ হতে পারে এবং প্রত্যেকের পরিণতি আলাদা। আপনি এমন পরিস্থিতিতে থাকতে পারেন যেখানে অসহনীয় যে ব্যাকটেরিয়ার সংখ্যা বৃদ্ধি বা হ্রাস পায়।

অবশ্যই, যদি আপনি লক্ষ্য করেন যে কিছু জনগোষ্ঠী পদার্থটি মুছে ফেলেছে তবে আপনি সম্ভবত বিষয়টি তদন্ত করবেন কারণ এটি সহজেই স্বীকৃত পরিস্থিতি। তবে সমস্ত ঘটনা সহজেই সনাক্তযোগ্য নয়।

মোড়ানোর জন্য, বহিরাগতদের ধারণা কিছুটা স্বেচ্ছাচারী, তবে তাদের অর্থগুলি একাধিক এবং বিভিন্ন গুরুত্বের। আশা করি এটি আপনাকে এই বিষয়টিতে ভাবিয়ে তুলবে ... :)