ভারসাম্যহীন ডেটা আসলে মেশিন লার্নিংয়ে কখন সমস্যা হয়?

Question

লজিস্টিক রিগ্রেশন , এসভিএম , সিদ্ধান্ত গাছ , ব্যাগিং এবং এই জাতীয় বেশ কয়েকটি অনুরূপ প্রশ্ন ব্যবহার করার সময় ভারসাম্যহীন ডেটা সম্পর্কে আমাদের ইতিমধ্যে একাধিক প্রশ্ন ছিল , এটি কী খুব জনপ্রিয় একটি বিষয় হিসাবে তৈরি করে! দুর্ভাগ্যক্রমে, প্রতিটি প্রশ্নের উত্তর অ্যালগরিদম-নির্দিষ্ট বলে মনে হয়েছে এবং ভারসাম্যহীন ডেটা নিয়ে কাজ করার জন্য আমি কোনও সাধারণ নির্দেশিকা পাইনি।

ভারসাম্যহীন ডেটা নিয়ে কাজ করে মার্ক ক্লেসেনের একটি উত্তর উদ্ধৃত করা

(...) শেখার পদ্ধতির উপর খুব বেশি নির্ভর করে। বেশিরভাগ সাধারণ উদ্দেশ্য পদ্ধতির সাথে এটি মোকাবেলার এক (বা বেশ কয়েকটি) উপায় রয়েছে।

তবে ভারসাম্যহীন ডেটা নিয়ে কখন আমাদের চিন্তা করা উচিত? কোন অ্যালগরিদমগুলি বেশিরভাগর দ্বারা এটি দ্বারা প্রভাবিত হয় এবং কোনটি এটি মোকাবেলা করতে সক্ষম? কোন অ্যালগরিদমে আমাদের ডেটা ভারসাম্য বজায় রাখতে হবে? আমি সচেতন যে প্রতিটি অ্যালগরিদম নিয়ে আলোচনা করা যেমন প্রশ্নোত্তর সাইটে এইভাবে অসম্ভব, আমি কখন এটির সমস্যা হতে পারে সে সম্পর্কে একটি সাধারণ নির্দেশিকা খুঁজছি।

Comments

সম্ভাব্য সদৃশ কি বর্গ ভারসাম্যহীনতা সমস্যার মূল কারণ কি?

— ম্যাথু ড্রুরি

@ ম্যাথড্রুরি ধন্যবাদ, এটি একটি আকর্ষণীয় প্রশ্ন, তবে আইএমএইচও, এর আলাদা সুযোগ রয়েছে। আমি যখন যা জিজ্ঞাসা করি তা হ'ল নির্দেশিকাগুলির জন্য যখন এটি সত্যই সমস্যা হয়। নিশ্চয় উত্তর কেন প্রশ্নের উত্তর বাড়ে যখন প্রশ্ন, কিন্তু আমি এর জন্য সুনির্দিষ্ট উত্তরের জন্য অপেক্ষায় থাকবো যখন প্রশ্ন।

— টিম

যথেষ্ট ফর্সা! আমি তোমার সাথে আছি. এই বিষয়ে "সাহিত্যের" মনে হয় যে সমস্যাটি কীভাবে সমাধান করা যায়, এটি আপনাকে বোঝাতে বিরক্ত না করে আসলেই একটি সমস্যা সমাধান করা উচিত, বা কোন পরিস্থিতিতে কী সমস্যা দেখা দেয় বা না ঘটে তাও আপনাকে অবহিত করে না। আমার জন্য বিষয়টির একটি হতাশাজনক অংশ।

— ম্যাথু ড্রুরি

@ ম্যাথেজড্রুরি হুবহু সমস্যা!

— টিম

পদ্ধতিগুলির মোট জরিপ কোনও এসই প্রশ্নের ক্ষেত্রের মধ্যে নয়। আপনি কি প্রশ্নটি পরিমার্জন করতে চান?

— আদমো

Answer 1

সরাসরি উত্তর নয়, তবে এটি লক্ষণীয় যে পরিসংখ্যানের সাহিত্যে ভারসাম্যহীন তথ্যের বিরুদ্ধে কিছু কুসংস্কারের historicalতিহাসিক মূল রয়েছে।

অনেক ধ্রুপদী মডেলগুলি ভারসাম্যপূর্ণ ডেটা অনুমানের অধীনে সুন্দরভাবে সরল করে তোলে, বিশেষত আনোভা-র মতো পদ্ধতির জন্য যা পরীক্ষামূলক নকশার সাথে ঘনিষ্ঠভাবে সম্পর্কিত related পরিসংখ্যানগত পদ্ধতিগুলির বিকাশের একটি traditionalতিহ্যগত / মূল অনুপ্রেরণা।

তবে পরিসংখ্যান / সম্ভাব্য পাটিগণিত ভারসাম্যহীন ডেটা সহ বেশ কুরুচিপূর্ণ হয়ে ওঠে। কম্পিউটারগুলি ব্যাপকভাবে গ্রহণের আগে, বাই-হাতে গণনাগুলি এতটাই বিস্তৃত ছিল যে ভারসাম্যহীন ডেটাগুলিতে মডেলগুলি অনুমান করা কার্যত অসম্ভব।

অবশ্যই কম্পিউটারগুলি মূলত এটি একটি নন-ইস্যু হিসাবে রেন্ডার করেছে। তেমনি, আমরা বিশাল ডেটাসেটের মডেলগুলি অনুমান করতে পারি, উচ্চ-মাত্রিক অপ্টিমাইজেশান সমস্যাগুলি সমাধান করতে পারি, এবং বিশ্লেষণাত্মকভাবে অবিচ্ছেদ্য যৌথ সম্ভাব্যতা বিতরণগুলি থেকে নমুনাগুলি আঁকতে পারি, যার সবগুলিই পঞ্চাশ বছর আগে যেমন কার্যত অসম্ভব ছিল।

এটি একটি পুরানো সমস্যা, এবং শিক্ষাবিদরা সমস্যাটি নিয়ে কাজ করার জন্য অনেক সময় ডুবিয়েছিলেন ... ইতিমধ্যে, অনেক প্রয়োগিত সমস্যা সেই গবেষণাকে ছাড়িয়ে গেছে / চালিয়ে গিয়েছিল, তবে পুরানো অভ্যাসগুলি খুব মরে যায় ...

যুক্ত করতে সম্পাদনা করুন:

আমি বুঝতে পারি যে আমি বাইরে এসেছি না এবং কেবল এটি বলেছি: ভারসাম্যহীন ডেটা ব্যবহার করে নিম্ন স্তরের কোনও সমস্যা নেই। আমার অভিজ্ঞতায়, "ভারসাম্যহীন ডেটা এড়ানোর" পরামর্শটি হয় হয় অ্যালগোরিদম-নির্দিষ্ট, বা উত্তরাধিকার সূত্রে প্রাপ্ত বুদ্ধি। আমি অ্যাডামোর সাথে একমত যে সাধারণভাবে, ভারসাম্যহীন ডেটা কোনও নির্দিষ্ট-সুনির্দিষ্ট মডেলটির কাছে কোনও ধারণাগত সমস্যা না দেয়।

Comments

আমি আপনার বক্তব্যটি পেয়েছি বলে মনে হচ্ছে, আপনার প্রাঙ্গনে তাদের সমর্থন করার পক্ষে যুক্তির অভাব রয়েছে। আপনি কি কুসংস্কার সম্পর্কে কিছু যুক্তি এবং / অথবা উদাহরণ দিতে পারেন এবং যদি মেশিন লার্নিংকে প্রভাবিত করে তবে কীভাবে?

— টিম

আপনি যা বলছেন তা বেশিরভাগ ক্ষেত্রেই সত্য, তবে এটি এমনও হয় যে আনোভার মতো পদ্ধতিগুলি ভারসাম্যপূর্ণ ডেটার সাথে আরও দৃust় হয়, উদাহরণস্বরূপ, ভারসাম্যহীন ডেটাযুক্ত সমস্যা অস্বাভাবিকতা কম। তবে আমি বিশ্বাস করি যে এই সমস্ত কিছু এই প্রশ্নের অভিপ্রায়কে অর্থেগোনাল ...

— কেজেটিল বি হালওয়ারসেন

আমি বুঝতে পারছি আমি বাইরে আসতে না শুধু এটা বলে, সেখানে নয় ভারসাম্যহীন ডেটা ব্যবহার করে একটি নিম্ন স্তরের সমস্যা। আমার অভিজ্ঞতায়, "ভারসাম্যহীন ডেটা এড়ানোর" পরামর্শটি হয় হয় অ্যালগোরিদম-নির্দিষ্ট, বা উত্তরাধিকার সূত্রে প্রাপ্ত বুদ্ধি। আমি অ্যাডামোর সাথে একমত যে সাধারণভাবে, ভারসাম্যহীন ডেটা কোনও নির্দিষ্ট-সুনির্দিষ্ট মডেলটির কাছে কোনও ধারণাগত সমস্যা না দেয়।

— হেনরি

@ M.HenryL। এই মন্তব্যটি সম্পূর্ণরূপে আপনার উত্তর যুক্ত করার উপযুক্ত।

— টিম

Answer 2

ডাব্লুএইচএলজি আপনি "ডেটা স্পারসিটি" বা আরও ছোট কোষ গণনার চেয়ে বেশি সংখ্যক ধারণা না দিয়ে একক ফ্যাক্টরে ভারসাম্যহীনতার দিকে মনোনিবেশ করতে পারেন।

পরিসংখ্যানগত বিশ্লেষণ ইন না শেখার উপর দৃষ্টি নিবদ্ধ করা, আমরা প্রায়ই যে অনুরূপ বা ভাল ক্ষমতা যখন প্রবৃত্তি স্কোর ব্যবহার করে afforded হয় মেলে বৃহত্তর গ্রুপে ছোট গ্রুপ। এটি আংশিক কারণ মেলানো গ্রুপ সদস্যপদের নির্ধারকগুলিকে "ভারসাম্যপূর্ণ" করার শর্তে বিস্ময়কর সমন্বয় করার অনুরূপ উদ্দেশ্যে কাজ করে, ফলে তাদের বিভ্রান্তিকর প্রভাবগুলি অবরুদ্ধ করে। বিভ্রান্তকারীদের সংখ্যার জন্য যুক্তিটি সম্ভবত একটি বহুবিধ বিশ্লেষণে সামঞ্জস্য করার নমুনা আকারের উপর নির্ভর করে। থাম্বের কিছু নিয়ম প্রতি 10 থেকে 20 টি পর্যবেক্ষণে একটি করে পরিবর্তনশীল বলে। ভারসাম্যহীন ডেটাতে, আপনি নির্লজ্জভাবে বিশ্বাস করেন যে আপনার ডেটা যথেষ্ট পরিমাণে বড়, তবে বিরল সংখ্যক বিচ্ছিন্ন সংখ্যক লোকের সাথে: বৈষম্য মুদ্রাস্ফীতি শক্তি হ্রাস করে। আপনি আসলে, সামঞ্জস্য করা ওভার।

অতএব, রিগ্রেশন অন্তত (কিন্তু আমি সব পরিস্থিতিতে সন্দেহ) এ imbalanced ডেটার সাথে একমাত্র সমস্যা হল আপনি কার্যকরভাবে আছে ছোট নমুনা আকার । যদি কোনও পদ্ধতি বিরল শ্রেণীর মানুষের সংখ্যার জন্য উপযুক্ত হয় তবে তাদের অনুপাতের সদস্যপদ ভারসাম্যহীন থাকলে কোনও সমস্যা হওয়া উচিত নয়।

Answer 3

ভারসাম্যহীন ডেটা কেবল আপনার আবেদনের উপর নির্ভর করে সমস্যা। উদাহরণস্বরূপ যদি আপনার ডেটা ইঙ্গিত করে যে A সময়ের 99.99% এবং বি এর সময়কালের 0.01% ঘটে এবং আপনি একটি নির্দিষ্ট ফলাফলের পূর্বাভাস দেওয়ার চেষ্টা করেন তবে আপনার অ্যালগরিদম সম্ভবত সর্বদা এ বলে দেবে এটি অবশ্যই সঠিক! আপনার পদ্ধতির পক্ষে 99.99% এর চেয়ে ভাল পূর্বাভাসের নির্ভুলতা পাওয়া সম্ভব নয়। তবে অনেক অ্যাপ্লিকেশনগুলিতে আমরা কেবলমাত্র ভবিষ্যদ্বাণীটির সঠিকতা নিয়ে আগ্রহী নই তবে কেন বি মাঝে মাঝে ঘটে in এখানেই ভারসাম্যহীন ডেটা সমস্যা হয়ে দাঁড়ায়। কারণ আপনার পদ্ধতিটি বোঝানো কঠিন যে এটি 99.99% এর চেয়ে সঠিকের পূর্বাভাস দিতে পারে। পদ্ধতিটি সঠিক তবে আপনার প্রশ্নের জন্য নয়। সুতরাং ভারসাম্যহীন ডেটা সমাধান করা মূলত সঠিক ফলাফলের পরিবর্তে আকর্ষণীয় ফলাফল পেতে আপনার ডেটাটি ইচ্ছাকৃতভাবে বাইজিং করা।

সাধারণভাবে তিনটি ক্ষেত্রে রয়েছে:

1. আপনার সঠিক ভবিষ্যদ্বাণীতে খাঁটি আগ্রহী এবং আপনি মনে করেন যে আপনার ডেটা পুনরায় সংশোধনযোগ্য। এক্ষেত্রে আপনাকে কোনওভাবেই সংশোধন করতে হবে না, আপনার 99.99% নির্ভুল ভবিষ্যদ্বাণীগুলির গৌরবতে বাস্ক :)।

2. আপনি ভবিষ্যদ্বাণীতে আগ্রহী কিন্তু আপনার ডেটা একটি নিখরচায় নমুনা থেকে তবে কোনওভাবে আপনি বেশ কয়েকটি পর্যবেক্ষণ হারিয়েছেন। আপনি যদি পুরো এলোমেলো উপায়ে পর্যবেক্ষণগুলি হারিয়ে ফেলেন তবে আপনি এখনও ঠিক আছেন। আপনি যদি তাদেরকে পক্ষপাতদুষ্ট উপায়ে হারিয়ে ফেলেছেন তবে কীভাবে পক্ষপাতদুষ্ট তা আপনি জানেন না, আপনার নতুন ডেটা প্রয়োজন। তবে যদি এই পর্যবেক্ষণগুলি কেবলমাত্র একটি চ্যারিটেস্টিকের ভিত্তিতে হারিয়ে যায়। (উদাহরণস্বরূপ আপনি A এবং B এ ফলাফলগুলি বাছাই করেছেন তবে অন্য কোনও উপায়ে নয় তবে খ এর অর্ধেক হারিয়েছেন) ইপু আপনার ডেটা বুটস্ট্র্যাপ করতে পারে।

3. আপনি সঠিক গ্লোবাল পূর্বাভাসে আগ্রহী নন, তবে কেবল বিরল ক্ষেত্রে। এক্ষেত্রে আপনি ডেটা বুটস্ট্র্যাপ করে বা আপনার কাছে যদি অন্য ক্ষেত্রে কোনও উপায়ে ডেটা নিক্ষেপ করার পর্যাপ্ত ডেটা থাকে তবে আপনি সেই ক্ষেত্রে ডেটা স্ফীত করতে পারেন। লক্ষ্য করুন যে এটি আপনার ডেটা এবং ফলাফলগুলিকে পক্ষপাতদুষ্ট করে এবং তাই সম্ভাবনা এবং এই ধরণের ফলাফলগুলি ভুল!

সাধারণভাবে এটি বেশিরভাগ লক্ষ্য কী তার উপর নির্ভর করে। কিছু লক্ষ্য ভারসাম্যহীন ডেটা দ্বারা ভোগেন যা অন্যরা করেন না। সমস্ত সাধারণ পূর্বাভাসের পদ্ধতিগুলি এতে ভোগে কারণ অন্যথায় তারা সাধারণভাবে ভয়ানক ফলাফল দেয়।

Comments

যখন আমরা আমাদের মডেলগুলি সম্ভাব্যভাবে উন্নত করি তখন এই গল্পটি কীভাবে পরিবর্তিত হয়?

— ম্যাথু ড্রুরি

@ ম্যাথহেড্রুরি মূল মডেল থেকে সম্ভাব্যতাগুলি 1 এবং 3 কেসের ক্ষেত্রে বেশিরভাগ ক্ষেত্রেই সঠিক হয় is ব্যতিক্রমটি হ'ল বি যদি খুব স্পষ্টভাবে এ থেকে আলাদা হয় বা এলোমেলোভাবে এ থেকে পৃথক হয়ে যায়, সম্ভাব্যতাগুলি যথাক্রমে প্রায় অবিলম্বে বা কখনই রূপান্তরিত হবে না।

— জেন

@ জেন আমি বরং একমত নই যে লজিস্টিক রিগ্রেশন কম ঝুঁকিপূর্ণ। লজিস্টিক রিগ্রেশন ডেটা ভারসাম্যহীনতার পক্ষে বেশ ঝুঁকির মধ্যে পড়ে, এটি ছোট নমুনা পক্ষপাত তৈরি করে এবং লগের প্রতিক্রিয়া অনুপাতগুলি 2 এর ফ্যাক্টরের দিকে ঝুঁকতে দেয় শর্তাধীন লজিস্টিক রিগ্রেশন পক্ষপাত ছাড়াই একই ওআরএস অনুমানের একটি বিকল্প।

— আদমো

@ অ্যাডামো হ্যাঁ লজিস্টিক রিগ্রেশন এখনও ঝুঁকিপূর্ণ। তবে গাছের জন্য ছোট ক্ষেত্রে সম্পূর্ণ উপেক্ষা করা যায়। এটি কেবল ছোট নমুনার আকারই নয়। এমনকি বড় এন এবং উদাহরণস্বরূপ 80% -20% বিকল্পের গাছগুলির মধ্যে বিতরণ এখনও 80% বিকল্প চয়ন করতে পারে এমনকি যদি 20% বিকল্পের ভগ্নাংশটি কিছু পরিবর্তনশীল x এর সাথে স্পষ্টভাবে বৃদ্ধি পায়। যদি নতুন কোনও চরম পর্যবেক্ষণ পাওয়া যায় বা যদি কোনও চূড়ান্ত পয়েন্টের জন্য শাখাগুলির সংখ্যা কম হয় তবে গাছটি 80% বিকল্পের পূর্বাভাস দেবে এবং লজিস্টিক রিগ্রেশন এমনটি করার সম্ভাবনা কম থাকবে। আপনি শর্তাধীন লজিস্টিকাল রিগ্রেশন সম্পর্কে ঠিক বলেছেন

— জেন

@ ম্যাথেজড্রুরি স্টিফেন সেনের এই বিষয়টির বিষয়ে একটি চমৎকার আলোচনা হয়েছে আমি প্রায়ই একটি পাতায় পড়ি । তাত্ত্বিকভাবে, এন্ট্রি অ্যাবসিডি সহ 2x2 টেবিলের সাথে সম্পর্কিত অনুপাতটি বিজ্ঞাপন / (বিসি) দ্বারা অনুমান করা হয় এবং এর ভেরিয়েন্স 1 / এ + 1 / বি + 1 / সি + 1 / ডি রয়েছে। আপনি নির্বিচারে কয়েকটি কেস (ক এবং সি) নমুনা করতে পারেন এবং বৈষম্যের অনুপাতটি এখনও পক্ষপাতহীন, তবে ভিন্নতা অসীমের দিকে যায়। এটি একটি নির্ভুলতার বিষয়।

— অ্যাডমো

Answer 4

ধরা যাক আমাদের দুটি ক্লাস রয়েছে:

• A , জনসংখ্যার 99.99% উপস্থাপন করে
• বি , জনসংখ্যার 0.01% প্রতিনিধিত্ব করে

আসুন ধরে নেওয়া যাক আমরা ক্লাস বি উপাদানগুলি সনাক্ত করতে আগ্রহী, এটি কোনও বিরল রোগ বা জালিয়াতির দ্বারা আক্রান্ত ব্যক্তি হতে পারে।

কেবলমাত্র অনুমান করেই একজন শিক্ষানবিসরা তাদের লোকসান-ফাংশনগুলিতে উচ্চতর স্কোর অর্জন করবে এবং খুব অল্প সংখ্যক ভুল শ্রেণিবদ্ধ উপাদানগুলি সম্ভবত সংখ্যায়, সুইটি (এই ক্ষেত্রে একটি খড়ের গর্তে) স্থানান্তরিত করতে পারে না। এই উদাহরণটি শ্রেণীর ভারসাম্যহীন সমস্যা হ্রাস করার জন্য "কৌশলগুলির মধ্যে একটি" এর অন্তর্দৃষ্টি এনেছে: ব্যয়ের ক্রিয়াটি টুইট করে aking

আমি মনে করি যে মডেলগুলি যখন শূন্যের সংবেদনশীলতা এবং একের কাছাকাছি নির্দিষ্টতা দেখায় তখন ভারসাম্যহীন ডেটা একটি সমস্যা। "সমস্যা উপেক্ষা" বিভাগের অধীনে এই নিবন্ধে উদাহরণটি দেখুন ।

সমস্যার প্রায়শই একটি সমাধান হয়। পূর্বোক্ত কৌতুক পাশাপাশি, অন্যান্য বিকল্প আছে । যাইহোক, তারা একটি দামে আসে: মডেল এবং গণনার জটিলতা বৃদ্ধি।

প্রশ্নটি জিজ্ঞাসা করে যে কোন মডেলগুলির কাছাকাছি-শূন্য সংবেদনশীলতা এবং এক-একের সুনির্দিষ্টতার উপর স্থির হওয়ার সম্ভাবনা বেশি। আমি মনে করি এটি কয়েকটি মাত্রার উপর নির্ভর করে:

• যথারীতি কম ক্ষমতা।
• কিছু ব্যয় ক্রিয়াকলাপ অন্যের চেয়ে বেশি লড়াই করতে পারে: হুবারের তুলনায় স্কোয়ার ত্রুটি (এমএসই) কম প্রকাশিত - এমএসই ভুলভাবে শ্রেণিবদ্ধ বি শ্রেণীর উপাদানগুলির জন্য কম সৌম্য হওয়া উচিত ।

Comments

এটি স্পষ্টতই অনুমান করে যে (1) আমরা যে কেপিআইকে সর্বাধিক করার চেষ্টা করি তা হ'ল যথার্থতা এবং (2) যে শ্রেণিবদ্ধকরণের মডেল মূল্যায়নের জন্য নির্ভুলতা উপযুক্ত কেপিআই। এটা না।

— এস। কোলাসা - মনিকা

Answer 5

আপনি যদি এটির বিষয়ে চিন্তা করেন: একেবারে পৃথকযোগ্য উচ্চ ভারসাম্যহীন ডেটা সেটটিতে, প্রায় কোনও অ্যালগরিদম ত্রুটি ছাড়াই সম্পাদন করবে।

অতএব, এটি ডেটা শব্দের সমস্যা এবং একটি নির্দিষ্ট অ্যালগরিদমে কম বাঁধা is এবং আপনি আগে জানেন না কোন বিশেষ ধরণের শব্দের জন্য কোন অ্যালগরিদম ক্ষতিপূরণ দেয়।

শেষ পর্যন্ত আপনাকে কেবল আলাদা পদ্ধতি ব্যবহার করতে হবে এবং ক্রস বৈধকরণের দ্বারা সিদ্ধান্ত নিতে হবে।

Comments

আমি মনে করি এই মন্তব্যটি কিছুটা প্রশংসিত। আমি কাউকে বোঝাতে কিছুটা সময় ব্যয় করি যে বর্গ ভারসাম্যহীনতা সবসময় সমস্যা হয় না ।

— আরডিকে

এটি প্রশ্নের উত্তর দেয় না। ভারসাম্যহীন ক্লাসগুলি কীভাবে "ডেটাতে গোলমালের আরও সমস্যা" হয়?

— এস। কোলাসা - মনিকা

@ স্টেফানকোলাসা এটি একটি উত্তর, কারণ এটি বলেছে যে ভারসাম্যহীন ডেটা কোনও সমস্যা নয় (সরাসরি)। সুতরাং আপনি এটি "কীভাবে" তা জিজ্ঞাসা করতে পারবেন না। "ডেটা বিশ্লেষণে শব্দ সংক্রান্ত সমস্যাগুলি কীভাবে মোকাবেলা করা যায়" আরও সাধারণ প্রশ্নের জন্য, উত্তরটি হ'ল এটি পৃথক ডেটা সেটগুলির সাথে সুনির্দিষ্ট এবং আপনি যা করতে পারেন তা বৈধতা সেট আপ করে এবং যা কাজ করে তা চেষ্টা করে। আপনি যদি সত্যিই কিছু আলোচনা করতে চান তবে আমি বিশ্বাস করি এলি.উরি.ইডু / ফ্যাক্টরি / তিনি / পিডিএফ ফাইলস / ভারসাম্যহীনতা তবে শেষ পর্যন্ত আপনি স্যাম্পলিং / রিয়েলওয়েটিং / থ্রোহোল্ডিং করবেন এবং এই ডেটা সেটে ঠিক কী ঘটেছে তা জানার মতো মূল্য নেই।

— জেরেনুক