পরিসংখ্যান 'বড় সমস্যা' কি কি?

Question

গণিতে রয়েছে বিখ্যাত সহস্রাব্দের সমস্যা (এবং, historতিহাসিকভাবে হিলবার্টের ২৩ ), এমন প্রশ্ন যা ক্ষেত্রের দিকটি গঠনে সহায়তা করেছিল।

আমার কাছে কিছুটা ধারণা নেই, তবে রিমন হাইপোথেসিস এবং পি বনাম এনপি এর পরিসংখ্যানগুলি কী হবে।

তাহলে, পরিসংখ্যানগুলিতে অবিচ্ছিন্ন প্রশ্নগুলি কী?

যুক্ত করার জন্য সম্পাদিত: আমি যে উত্তরটির সন্ধান করছি তার সাধারণ আত্মার উদাহরণ হিসাবে (যদি খুব স্পষ্টতাই না হয়) আমি ডেভিড ডোনহোর একটি "হিলবার্টের ২৩" -র একটি "একবিংশ শতাব্দীর ম্যাথ চ্যালেঞ্জস" সম্মেলনে একটি বক্তৃতা পেয়েছি: উচ্চ মাত্রিক ডেটা বিশ্লেষণ: অভিশাপের অভিশাপ এবং আশীর্বাদ

সুতরাং একটি সম্ভাব্য উত্তর বড় ডেটা এবং এটি গুরুত্বপূর্ণ কেন, স্ট্যাটিস্টিকাল চ্যালেঞ্জগুলির ধরণের উচ্চ-মাত্রিক ডেটা এবং যে পদ্ধতিগুলির বিকাশ করা দরকার বা সমস্যা সমাধানে সহায়তা করার জন্য যে প্রশ্নের উত্তর দেওয়া দরকার সেগুলি সম্পর্কে কথা বলতে পারে।

Comments

এই পোস্ট করার জন্য আপনাকে ধন্যবাদ। এটি একটি গুরুত্বপূর্ণ (এবং সম্ভাব্য অনুপ্রেরণামূলক) আলোচনা হওয়া দরকার।

— হোবার

Answer 1

একটি বড় প্রশ্নে পরিসংখ্যানগত পদ্ধতিগুলির মূল বিষয়গুলি জড়িত হওয়া উচিত বা, কারণ পরিসংখ্যানগুলি সম্পূর্ণরূপে অ্যাপ্লিকেশনগুলি সম্পর্কিত, এটি সমাজের জন্য গুরুত্বপূর্ণ সমস্যার সাথে পরিসংখ্যান কীভাবে ব্যবহৃত হয় তা উদ্বেগ করা উচিত।

এই বৈশিষ্ট্যটি বোঝায় যে বড় সমস্যাগুলির যে কোনও বিবেচনায় নিম্নলিখিতগুলি অন্তর্ভুক্ত করা উচিত:

• ড্রাগ ট্রায়াল পরিচালনা করার জন্য কীভাবে সেরা । বর্তমানে, ধ্রুপদী অনুমানের পরীক্ষার জন্য অধ্যয়নের অনেক আনুষ্ঠানিক পর্যায় প্রয়োজন। পরবর্তী সময়ে (নিশ্চিতকরণযোগ্য) পর্যায়ক্রমে অর্থনৈতিক ও নৈতিক সমস্যাগুলি বড় আকার ধারণ করে। আমরা কি আরও ভাল করতে পারি? আমাদের কী কয়েকশ বা হাজারো অসুস্থ মানুষকে নিয়ন্ত্রণ গ্রুপে স্থাপন করতে হবে এবং অধ্যয়ন শেষ না হওয়া পর্যন্ত তাদের সেখানে রাখতে হবে, উদাহরণস্বরূপ, বা আমরা কীভাবে চিকিত্সাগুলি কার্যকরী তা চিহ্নিত করার এবং পরীক্ষার সদস্যদের কাছে পৌঁছে দেওয়ার আরও ভাল উপায় খুঁজে পেতে পারি (এবং অন্যদের) তাড়াতাড়ি?

• বৈজ্ঞানিক প্রকাশনার পক্ষপাত সঙ্গে মোকাবেলা । নেতিবাচক ফলাফলগুলি খুব কম প্রকাশিত হয় কারণ এগুলি কেবল একটি যাদু পি-মান অর্জন করে না। বিজ্ঞানের সমস্ত শাখাগুলিকে বৈজ্ঞানিকভাবে গুরুত্বপূর্ণ আনার জন্য আরও উন্নততর উপায়গুলি খুঁজে বের করতে হবে , কেবলমাত্র পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ নয়, ফলাফলগুলি আলোকিত করার জন্য। (একাধিক তুলনা সমস্যা এবং উচ্চ-মাত্রিক ডেটার সাথে লড়াই করা এই সমস্যার উপশ্রেণীশ্রেণীতে রয়েছে))

• মেশিন লার্নিং এবং মেশিন জ্ঞানের সাথে পরিসংখ্যানগত পদ্ধতিগুলির সীমা এবং তাদের ইন্টারফেসের সীমা পরীক্ষা করা । কম্পিউটিং প্রযুক্তিতে অনিবার্য অগ্রগতি সত্যিকারের এআইকে আমাদের জীবনকালে অ্যাক্সেসযোগ্য করে তুলবে। আমরা কীভাবে কৃত্রিম মস্তিষ্কের প্রোগ্রাম করতে যাচ্ছি? এই অগ্রগতি তৈরিতে পরিসংখ্যানগত চিন্তাভাবনা এবং পরিসংখ্যানগত শিক্ষার কী ভূমিকা থাকতে পারে? কীভাবে পরিসংখ্যানবিদরা কৃত্রিম জ্ঞান, কৃত্রিম শিক্ষা, তাদের সীমাবদ্ধতাগুলি অন্বেষণে এবং অগ্রগতি সম্পর্কে চিন্তাভাবনা করতে সহায়তা করতে পারেন?

• ভূ-স্থান সংক্রান্ত ডেটা বিশ্লেষণের আরও ভাল উপায় বিকাশ করা । এটি প্রায়শই দাবি করা হয় যে সংখ্যাগুরু বা বৃহত সংখ্যাগরিষ্ঠ ডাটাবেসের মধ্যে স্থানীয় উল্লেখ রয়েছে। শীঘ্রই অনেক লোক এবং ডিভাইস জিপিএস এবং সেল ফোন প্রযুক্তির সাথে রিয়েল টাইমে উপস্থিত হবে। স্থানিক তথ্য বিশ্লেষণ ও শোষণের পরিসংখ্যানগত পদ্ধতিগুলি তাদের শৈশবকালের মধ্যেই রয়েছে (এবং এটি জিআইএস এবং স্থানিক সফ্টওয়্যারের কাছে প্রেরণিত বলে মনে হয় যা সাধারণত অ-পরিসংখ্যানবিদরা ব্যবহার করেন)।

Comments

কী কী উপায়ে লোকেরা এই সমস্যাগুলি সমাধান করার চেষ্টা করছে?

— রেগটিন

@ গ্রেটুর: এটি চারটি দুর্দান্ত প্রশ্ন (আরও অনেকগুলি কারণ, আপনার উত্তরটি এই থ্রেডের প্রতিটি উত্তরের ক্ষেত্রে প্রযোজ্য)। এগুলি সকলেই বিস্তৃত উত্তরের প্রাপ্য, তবে স্পষ্টতই এখানে এর কোনও স্থান নেই: একবারে একটি প্রশ্ন, দয়া করে!

— হোয়বার

প্রথম বুলেট (ড্রাগ ট্রায়াল) সম্পর্কিত: এমনকি যে সকল ব্যক্তি চিকিত্সা পরীক্ষায় আগ্রহী না হতে পারে তাদেরও ক্লিনিকাল ট্রায়ালসের বেসিক বিধি সম্পর্কে ন্যু ওষুধ ড্রাগ নিউট্রাকস আলোচনার আলোড়ন পড়তে হবে ( nyائم.com/2010/09/19/health/research/ … )। পরিসংখ্যানগতভাবে সাক্ষর পাঠক তাত্ক্ষণিকভাবে পরীক্ষামূলক ডিজাইনের বিষয়ে সিদ্ধান্তহীন সিদ্ধান্তগুলি গ্রহণের জন্য পি-ভ্যালুগুলি সম্পর্কিত অস্তিত্পূর্ণ প্রভাবগুলি দেখতে পাবেন। এই নিবন্ধে বর্ণিত জীবন-মৃত্যুর কনড্রামের জন্য কোথাও একটি পরিসংখ্যানগত রেজোলিউশন রয়েছে।

— whuber

Answer 2

মাইকেল জর্ডানের একটি সংক্ষিপ্ত নিবন্ধ রয়েছে যা বেইসিয়ান পরিসংখ্যানগুলিতে ওপেন সমস্যাগুলি কী? , যাতে তিনি পরিসংখ্যানের উন্মুক্ত সমস্যা সম্পর্কে তাদের মতামতের জন্য একসংখ্যক পরিসংখ্যানবিদদের পোল করেছিলেন। আমি এখানে কিছুটা সংক্ষিপ্ত করব (ওরফে, অনুলিপি এবং পেস্ট) তবে আসলটি পড়ার পক্ষে এটি সম্ভবত সেরা।

ননপ্যারমেট্রিক্স এবং সেমিপ্রেমেট্রিক্স

• কোন সমস্যার জন্য বায়েশিয়ান ননপ্রেমেট্রিকগুলি দরকারী এবং সেই সমস্যার জন্য?
• ডেভিড ডানসন: "ননপ্যারামেট্রিক বেইস মডেলগুলিতে সীমিতভাবে অনেকগুলি পরামিতি জড়িত এবং প্রাইয়ারদের যথাযথ উদ্দেশ্যমূলক বা বিষয়গত ন্যায়সঙ্গততা না দিয়ে আপাতদৃষ্টিতে যুক্তিসঙ্গত মানগুলিতে সেট করা হাইপারপ্যারামিটারগুলি সুবিধার জন্য বেছে নেওয়া হয়।"
• "এটি বেশিরভাগ লোকের দ্বারা উল্লেখ করা হয়েছিল যে ঘন ঘনবাদী ননপ্যারমেট্রিকগুলির আবেদনমূলক আবেদনগুলির মধ্যে একটি হ'ল সেমাইপ্যারমেট্রিক অনুক্রম, যেখানে মডেলের ননপ্রেমেট্রিক উপাদান একটি উপদ্রব পরামিতি These বায়েশিয়ান সেমিপ্রেমেট্রিক্স "

গতকাল দেশের সর্বোচ্চ তাপমাত্রা

• "এলিকিটেশন খোলা সমস্যার একটি প্রধান উত্স হিসাবে রয়ে গেছে।"
• 'আড ভ্যান ডার ভার্ট উদ্দেশ্য বায়েসকে তার মাথায় ঘুরিয়ে দিয়েছিল এবং "পরিস্থিতি যেখানে কেউ পূর্বের মধ্যবর্তী স্থানে আসতে চায়" এর তত্ত্বের অভাবের দিকে ইঙ্গিত করে বলেছিলেন, "কেবল ধূমপানের ক্ষেত্রে বায়েশীয় দৃষ্টিভঙ্গি সরবরাহ করা উচিত নয়।"

বায়েশিয়ান / ঘন ঘন সম্পর্ক

• "অনেক উত্তরদাতারা বায়েশিয়ান / ঘন ঘনবাদী সম্পর্ককে আরও হাতুড়ি দেওয়ার ইচ্ছা প্রকাশ করেছিলেন। উচ্চতর মাত্রিক মডেল এবং উপাত্তের প্রেক্ষাপটে এটি সর্বাধিক প্রকাশিত হয়েছিল, যেখানে কেবলমাত্র প্রবীণদের নির্দিষ্টকরণের ক্ষেত্রে বিষয়গত দৃষ্টিভঙ্গিই কার্যকর করা কঠিন নয় তবে সুবিধাবঞ্চিত প্রবক্তারা হতে পারে (অত্যন্ত) বিভ্রান্তিমূলক। "
• 'কিছু উত্তরদাতারা অ-অ্যাসিম্পটোটিক তত্ত্বের জন্য খাঁজ দেয় যা বয়েসীয় পদ্ধতিগুলির আরও পুঙ্খানুপুঙ্খ সুবিধাগুলি পুরোপুরি প্রকাশ করতে পারে; উদাহরণস্বরূপ, ডেভিড ডানসন: "প্রায়শই, ঘন ঘনত্বে সর্বোত্তম হার প্রক্রিয়াগুলির দ্বারা প্রাপ্ত হয় যা স্পষ্টভাবে সীমাবদ্ধ নমুনায় বায়েশিয়ান পদ্ধতির চেয়ে অনেক খারাপ কাজ করে।"

গণনা এবং পরিসংখ্যান

• অ্যালান গেলফ্যান্ড: "লোকেরা যে সমস্যাগুলির সমাধান করতে চায় তার জন্য যদি এমসিসিএমসি আর ব্যবহার্য না হয়, তবে আইবিএর পদ্ধতির, আইএনএলএর বিভিন্ন পদ্ধতির ভূমিকা কী?"
• "বেশ কয়েকটি উত্তরদাতারা গণ্য বিজ্ঞান এবং পরিসংখ্যান বিজ্ঞানের আরও পুঙ্খানুপুঙ্খ একীকরণের জন্য অনুরোধ করেছিলেন, উল্লেখ করে যে যে কোনও অবস্থাতে যে পৌঁছে যেতে পারে সেগুলির সূত্রগুলি সম্মিলিতভাবে মডেল, পূর্ব, উপাত্ত এবং গণনীয় সংস্থানসমূহের একটি কাজ এবং শুভেচ্ছাকে কামনা করে এই পরিমাণের মধ্যে ব্যবসায়ের আরও সুস্পষ্ট পরিচালনার জন্য। প্রকৃতপক্ষে রব ক্যাস "অনুমানযোগ্য দ্রাব্যতা" ধারণার সম্ভাবনা উত্থাপন করেছিলেন যেখানে কিছু সমস্যা আশার বাইরে রয়েছে বলে বোঝা যায় (যেমন,রিগ্রেশনে মডেল নির্বাচন যেখানে "প্রচলিত পরিমাণে ডাটা অনিয়ন্ত্রিত শব্দের সাপেক্ষে যখন প্রচুর সংখ্যক ভেরিয়েবলের উপস্থিতি বা উপস্থিতি অদৃশিত না থাকে তখন রিগ্রেশন সহগের বিষয়ে দরকারী আত্মবিশ্বাসের অন্তর পাওয়া সম্ভব") এবং যেখানে অন্যান্য সমস্যা রয়েছে ("কিছু নির্দিষ্ট ক্রিয়াকলাপ যার জন্য দরকারী আত্মবিশ্বাসের অন্তর বিদ্যমান") যার জন্য আশা রয়েছে ""
• "বেশ কয়েকটি উত্তরদাতারা, একটি নির্দিষ্ট অস্পষ্টতার জন্য ক্ষমা চেয়ে, এমন একটি অনুভূতি প্রকাশ করেছিলেন যে প্রচুর পরিমাণে ডেটা অগত্যা একটি বৃহত পরিমাণে গণনা বোঝায় না; বরং, কোনও উপায়ে বড় ডেটাতে উপস্থিত অনন্য শক্তি অ্যালগরিদমে স্থানান্তর করে এটি সম্ভব করে তোলে একটি সন্তোষজনক (আনুমানিক) অনুমানমূলক সমাধান অর্জনের জন্য কম গণনার পদক্ষেপ নিয়ে কাজ করা। "

মডেল নির্বাচন এবং হাইপোথিসিস পরীক্ষা

• জর্জ Casella। "আমরা এখন মডেল নির্বাচনের কাজটি কিন্তু Bayesians নির্বাচিত মডেলের উপর অনুমান ভিত্তিবিন্দু বৈশিষ্ট্য সম্পর্কে চিন্তা বলে মনে হচ্ছে না যদি এটি ভুল কি কি একটা নির্দিষ্ট পরামিতি জন্য বিশ্বাসযোগ্য অঞ্চলে স্থাপনের পরিণাম? যখন আপনি ভুল মডেলটি নির্বাচন করেছেন? আমাদের কি কোনও প্রকার গ্যারান্টি সহ পদ্ধতি থাকতে পারে? "$β_1$
• মডেল নির্বাচনের সিদ্ধান্ত-তাত্ত্বিক ভিত্তিতে আরও কাজের প্রয়োজন।
• ডেভিড স্পিগেলহাল্টার: "পূর্ব / তথ্য বিরোধের জন্য বায়েসীয় বিশ্লেষণের অবিচ্ছেদ্য অঙ্গগুলির জন্য চেক তৈরি করা কীভাবে সেরা?"
• অ্যান্ড্রু গ্যালম্যান: "মডেল চেকিংয়ের জন্য, মডেলগুলি বোঝার এবং তুলনা করার জন্য একটি মূল ওপেন সমস্যা গ্রাফিকাল সরঞ্জাম বিকাশ করছে Gra গ্রাফিকগুলি কেবল কাঁচা ডেটার জন্য নয়; বরং জটিল বায়েশিয়ান মডেলগুলি আরও ভাল এবং কার্যকর অনুসন্ধানী ডেটা বিশ্লেষণের সুযোগ দেয়" "

Answer 3

তারা কতটা বড় তা আমি নিশ্চিত নই, তবে পরিসংখ্যানগুলিতে অমীমাংসিত সমস্যার জন্য একটি উইকিপিডিয়া পৃষ্ঠা রয়েছে । তাদের তালিকায় রয়েছে:

অনুমান এবং পরীক্ষা

• পদ্ধতিগত ত্রুটি
• গ্রেবিল – ডিল অনুমানকারী এর প্রশংসাপত্র
• মেটা-বিশ্লেষণে নির্ভরশীল পি-মানগুলির সংমিশ্রণ
• বেরেনস – ফিশারের সমস্যা
• একাধিক তুলনা
• বায়েশিয়ান পরিসংখ্যানগুলিতে উন্মুক্ত সমস্যা

পরীক্ষামূলক অলঙ্করণ

• লাতিন স্কোয়ারে সমস্যা

আরও দার্শনিক প্রকৃতির সমস্যা

• প্রজাতির সমস্যার নমুনা
• কেয়ামতের যুক্তি
• প্যারাডক্স এক্সচেঞ্জ

Answer 4

আমি যে উত্তরটির সন্ধান করছি তার সাধারণ স্পিরিটের (উদাহরণস্বরূপ যদি না বলা যায়) উদাহরণ হিসাবে, আমি "একবিংশ শতাব্দীর ম্যাথ চ্যালেঞ্জস" সম্মেলনে ডেভিড ডনহো-র একটি "হিলবার্টের 23" -র একটি প্রবাহিত বক্তৃতা পেয়েছি:

উচ্চ মাত্রিক ডেটা বিশ্লেষণ: অভিশাপের অভিশাপ এবং আশীর্বাদ

Comments

আমি কি আপনাকে এই তথ্য অন্তর্ভুক্ত করতে আপনার মূল প্রশ্নটি সম্পাদনা করার পরামর্শ দিতে পারি?

— রাসেলপিয়ার্স

Answer 5

ম্যাথওভারফ্লোতে সম্ভাব্যতা তত্ত্বের বড় সমস্যাগুলি সম্পর্কে একই প্রশ্ন রয়েছে ।

এটি পৃষ্ঠা থেকে প্রদর্শিত হবে যে সবচেয়ে বড় প্রশ্নগুলি এলোমেলো পদক্ষেপ এবং পারকোলেশনগুলি এড়ানো থেকে বিরত থাকা।

Comments

আমি মনে করি পরিসংখ্যান সম্ভাবনা তত্ত্ব থেকে পৃথক ক্ষেত্র, যদিও।

— রেগটিন

@ ইর্যাগটিন - আমি মনে করি না সম্ভাবনা তত্ত্বটি পরিসংখ্যান থেকে পৃথক, বরং এটি তত্ত্ব। "পরিসংখ্যান" হ'ল অনুমানমূলক সমস্যাগুলির (যেমন অনুশীলন) সম্ভাবনার তত্ত্বের প্রয়োগ।

— সম্ভাব্যতা

Answer 6

আপনি এই বছরের শুরুতে হার্ভার্ডের "সোস্যাল সায়েন্সেসের কথা বলার মধ্যে হার্ড সমস্যাগুলি পরীক্ষা করে দেখতে পারেন these এর মধ্যে বেশ কয়েকটি আলোচনা সামাজিক বিজ্ঞানের পরিসংখ্যানের ব্যবহার এবং মডেলিংয়ের ক্ষেত্রে বিষয়গুলির প্রস্তাব দেয়।

Answer 7

আমার উত্তরটি ঘন ঘন এবং বায়েশিয়ান পরিসংখ্যানগুলির মধ্যে লড়াই হবে। লোকেরা যখন আপনাকে জিজ্ঞাসা করে আপনি কোনটি "বিশ্বাস" করেন, এটি ভাল নয়! বিশেষত বৈজ্ঞানিক অনুশাসনের জন্য।

Comments

কোনও বিজ্ঞানীর কোনও কিছুর উপর "বিশ্বাস" করার কোনও ভুল নেই, বিশেষ করে যেমন কোনও বায়সিয়ান সম্ভাবনা কিছু প্রস্তাবের সত্যতা সম্পর্কিত বিশ্বাস বা জ্ঞানের মাত্রার প্রতিনিধিত্ব করে।

— ডিকরান মার্সুপিয়াল

... সমস্যা তখনই উদ্ভূত হয় যখন কোনও বিজ্ঞানী একটি বিশ্বাস এবং সত্যের মধ্যে পার্থক্য করতে পারবেন না। বায়েশিয়ান বা ঘন ঘনবাদী পরিসংখ্যানগুলি উচ্চতর বলে এই বিশ্বাসের মধ্যে অবৈজ্ঞানিক কিছু নেই, কারণ কোনও উদ্দেশ্যগত পরীক্ষা নেই যা উত্তর (এএফএআইকি) সিদ্ধান্ত নিতে পারে, তাই পছন্দটি মূলত বিষয়গত এবং / অথবা "কোর্সের জন্য ঘোড়া" সম্পর্কিত বিষয়।

— ডিকরান মার্সুপিয়াল

@ প্রপোফল - আমি সম্মত হই যে "বিশ্বাস" শব্দটি পরিসংখ্যানগুলিতে ব্যবহার করা উপযুক্ত ধারণা নয় - এটি ভুল প্রকারের অর্থ বহন করে। তথ্য আমার মনে হয় এমন অনেক বেশি উপযুক্ত শব্দ (যেমন "আপনার কাছে কী তথ্য আছে?")। এটি বায়েশীয় বিশ্লেষণের গণিত বা অনুকূলতত্ত্বের উপপাদাগুলি পরিবর্তন করে না, তবে তারা কীভাবে বাস্তবে ব্যবহৃত হয় সে ক্ষেত্রে এটি তাদের যথাযথ অর্থ দেয়। যেমন একটি শারীরিক তত্ত্ব বা কার্যকারিতা প্রক্রিয়া জ্ঞান তথ্য, এবং বিশ্বাস নয়।

— সম্ভাব্যতা ব্লগ