পরিসংখ্যানবিদরা কী করবেন যা স্বয়ংক্রিয় করা যায় না?

Question

সফ্টওয়্যার কি পরিসংখ্যানবিদদেরকে অচল করে দেবে? এমন কী করা হয় যা কম্পিউটারে প্রোগ্রাম করা যায় না?

Comments

তারা মনে করে (যেমন জ্ঞান বহন করে)।

— গুং - মনিকা পুনরায়

ফলাফল ;-) ব্যাখ্যা

— ocram

একই প্রশ্নটি তখন সাধারণভাবে প্রোগ্রামারদের জন্য জিজ্ঞাসা করা যেতে পারে;)

— এনবি 1

আমরা স্টাডিজ ডিজাইন করি এবং বিশেষত আমাদের বাস্তব জীবনের সমস্যাগুলি মোকাবেলা করতে হবে যেখানে পরিসংখ্যানগতভাবে "সেরা" নকশাটি প্রয়োগ করা যায় না। আমরা নোংরা ডেটা পরিষ্কার করি, আসল-বিশ্ব জ্ঞান বহন করে। আমরা ফলাফলগুলি সরল [পছন্দের ভাষা সন্নিবেশ করান] তেও ব্যাখ্যা করি।

— মিশেল

বিয়ার পান কর! ; ও)

— ডিকরান মার্সুপিয়াল

Answer 1

@ অ্যাডাম, আপনি যদি অন্যান্য ক্ষেত্রের লোকদের - যাঁরা বিদ্যমান পদ্ধতি এবং জ্ঞানের উপর নির্ভর করে তাদের কাছে একইভাবে পরিসংখ্যান গবেষকদের কথা ভাবেন - তবে এটি আরও পরিষ্কার করে দিতে পারে যে আপনার প্রথম প্রশ্নের উত্তর 'না' '

পরিসংখ্যানবিদরা কেবল ক্যানড সফ্টওয়্যার প্যাকেজ প্রয়োগ করে জীবিকা নির্বাহ করে এমন একটি কাগজের আলোচনার অংশটি লেখার ব্যপারে, যেখানে ফলাফলগুলি ব্যাখ্যা করতে হবে, কেবলমাত্র প্রতিটি পদক্ষেপের জন্য কম্পিউটার দ্বারা প্রতিস্থাপিত হতে পারে। সুতরাং, সেই অর্থে, হ্যাঁ - এটি স্বয়ংক্রিয়ভাবে চালিত হতে পারে (যদিও এটি একটি জটিল সফ্টওয়্যারের টুকরো হতে হবে যা একটি প্রাকৃতিক ভাষার প্রসেসরের একটি নরক রয়েছে)।

যাইহোক, বেশিরভাগ গবেষক অবশেষে আবিষ্কার করেছেন যে, "ডাবের" রুটিনগুলি যা লোকেরা প্রায়শই ব্যবহার করে তা বেশ সীমাবদ্ধ এবং বিশেষায়িত গবেষণামূলক প্রশ্নের উত্তর দেওয়ার জন্য অবশ্যই পরিবর্তন করতে হবে (বা নতুন পদ্ধতিগুলি সম্পূর্ণভাবে বিকাশ করতে হবে) - এখানেই পরিসংখ্যানের মানবিক দিকটি অপরিহার্য । অথবা, একজন গবেষককে অবশ্যই কিছুটা আলাদা, তবে সম্পর্কিত, গবেষণা প্রশ্ন সমাধান করতে হবে যা শাস্ত্রীয় পদ্ধতি ব্যবহার করে উত্তর দেওয়া যেতে পারে।

আমি জানি বেশিরভাগ পরিসংখ্যানবিদ গবেষণা কাজগুলিতে কাজ করেন (যেমন অধ্যাপক, গবেষণা বিজ্ঞানীরা) যেখানে তাদের প্রাথমিক ভূমিকাটি নতুন পদ্ধতি উদ্ভাবন করা। যদি এই প্রক্রিয়াটি স্বয়ংক্রিয়ভাবে পরিচালিত হতে পারে, যার অর্থ একটি কম্পিউটার কার্যকরভাবে নতুন পদ্ধতি প্রণয়ন এবং ক্র্যাঙ্ক করতে পারে তবে আমি আশঙ্কা করি যে প্রতিটি ক্ষেত্রে গবেষকরা অচল হয়ে পড়ে।

Comments

আমি মনে করি আপনার দ্বিতীয় অনুচ্ছেদটি একটি বিন্দু মিস করেছে: এটি কেবল প্রক্রিয়াটির সমাপ্তি নয় (ফলাফলের ব্যাখ্যা) এটি শক্ত, এটিও একটি সূচনা - কীভাবে উপাত্তগুলিতে কী কী পদ্ধতি প্রয়োগ করতে হবে তা বোঝা, যা সাধারণ ক্ষেত্রে প্রকৃতি বোঝার প্রয়োজন ডেটা এবং সিস্টেমটি থেকে এটি এসেছে।

— ক্যাস্যাবেল

@ জেফ্রোমি, যেমন আমি নীচের কারও কাছে মন্তব্য করেছি, আমি মনে করি যে পরিসংখ্যানবিদ নয়, প্রয়োগের ক্ষেত্রে বিশেষজ্ঞের দ্বারা বোঝাপড়াটি এসেছে।

— ম্যাক্রো

যদি প্রয়োগের ক্ষেত্রে বিশেষজ্ঞরা কেবল "আগত" বোঝেন তবে আমার কাজটি আরও সহজ হবে (এবং খুব কম মজাদার)। একটি ফ্রেমের সমস্যা আছে: বিশেষজ্ঞের এমন কিছু বলা যা স্ট্যাটিস্টিকাল বিশ্লেষণের জন্য গুরুত্বপূর্ণ হতে পারে বলে মনে করে না। অনুশীলনে সর্বাধিক ফলদায়ক সহযোগিতার ফলে বিশেষজ্ঞের ন্যায্য পরিমাণ পরিসংখ্যান এবং পরিসংখ্যানবিদরা প্রয়োগের ক্ষেত্র সম্পর্কে ন্যায্য পরিমাণ শিখতে পারে।

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

Answer 2

কম্পিউটারগুলি কেবল পরিসংখ্যানবিদদেরকেই অচল করে দেবে যখন শক্তিশালী এআই মানুষকে পুরো অচল করে তোলে।

প্রশ্নটি আমাকে এই প্রশ্নটি সম্পর্কে মনে করিয়ে দেয়, "যদি এই সমস্ত শক্তিশালী পরিসংখ্যানগত পদ্ধতি থাকে তবে লোকেরা কেন এখনও অন্য পদ্ধতি ব্যবহার করে?" উত্তরগুলির কয়েকটি হ'ল অভ্যাস এবং প্রশিক্ষণ, তবে এর বেশিরভাগ ক্ষেত্রেই প্রশ্নটি নিষ্প্রভ: "শক্তিশালী" এর অর্থ এই নয় যে "আপনার কী করা হচ্ছে সে সম্পর্কে আপনাকে ভাবতে হবে এবং বুঝতে হবে না", যেমন প্রশ্নটি থেকেই বোঝা যাচ্ছে।

মানে, আপনি আজ আর পরিসংখ্যান প্যাকেজটি ডাউনলোড করতে পারতেন, এবং রাতের বেলা কোনও বেসিক পরিসংখ্যান কৌশল করতেন। এরপরে আপনি কয়েকটি প্যাকেজ ডাউনলোড করতে পারেন এবং এতটা রহস্যজনক পদ্ধতি ব্যবহার করতে শুরু করেছিলেন যে আমাদের বেশিরভাগ তাদের কাছে এটি শোনেনি। প্রশ্নটি: আপনি কি যুক্তিসঙ্গত উত্তর পাবেন? উত্তর: সম্ভবত না।

অ্যালগরিদমগুলি স্বয়ংক্রিয় হয়, তবে তদন্তের পথ ধরে আপনার এখনও অনেক রায় কল করতে হবে: আক্রমণের পরিকল্পনা থেকে শুরু করে চূড়ান্ত রায় পর্যন্ত ফলাফলগুলি আসলে বোঝায় কি না। এই অবস্থানে পৌঁছানোর জন্য, আপনি সত্যিই স্টার-ট্র্যাক-এর মতো কম্পিউটারগুলির বিষয়ে কথা বলছেন যেখানে আপনি বলতে পারেন "কম্পিউটার, আমাকে বলুন ...", যার দ্বারা প্রতিটি মানুষের পেশা অপ্রচলিত।

Comments

"1 এর জন্য" কম্পিউটারগুলি কেবল পরিসংখ্যানবিদদেরকেই অচল করে দেবে যখন শক্তিশালী এআই মানুষকে সম্পূর্ণ অচল করে তোলে ""

— ম্যাক্রো

Answer 3

একটি পরিসংখ্যানবিদ একটি কম্পিউটার যা করতে পারে না তা কী করতে পারে? তাদের দ্বারা প্রতিস্থাপিত করা আসল প্রোগ্রামটি লিখুন।

কিছুটা নির্বোধ উত্তরের বাইরে, প্রশ্নের মূলটি তার যান্ত্রিকের পক্ষে পরিসংখ্যানের প্রকৃত বিজ্ঞানকে উপেক্ষা করে পরিসংখ্যানগত বিশ্লেষণে সৃজনশীল প্রক্রিয়ার ভূমিকা পুরোপুরি ছাড় দিচ্ছে। এটি হ'ল পিটার ফ্লমের গাড়ীর উদাহরণটি ব্যবহার করার মতো, যেমন বলা হচ্ছে গাড়িগুলি রিভেটস এবং ওয়েল্ড ব্যবহার করে নির্মিত হয়েছে, সুতরাং নতুন মুস্তং রিভেটিং এবং ওয়েল্ডিং রোবটগুলির দ্বারা নকশা করা সম্ভব হয়নি reason

পরিসংখ্যানগুলি করার একটি বিশাল পরিমাণে বিষয়-বিষয় দক্ষতা, রায় রায় এবং সৃজনশীলতা জড়িত। একটি অ্যালগরিদম থেকে চালিত "ক্যানড" বিশ্লেষণ প্রায়শই আপনাকে সর্বোত্তম উত্তর দেয় না এবং অবিচ্ছিন্ন নথিভুক্ত উদাহরণ রয়েছে যেখানে স্বয়ংক্রিয় পদ্ধতি ব্যবহার করে আপনাকে ভুল উত্তর দেয় - বা কমপক্ষে আপনি যে উত্তরটি পেয়ে যাচ্ছেন বলে মনে করেন সেগুলি নয়। খাঁটি সংখ্যার ভিত্তিক সংজ্ঞায়িত কোয়ান্টাইলের উপর ভিত্তি করে স্টেপওয়াইস পি-ভ্যালু ভিত্তিক পরিবর্তনশীল নির্বাচন পদ্ধতি এবং বিশ্লেষণের ব্যবহার দুটি আমি এর সাথে সবচেয়ে বেশি পরিচিত, তবে আমি নিশ্চিত যে আপনি অন্যের ধন খুঁজে পেতে পারেন।

এমনকি যদি সেগুলি এখনও কোনওরকম স্বয়ংক্রিয়ভাবে ঘটে থাকে তবে ফলাফলগুলি ব্যাখ্যা করার বিষয়টি রয়েছে। আপনি যখন রিগ্রেশন সহগ বা পি-মান পান তখন পরিসংখ্যানবিদ (বা পরিসংখ্যান-ঝুঁকির বিজ্ঞানী) এর কাজটি করা হয় না। তার সন্ধানের অর্থ কী । সাবধানতা কি? এর আগে যা ঘটেছিল তার প্রসঙ্গে এটি কী উপস্থাপন করে?

অবশেষে, আপনার কাছে নতুন পদ্ধতির বিকাশ রয়েছে। পরিসংখ্যান এমন কিছু নয় যা আমরা সহজেই লোকদের দ্বারা চিহ্নিত করেছিলাম যাদের নামগুলি আমরা চিনি - ফিশার, কক্স, ইত্যাদি It's এটি একটি বিকশিত ক্ষেত্র, এবং কোনও ব্যক্তি নিজেই পদ্ধতিটি বিকাশ না করা পর্যন্ত আপনি কম্পিউটারে কোনও নতুন পদ্ধতি প্রোগ্রাম করতে পারবেন না।

Comments

(+1) কারণ "একটি অ্যালগরিদম থেকে চালিত বিশ্লেষণগুলি আপনাকে প্রায়শই সেরা উত্তরটি পাবেন না" খুব সত্য। এর অর্থ এই নয় যে পরিসংখ্যানগুলির মানব অনুশীলনকারীরা এই সমস্ত সময় না করে। (দ্রষ্টব্য: পরিসংখ্যানগুলির বেশিরভাগ অনুশীলনাকারী হলেন পরিসংখ্যানবিদ নয় ... আরও বেশি লোকের মতো যারা সত্যিকার অর্থে তারা কী করছেন তা না জেনেও পরিসংখ্যান ব্যবহার করছেন, ফলশ্রুতিতে খারাপ বিজ্ঞানের ফলস্বরূপ)

— ম্যাক্রো

Answer 4

এই প্রশ্নের ব্যাখ্যার আরেকটি উপায় হতে পারে: "সাম্প্রতিক বছরগুলিতে স্বয়ংক্রিয় পরিসংখ্যান কৌশলগুলির দ্রুত বৃদ্ধি নিবেদিত পরিসংখ্যানবিদদের এবং ডেটা বিশ্লেষকদের চাকরিতে হ্রাসমান চাহিদার সাথে কী মিলছে?"

আমরা ডেটা দেখে এই প্রশ্নটির সমাধান করতে পারি

প্রকৃত.কম ও বিপ্লব ব্লগের ডেটা সৌজন্যে

Comments

+1 এমনকি ডটকম.কম @ কোয়েটটিগকে অপ্রচলিত করেনি।

— থমাস লেভিন

আমি নিশ্চিত নই "ডেডিকেটেড স্ট্যাটিস্টিশিয়ানস এবং ডেটা অ্যানালিস্টদের চাকরির চাহিদা" কাজের কাজের বিজ্ঞাপনগুলির মধ্যে "ডেটা সায়েন্টিস্ট" বা "বিগ ডেটা" কীওয়ার্ডের ব্যবহারের সাথে দৃ strong় সম্পর্কযুক্ত। <- অনুমান সম্পর্কে সন্দেহজনক হ'ল মানব টেবিলে নিয়ে আসে ;-)

— ড্যারেন কুক

@ ড্যারেনকুক ভাল বলেছেন!

— cboettig

Answer 5

আমি প্রশ্নের ভিত্তিটির সাথে পুরোপুরি একমত নই, অর্থাৎ আমি মনে করি যে কোনও উপায়ে কম্পিউটার কখনই পরিসংখ্যানবিদদের প্রতিস্থাপনের আশা করতে পারে না, তবে কেন আমি মনে করি তার একটি নিখুঁত উদাহরণ রেখেছি:

পরিসংখ্যানবিদরা যে কাজটি বিজ্ঞানীদের সাথে করেন, বিশেষত, পরীক্ষাগুলির নকশা ও ব্যাখ্যায়, এটি কেবল একটি মানব মন নয়, এমনকি একটি দার্শনিক বাঁকও প্রয়োজন যা কম্পিউটারগুলি কখনই প্রদর্শন করতে পারে তা অকল্পনীয়।

যদি না আমরা কোনও ধরণের স্কাইনেট ধরণের পরিস্থিতির অবসান না করি তবে অবশ্যই আমি মনে করি যে এই ক্ষেত্রে সমস্ত ঝোঁক সম্ভবত সমস্ত মানবতার ভবিষ্যতের দিক থেকে দূরে রয়েছে, কেবলমাত্র পরিসংখ্যানবিদদের সম্পর্কে কিছু মনে করবেন না :-)

Comments

মান্য করার জন্য আমার কাছে কল্পিত ওভারলর্ডগুলি ব্যতীত। :)

— মিশেল

Answer 6

প্রশ্নটি কোনও পরিসংখ্যানবিদদের একটি নির্দোষ দৃষ্টিভঙ্গির পরামর্শ দেয় - এপি <0.05 দেখতে এবং কিছু নম্বর এবং মানক গ্রাফের প্রতিবেদন করা কিনা তা যাচাইয়ের বিষয়। যদি এটি আপনি পরিসংখ্যানবিদ দ্বারা বোঝাতে চান তবে আপনি আপনার জড়িত থেকে সঠিক হন যে এর বেশিরভাগ অংশ স্বয়ংক্রিয়ভাবে তৈরি হতে পারে। তবে এটি পরিসংখ্যানবিদ মানে না।

আপনার পরিসংখ্যান পরিসংখ্যানবিদ যদিও সংজ্ঞায়িত করুন, এবং আপনি আরও ভাল উত্তর পেতে পারে।

Answer 7

আপনার কম্পিউটারে একটি পরিসংখ্যান প্যাকেজ লোড করা আপনাকে গাড়ি কেনার চেয়ে কোনও পরিসংখ্যানবিদকে আর চালিত করে না to

এমনকি যদি পরিসংখ্যানবিদরা কেবল "টিনজাত" রুটিন প্রয়োগ করেন তবে প্রচুর প্রশ্ন রয়েছে।

1. কোন রুটিন? কোন রুটিন ক্লায়েন্টের প্রশ্নের উত্তর দেবে?
2. কি ভেরিয়েবলের সাথে? এবং তাদের রূপান্তর করা উচিত? কিছু স্তর একত্রিত করা উচিত? কোন মডেল জোর করা উচিত?
3. কি তথ্য দিয়ে? বিদেশী কি মুছে ফেলা উচিত? ছাঁটা? সম্ভবত একটি শক্ত পদ্ধতি?

ইত্যাদি।

কম্পিউটারটি চালু হওয়ার আগে কাজটি শুরু হয়, এবং পরিসংখ্যান প্যাকেজ বন্ধ হওয়ার অনেক পরে শেষ হয়।

আগে: ক্লায়েন্ট কী করতে চায়? প্রায়শই এটি অনেক কাজ! ক্লায়েন্টের কী ডেটা আছে? ওহে ওয়ে! ভেরিয়েবলগুলি V1 থেকে V828171 লেবেলযুক্ত কোনটি? সাহিত্যের অবস্থা কী? ক্লায়েন্ট কি আশা করবে? এটি কতটা প্রযুক্তিগত হওয়া উচিত?

পরে: ফলাফল বলতে কী বোঝায় ? (এবং কেবল "এর মানে এই নয় যে প্রতিরোধটি তাৎপর্যপূর্ণ") ক্লায়েন্টকে কীভাবে ফলাফল ব্যাখ্যা করা উচিত? ফলাফলগুলি আরও কী প্রশ্ন উত্থাপন করে?

আমি মনে করি, কম্পিউটার এটি করতে পারে তার অনেক আগেই।

Comments

(1), (2) এবং (3) এ তালিকাভুক্ত প্রশ্নের উত্তর দেওয়ার জন্য, আপনি কিছু যৌক্তিক প্রক্রিয়াটি অতিক্রম করবেন। তাত্ত্বিকভাবে, এই যৌক্তিক প্রক্রিয়াটি একটি কম্পিউটার প্রোগ্রামে কোড করা যেতে পারে। কম্পিউটারে যদি একটি নিখুঁত প্রাকৃতিক ভাষা প্রসেসর থাকে এবং সফ্টওয়্যারটিতে সমস্ত "ক্যানড" সফ্টওয়্যার থাকে এবং উপরে উল্লিখিত যুক্তিটি প্রোগ্রাম করা থাকে তবে এটি এই জিনিসগুলি করতে সক্ষম হবে। বা, আপনি কি বলছেন, এটি ঠিক কোনও যৌক্তিক প্রক্রিয়া নয়?

— ম্যাক্রো

আমার জন্য, উপমাটি একটু কাছাকাছি "গাড়ি কেনা আপনাকে মেকানিক বা গাড়ি ডিজাইনার করে না।"

— কার্ডিনাল

@ ম্যাক্রো কারণ এটির একটি যৌক্তিক প্রক্রিয়াটি কম্পিউটারে প্রোগ্রাম করা যায় কিনা তা অগত্যা বোঝায় না। "কিছু স্তরকে একত্রিত করা উচিত" সর্বদা একটি সংখ্যার পরিমাপ নয় - উদাহরণস্বরূপ, যদি এই সম্মিলিত স্তরগুলি ভেরিয়েবলের প্রসঙ্গে নিজেই বিবেচনা করে তবে তা বিবেচনা করা দরকার।

— ফোমাইট

অ্যাপ্লিকেশনটির প্রসঙ্গে এটি অর্থবোধ করে কিনা তা সিদ্ধান্ত নেওয়া কোনও পরিসংখ্যানবিদদের পক্ষে প্রশ্ন নয় - এটি অ্যাপ্লিকেশন যা-ই হোক না কেন বিশেষজ্ঞের জন্য এটি একটি প্রশ্ন। একজন পরিসংখ্যানবিদ আপনাকে বলতে পারেন যে তারা সমজাতীয় প্রদর্শিত হবে কি না তার ভিত্তিতে স্তরগুলি একত্রিত করা ন্যায়সঙ্গত কিনা, যা অবশ্যই কম্পিউটারে শেখানো যেতে পারে।

— ম্যাক্রো

আমি এটি প্রতিহত করতে পারি না যে গুগল যেদিকে গাড়ি কিনে আপনাকে গাড়ি চালাতে সক্ষম করবে সেদিকে অনেক উন্নতি করেছে - এটি স্বয়ংক্রিয়ভাবে এটি করবে!

— হোয়বার

Answer 8

একাডেমিক স্টাডিজ যা বিভিন্ন পেশা বা টাস্কের অটোমেশনের সম্ভাবনা দেখে তাদের মনে হয় না যে পরিসংখ্যানবিদরা শীঘ্রই কম্পিউটার দ্বারা প্রতিস্থাপিত হবে। উদাহরণস্বরূপ দেখুন বিতর্কিত ফ্রে ও ওসবার্ন (২০১৩) অধ্যয়ন যা কম্পিউটারাইজেশনের সম্ভাবনা অনুসারে পেশাগুলি রেখেছে, পরিসংখ্যানবিদরা ২২% সম্ভাব্যতার সাথে 2০২ এর মধ্যে ২১৩ তম স্থানে রয়েছেন (পরিশিষ্টের টেবিলটি দেখুন)। আপনি যদি আরও আগ্রহী হন তবে স্লেট নিবন্ধটি এখানে দেখুন ।

আরান্টজ এট আল। (২০১)) ( এখানে একটি দ্য ইকোনমিস্ট নিবন্ধ) ইউরোপীয় ইউনিয়নের জন্য পেশাগুলির চেয়ে কর্মগুলি দেখুন এবং একই সিদ্ধান্তে পৌঁছান: "কমপ্লেক্স ম্যাথ বা স্ট্যাটিস্টিকস" করা পরিসংখ্যানগতভাবে কাজের অটোমেটিবিলিটির সাথে নেতিবাচকভাবে সম্পর্কিত (সারণী 3 দেখুন)।

তবে কিছু সাবধানতা অবলম্বনযোগ্য, শিক্ষাবিদ এবং / বা অর্থনীতিবিদরা ভবিষ্যতের ভবিষ্যদ্বাণী করতে সর্বদা খুব ভাল ছিলেন না (উদাহরণস্বরূপ নোবেল বিজয়ী রবার্ট লুকাস ২০০৩ সালে আর্থিক সঙ্কটের কয়েক বছর পূর্বে এসেছিলেন যে "হতাশা প্রতিরোধের কেন্দ্রীয় সমস্যা হিসাবে সমাধান করা হয়েছে, সমস্ত ব্যবহারিক উদ্দেশ্যে, এবং বাস্তবে বহু দশক ধরে সমাধান হয়েছে। " )। উভয় গবেষণায় কার্যকরী কাগজ হিসাবে উপস্থিত হতে পারে, যা ব্যাপকভাবে আলোচিত হয় তবে মানসম্মত পিয়ার-পর্যালোচিত জার্নালে প্রকাশিত হয়নি।

একাডেমিক বিতর্ক সম্পর্কিত, এখানে আপনি অটোমেশন সম্পর্কিত গবেষণার অবস্থা সম্পর্কে একটি ওভারভিউ নিবন্ধটি পেতে পারেন।

Answer 9

আমি মনে করি যে এআই কেবল পরিসংখ্যানবিদদের আরও চৌকস এবং আরও প্রতিযোগিতামূলক তৈরি করবে। কেন? কারণ এটি বহু দশক আগে তাদের ধারণার পর থেকে কৃত্রিম বুদ্ধিমত্তার অভিপ্রায় ...