'৯৯ সালে ডেটা থেকে সাধারণ শিক্ষায় শিল্পের স্টেট

Question

আমি 1969 সাল থেকে বিখ্যাত মিনস্কি এবং পেপারট বই "পেরসেপ্টরনস" এর প্রসঙ্গটি বোঝার চেষ্টা করছি, যা নিউরাল নেটওয়ার্কগুলির পক্ষে এতটাই সমালোচিত।

যতদূর আমি জানি, পার্সেপট্রন ব্যতীত আর কোনও জেনেরিক তত্ত্বাবধানে শেখার অ্যালগরিদম ছিল না: সিদ্ধান্ত গাছগুলি কেবলমাত্র 70 এর দশকের শেষভাগে কার্যকর হতে শুরু করে, এলোমেলো বন এবং এসভিএমগুলি 90 এর দশকে হয়। মনে হচ্ছে জ্যাকনিফ পদ্ধতিটি ইতিমধ্যে জানা ছিল, তবে কে-ক্রস বৈধতা (70s) বা বুটস্ট্র্যাপ (1979?) নয়।

উইকিপিডিয়া বলছে যে নেইমন-পিয়ারসন এবং ফিশারের শাস্ত্রীয় পরিসংখ্যান কাঠামো এখনও '50 এর দশকে দ্বিমত পোষণ করেছিল, তবুও একটি সংকর তত্ত্ব বর্ণনা করার প্রথম প্রচেষ্টা ইতিমধ্যে 40 এর দশকে ছিল।

সুতরাং আমার প্রশ্ন: ডেটা থেকে ভবিষ্যদ্বাণী করার সাধারণ সমস্যাগুলি সমাধান করার অত্যাধুনিক পদ্ধতিগুলি কী ছিল?

Comments

লজিস্টিক রিগ্রেশন ব্যবহার করা শুরু হয়েছিল যেমনটি আজ 70 এর শেষের দিকে 'দেখুন ক্রিমার, জেএস (2002)। "লজিস্টিক রিগ্রেশন এর উত্স", পি। 12, কাগজ.টিনবারজেন.এনএল

— টিম

লিনিয়ার রিগ্রেশন সম্ভবত "জেনেরিক তত্ত্বাবধানে শেখার অ্যালগরিদম" এবং 1800 এর দশকের গোড়ার দিকে উদ্ভূত হয়েছিল; কমপক্ষে কিছুটা হলেও প্রোবিত রিগ্রেশন 1930 এর দশকে স্পষ্টতই উদ্ভূত হয়েছিল । আপনি কি এখানে "জেনেরিক" দ্বারা বিশেষত কিছু বোঝাচ্ছেন?

— ডগল

@ ডাওগাল: "নির্দিষ্ট সমস্যা সমাধানের জন্য ডিজাইন করা" এর বিপরীতে সবেমাত্র "বিভিন্ন ক্ষেত্রে বিশাল সংখ্যক সমস্যার জন্য প্রযোজ্য বলে মনে হয়েছে"। আমি বুঝতে চেষ্টা করছি যে 60০ এর দশকে কোনও পরিসংখ্যানবিদ বা এআই বিজ্ঞানী কোন পদ্ধতি ব্যবহার করবেন না যখন কোনও পূর্ববর্তী কাজ না করে যখন কোনও অজানা সমস্যার মুখোমুখি হয় যখন সহজ পদ্ধতির (যেমন, আমি অনুমান করি, লিনিয়ার রিগ্রেশন কাজ করে না)? এবং তাই আরও জটিল সরঞ্জাম সন্ধান করা ন্যায়সঙ্গত। উদাহরণস্বরূপ, এলোমেলো বন এখন এ জাতীয় একটি অ্যালগরিদম: তারা বিভিন্ন ক্ষেত্রের প্রচুর ডেটাসেটগুলিতে যুক্তিসঙ্গতভাবে কাজ করে।

— লিওরি

হ্যা অবশ্যই. সম্ভবত এটি লক্ষণীয় যে প্রবিট রিগ্রেশন প্রকৃতপক্ষে সম্ভবত মূল পার্সপ্রেসারগুলির চেয়ে আরও ভাল সাধারণ-উদ্দেশ্যমূলক শ্রেণিবিন্যাসের মডেল। সে সময় এটি যেমন ব্যবহার করা হয়েছিল, তা আমার জানা নেই। পারসেপ্টরনগুলি তখন আলাদা বিবেচনা করা হত কারণ এগুলি এসজিডি-এর মতো অপটিমাইজেশন অ্যালগরিদম দ্বারা বান্ডিল করা হয়েছিল যা সম্ভবত প্রবটের চেয়ে তত্কালীন কম্পিউটারগুলির জন্য আরও স্কেলযোগ্য করে তুলেছিল, যদিও অবশ্যই আজ আমরা বুঝতে পারি যে এই পছন্দগুলি স্বাধীন।

— ডুগল

এখানে এখনও যে বিষয়ে আগ্রহী তার জন্য: আমি '60 এর দশকে পেরেপট্রন বিতর্কগুলির বিষয়ে বিজ্ঞানের ক্ষেত্রের সমাজবিজ্ঞান থেকে একটি আকর্ষণীয় গবেষণা পেয়েছি: ওলাজারান, "পারসেপ্ট্রনসের বিতর্কের অফিসিয়াল ইতিহাস"। পাঠ্যটি এখানে বর্ণিত প্রশ্নের উত্তর দেয় না, তবে মিনস্কি এবং পেপার্ট বইয়ের আর্থ-সামাজিক প্রেক্ষাপট সরবরাহ করে - এটি আমার কাছে এখন বিজ্ঞানের প্রকৃত অবস্থার চেয়ে গুরুত্বপূর্ণ মনে হয়েছে।

— লিওরি

Answer 1

আমি এই সম্পর্কে কৌতূহল ছিল, তাই আমি কিছু খনন করেছি। আমি অবাক হয়ে জানতে পারি যে অনেকগুলি সাধারণ শ্রেণিবদ্ধকরণ অ্যালগরিদমের স্বীকৃতিযোগ্য সংস্করণগুলি ইতিমধ্যে 1969 বা এর আশেপাশে পাওয়া গিয়েছিল। লিঙ্ক এবং উদ্ধৃতি নীচে দেওয়া হয়েছে।

এটি লক্ষণীয় যে এআই গবেষণা সর্বদা শ্রেণিবিন্যাসের উপর এতটা কেন্দ্রীভূত ছিল না। পরিকল্পনা এবং প্রতীকী যুক্তিতে অনেক আগ্রহ ছিল, যা এখন প্রচলিত নয় এবং লেবেলযুক্ত ডেটা খুঁজে পাওয়া খুব কঠিন ছিল। এই সমস্ত নিবন্ধগুলি তখনও ব্যাপকভাবে উপলব্ধ ছিল না: উদাহরণস্বরূপ, প্রোটো-এসভিএম কাজটি বেশিরভাগ রাশিয়ান ভাষায় প্রকাশিত হয়েছিল। সুতরাং, এটি সম্ভবত একটি প্রাক বিজ্ঞানী 1969 সালে শ্রেণিবিন্যাস সম্পর্কে কতটুকু জানত অনুমান করতে পারে।

---

বৈষম্যমূলক বিশ্লেষণ

একটি 1936 নিবন্ধটি মধ্যে সুপ্রজননবিদ্যা এর কাহিনী , ফিশার তাদের পাপড়ি এবং বৃত্যংশ মাত্রার ভিত্তিতে একটি রৈখিক ফাংশন যা Iris ফুলের তিন প্রজাতির মধ্যে পার্থক্য করেছেন খোঁজার জন্য একটি পদ্ধতি বর্ণনা করেছেন। এই কাগজটিতে উল্লেখ করা হয়েছে যে ফিশার ই এস এস মার্টিন এবং কার্ল পিয়ারসনের ( জাস্টার ) সহযোগিতায় এবং পৃথক ক্রেনিয়াল পরিমাপ প্রকল্পে মিশরে খননকৃত মানব আধিপত্য (চোয়ালের হাড়) এর লিঙ্গের পূর্বাভাস দেওয়ার জন্য ইতিমধ্যে একই কৌশল প্রয়োগ করেছিলেন। একটি মিস মিল্ডার্ড বার্নার্ড (যা আমি খুঁজে বের করতে পারিনি) সহ।

পণ্য সরবরাহ সংশ্লেষণ

লজিস্টিক ফাংশন নিজেই 19 শতকের পরে থেকেই পরিচিত, তবে বেশিরভাগ ক্ষেত্রে জনসংখ্যা বৃদ্ধি বা জৈব রাসায়নিক বিক্রিয়ার মতো স্যাচুরেটিং প্রক্রিয়াগুলির একটি মডেল হিসাবে। টিএম উপরের জেএস ক্র্যামারের নিবন্ধটির সাথে লিঙ্ক করেছে, এটি এর প্রথম দিনগুলির একটি দুর্দান্ত ইতিহাস। তবে ১৯ By৯ সালের মধ্যে কক্স বাইনারি ডেটা বিশ্লেষণের প্রথম সংস্করণ প্রকাশ করেছিলেন । আমি মূলটি খুঁজে পেলাম না, তবে পরবর্তী সংস্করণে শ্রেণিবিন্যাস সম্পাদনের জন্য লজিস্টিক রিগ্রেশন ব্যবহারের পুরো অধ্যায়টি রয়েছে। উদাহরণ স্বরূপ:

$y=0,1$$x'$$y$$y$

$k$

কভার এবং হার্ট প্রায়শই নিকটবর্তী প্রতিবেশী নিয়ম উদ্ভাবন / আবিষ্কার করার জন্য জমা দেওয়া হয় । তাদের 1967 এর কাগজে একটি প্রমাণ রয়েছে যে কে- এনএন এর ত্রুটি হার বেয়েসের ত্রুটি হারের চেয়ে দ্বিগুণ। যাইহোক, তারা প্রকৃতপক্ষে ১৯৫১ সালে এটি আবিষ্কারের সাথে ফিক্স এবং হজকে কৃতিত্ব দেয় তারা ইউএসএএফ স্কুল অফ এভিয়েশন মেডিসিনের জন্য প্রস্তুত একটি প্রযুক্তিগত প্রতিবেদনের উদ্ধৃতি দিয়ে ( জাস্টারের মাধ্যমে পুনর্মুদ্রণ )।$k$$k$

নিউরাল নেটওয়ার্ক

Rosenblatt প্রকাশিত একটি প্রযুক্তিগত রিপোর্ট 1957 সালে perceptron বর্ণনা এবং এটি অনুসরণ একটি বই , Neurodynamics নীতিমালা দ্বারা কাজ সহ backpropagation এর 1962 ক্রমাগত সংস্করণে গোড়ার দিকে 1960 সালের পর থেকে প্রায় হয়েছে, কেলি , Bryson না, এবং Bryson না & হো (ইন সংশোধিত ১৯ 197৫ সালে, তবে মূলটি ১৯69৯ সালের । তবে কিছুক্ষণ পরে এটি নিউরাল নেটওয়ার্কগুলিতে প্রয়োগ করা হয়নি, এবং খুব গভীর নেটওয়ার্ক প্রশিক্ষণের জন্য পদ্ধতিগুলি আরও সাম্প্রতিক। গভীর শিক্ষার উপর এই স্কলার্পিডিয়া নিবন্ধটিতে আরও তথ্য রয়েছে।

পরিসংখ্যানগত পদ্ধতি

আমি সন্দেহ করি যে শ্রেণিবিন্যাসের জন্য বেয়েসের বিধিটি ব্যবহার করে বহুবার আবিষ্কার এবং পুনরায় আবিষ্কার করা হয়েছে - এটি নিজেই নিয়মের একটি খুব প্রাকৃতিক পরিণতি। প্রদত্ত ইনপুটটি "সিগন্যাল" বা গোলমাল কিনা তা সিদ্ধান্ত নেওয়ার জন্য সিগন্যাল সনাক্তকরণ তত্ত্ব একটি পরিমাণগত কাঠামো তৈরি করেছিল। এর কিছু র‌্যাডর গবেষণা থেকে ডাব্লুডাব্লুআইয়ের পরে বেরিয়ে এসেছিল, তবে এটি উপলব্ধিগত পরীক্ষাগুলির জন্য (যেমন, গ্রিন এবং সুইটস দ্বারা ) দ্রুত রূপান্তরিত হয়েছিল । আমি জানি না যে ভবিষ্যদ্বাণীকারীদের মধ্যে স্বাধীনতা ধরে নিয়েছিল যে ভাল আবিষ্কার করেছে তা আবিষ্কার করেছি, তবে ১৯ 1970০ এর দশকের গোড়ার দিক থেকে কাজটি এই ধারণাটিকে কাজে লাগিয়েছে বলে মনে হয়, যেমনটি এই নিবন্ধে সংক্ষিপ্তসারিত হয়েছে । ঘটনাচক্রে, এই নিবন্ধটি আরও উল্লেখ করে যে নায়েভ বেয়েসকে একবার "ইডিয়ট বেয়েস" বলা হত!

সমর্থন ভেক্টর মেশিন

1962 সালে, ভ্যাপনিক এবং চেরভোনেনকিস "জেনারালাইজড পোর্ট্রেট অ্যালগরিদম" ( ভয়ানক স্ক্যান, দুঃখিত ) বর্ণনা করেছেন, যা সমর্থন ভেক্টর মেশিনের (বা আসলে, একটি এক শ্রেণির এসভিএম) একটি বিশেষ কেসের মতো দেখায়। চেরভোনেনকিস একটি প্রবন্ধ লিখেছিলেন "আর্লি হিস্ট্রি অফ সাপোর্ট ভেক্টর মেশিনস" শিরোনামে যা এই এবং তাদের ফলোআপ কাজের আরও বিশদভাবে বর্ণনা করে। কার্নেল ট্রিক (অভ্যন্তরীণ পণ্য হিসাবে কার্নেলগুলি) আইজরম্যান, ব্র্যাভারম্যান এবং রোজনোয়ার ১৯64৪ সালে বর্ণনা করেছিলেন। এসএমএস.এস.আরোগুলি এখানে সমর্থন ভেক্টর মেশিনের ইতিহাস সম্পর্কে আরও কিছু তথ্য রয়েছে ।

Comments

সময়-সিরিজ বিশ্লেষণ কিছু আকর্ষণীয় সমস্যাও সমাধান করছিল। 50 এবং 60 এর দশকে এআরএমএ এবং কলম্যান ফিল্টারগুলি কিছু ভাল মাইলেজ করেছে।

— এনগ্রিস্টুডেন্ট - মনিকা

মজাদার! আমি এটির বা এর ইতিহাস সম্পর্কে প্রায় তেমন কিছুই জানি না, তবে আপনি যদি উত্তরটি লিখে থাকেন তবে আমি আনন্দের সাথে একটি উত্তর উপস্থাপন করব!

— ম্যাট ক্রাউজ

Answer 2

অস্বীকৃতি : এই উত্তরটি অসম্পূর্ণ, তবে এখনই এটি তৈরি করার আমার কাছে সময় নেই। আমি আশা করি এই সপ্তাহের শেষের দিকে এটিতে কাজ করব।

---

প্রশ্ন:
১৯69৯ সালের ডেটা সার্কিট থেকে ভবিষ্যদ্বাণী করার জেনার সমস্যা সমাধানের অত্যাধুনিক পদ্ধতি কী ছিল?

দ্রষ্টব্য: এটি 'ম্যাট ক্রাউস' দ্বারা দুর্দান্ত উত্তরটির পুনরাবৃত্তি করবে না।

"স্টেট অফ দ্য আর্ট" এর অর্থ "সেরা এবং সর্বাধিক আধুনিক" তবে শিল্পের আদর্শ হিসাবে অনুশীলন করার জন্য অগত্যা হ্রাস হয়নি। বিপরীতে, ইউএস পেটেন্ট আইন "শিল্পের সাধারণ দক্ষতা" দ্বারা সংজ্ঞায়িত হিসাবে "অ-সুস্পষ্ট" সন্ধান করে। ১৯69৯ সালের "শিল্পের রাজ্য" সম্ভবত পরবর্তী দশকে পেটেন্টগুলিতে রাখা হয়েছিল।

এটি অত্যন্ত সম্ভাবনা রয়েছে যে ১৯৯৯ সালের "সেরা এবং উজ্জ্বলতম" পদ্ধতিগুলি ECHELON (1) (2) এ ব্যবহারের জন্য ব্যবহার বা মূল্যায়ন করা হয়েছিল । এটি অন্যটি, যুগের যথেষ্ট গাণিতিকভাবে সক্ষম পরাশক্তি, ইউএসএসআরকে মূল্যায়নের ক্ষেত্রেও প্রদর্শিত হবে। (৩) স্যাটেলাইট বানাতে আমার বেশ কয়েক বছর সময় লাগে, এবং তাই একেরও আশা করা যায় যে পরবর্তী or 5 বছরের যোগাযোগ, টেলিমেট্রি বা পুনর্বিবেচনা উপগ্রহের জন্য প্রযুক্তি বা বিষয়বস্তু 1969 এর শিল্পের অবস্থাটি দেখানোর জন্য। একটি উদাহরণ হ'ল উল্কা -2 আবহাওয়া উপগ্রহ 1967 সালে শুরু হয়েছিল এবং প্রাথমিক নকশাটি 1971 সালে শেষ হয়েছিল। (4) স্পেকট্রোম্যাট্রিক এবং অ্যাক্টিনোমেট্রিক পেওলড ইঞ্জিনিয়ারিংকে সেদিনের ডেটা-প্রক্রিয়াকরণ ক্ষমতা দ্বারা এবং সেই সময়ের "নিকট-ভবিষ্যতের" ডেটা হ্যান্ডলিংয়ের মাধ্যমে অবহিত করা হয়। এই ধরণের ডেটা প্রক্রিয়াকরণ হ'ল পিরিয়ডের সেরা অনুশীলনগুলির সন্ধান করা।

"জার্নাল অফ অপটিমাইজেশন থিওরি অ্যান্ড অ্যাপ্লিকেশনস" এর একটি উপলব্ধি বেশ কয়েক বছর ধরে চলছিল এবং এর সামগ্রীগুলি অ্যাক্সেসযোগ্য। (৫) অনুকূল অনুমানকারীগুলির এটি (() মূল্যায়ন বিবেচনা করুন এবং এটি পুনরাবৃত্তির অনুমানকারীগুলির জন্য একটি। (7)

১৯ 1970০ এর দশকে শুরু হওয়া এসটিআই প্রকল্পটি সম্ভবত কম বাজেটের প্রযুক্তি এবং সেই সময়ের প্রযুক্তিগুলির সাথে পুরানো পুরানো কৌশলগুলি ব্যবহার করছিল। প্রারম্ভিক এসটিআই কৌশলগুলি অন্বেষণে ১৯ 19৯ সালের দিকে নেতৃত্বদানকারী হিসাবে বিবেচিত ছিল এমনও কথা বলতে পারে One সম্ভবত একজন প্রার্থী হলেন " স্যুটকেস এসটিআই " এর পূর্বসূরী । "স্যুটকেস এসটিআই" SP ১৩০ কিলো সংকীর্ণ-ব্যান্ড চ্যানেলগুলিতে স্বতঃসংশ্লিষ্ট রিসিভারগুলি তৈরি করতে ডিএসপি ব্যবহার করেছিল। এসটিআই লোকেরা বিশেষত বর্ণালী বিশ্লেষণ করতে চেয়েছিল। অ্যারিসবো ডেটা প্রক্রিয়াকরণের জন্য পদ্ধতির প্রথম অফলাইন ব্যবহার করা হয়েছিল। পরে এটি লাইভ ডেটা এবং ফলাফল একই বছর প্রকাশিত হওয়ার জন্য 1978 সালে এটি আরিসবো রেডিও টেলিস্কোপের সাথে সংযুক্ত করা হয়েছিল । প্রকৃত স্যুটকেস-এসটিআই 1982 সালে সম্পন্ন হয়েছিল Here এখানে (লিঙ্ক) প্রক্রিয়াটি দেখায় এমন একটি ব্লক ডায়াগ্রাম।

পদ্ধতিটি ছিল হ্যান্ডলিং চিপ সহ ব্যান্ডউইদথ বিভাগগুলি অনুসন্ধানের জন্য অফ-লং লং-ফুরিয়ার ট্রান্সফর্ম (~ 64 কে নমুনা) এবং ডপলার শিফটের জন্য রিয়েল-টাইম ক্ষতিপূরণ। পদ্ধতিরটি "নতুন নয়" এবং উল্লেখগুলি সহ সরবরাহ করা হয়েছিল: উদাহরণস্বরূপ, দেখুন,

A. G. W. Cameron, Ed., 
In- terstellar Communication 
(Benjamin, New York,1963); 

I. S. Shklovskii and C. Sagan, 
In-telligent Life in the Universe 
(Holden-Day, San Francisco, 1966); 

C. Sagan, Ed., 
Communication with Extraterrestrial Intelligence 
(MIT Press, Cambridge, Mass., 1973); 
P. Morrison, J.

B. M. Oliver and J. Billingham, 
"Project Cyclops: A Design Study of a System for Detecting Extraterrestrial Intelligent Life," 
NASA Contract. Rep. CR114445 (1973). 

পরবর্তী রাজ্যের পূর্বাভাসের জন্য ব্যবহৃত সরঞ্জামগুলির মধ্যে পূর্ববর্তী রাজ্যগুলি যে সময়ে জনপ্রিয় ছিল সেগুলির মধ্যে রয়েছে:

• কলম্যান (এবং ডেরিভেটিভ) ফিল্টার (ওয়েইনার, বুকি, ননলাইনার ...)
• সময় সিরিজ (এবং ডেরিভেটিভ) পদ্ধতি
• ফিল্টারিং এবং প্রশস্তকরণ সহ ফ্রিকোয়েন্সি ডোমেন পদ্ধতি (ফুরিয়ার)

সাধারণ "কীওয়ার্ডস" (বা বাজ-শব্দ) এর মধ্যে "অ্যাডজেন্ট, ভেরিয়েশনাল, গ্রেডিয়েন্ট, অনুকূল, দ্বিতীয় আদেশ এবং সংযুক্তি" অন্তর্ভুক্ত থাকে।

কলম্যান ফিল্টারটির ভিত্তি হ'ল বিশ্লেষণকারী এবং ভবিষ্যদ্বাণীমূলক মডেলের সাথে বাস্তব বিশ্বের ডেটাগুলির সর্বোত্তম মিশ্রণ। মিসাইলগুলি চলমান লক্ষ্যকে আঘাত করার মতো জিনিস তৈরির জন্য এগুলি ব্যবহার করা হয়েছিল।

Comments

এটি লেখার জন্য ধন্যবাদ - আপনি প্রয়োগ করেছেন এমন অ্যাপ্লিকেশন-চালিত পদ্ধতির পছন্দ!

— ম্যাট ক্রাউস

@ ম্যাটক্রাউজ - এটিতে আমার এখনও কিছুটা বাকি আছে। আমি অনুভব করেছি যে অ্যাপ্লিকেশন চালিত পদ্ধতির ক্ষেত্রে "গণিতের প্রত্নতত্ত্ব" পরিবেশন করা হবে। আমরা দেখব. কাজটি আমাকে "স্যুটকেস-এসটিআই" তৈরি করতে এবং এটি আমার মানব পরিবেশকে জীবনের জন্য দেখার জন্য ব্যবহার করতে চাইছে, কেবল 50 বছরের সরঞ্জামগুলি কী করছে তার ধারণা পেতে।

— এনগ্রিস্টুডেন্ট - মনিকা