ডেটা মাইনিং, পরিসংখ্যান, মেশিন লার্নিং এবং এআইয়ের মধ্যে পার্থক্য কী?
এটি কি সঠিক হবে যে তারা 4 টি ক্ষেত্র খুব অনুরূপ সমস্যাগুলি সমাধান করার চেষ্টা করছে তবে বিভিন্ন পদ্ধতির সাথে? তাদের ঠিক কী মিল রয়েছে এবং কোথায় তাদের পার্থক্য রয়েছে? তাদের মধ্যে যদি একধরনের শ্রেণিবিন্যাস হয় তবে তা কী হবে?
অনুরূপ প্রশ্ন আগে জিজ্ঞাসা করা হয়েছিল কিন্তু আমি এখনও এটি পাই না:
উত্তর:
এগুলির মধ্যে যথেষ্ট ওভারল্যাপ রয়েছে তবে কিছু ভিন্নতা তৈরি করা যেতে পারে। প্রয়োজনীয়তার জন্য, আমাকে কিছু জিনিস অতিরিক্ত সরল করতে হবে বা অন্যকে সংক্ষিপ্ত-ক্রেফট দিতে হবে, তবে আমি এই ক্ষেত্রগুলি সম্পর্কে কিছুটা বোঝার জন্য যথাসাধ্য চেষ্টা করব।
প্রথমত, কৃত্রিম বুদ্ধি বাকি থেকে মোটামুটি আলাদা distin এআই হ'ল কীভাবে বুদ্ধিমান এজেন্ট তৈরি করা যায় তার গবেষণা study অনুশীলনে, এটি কোনও কম্পিউটারকে কিভাবে বুদ্ধিমান এজেন্ট হিসাবে (কোনও ব্যক্তি বলুন) কাজ হিসাবে আচরণ করতে এবং সঞ্চালনের জন্য প্রোগ্রাম করা যায়। এই না আছে এ সব লার্নিং বা আনয়ন জড়িত, এটা ঠিক একটি উপায় 'একটি ভাল বিস্বাদ নির্মাণ' হতে পারে। উদাহরণস্বরূপ, এআই অ্যাপ্লিকেশনগুলিতে চলমান প্রক্রিয়াগুলি নিরীক্ষণ এবং নিয়ন্ত্রণের জন্য প্রোগ্রাম অন্তর্ভুক্ত করা হয়েছে (উদাহরণস্বরূপ, দিকটি এটিকে খুব কম মনে হলে বৃদ্ধি করুন)। লক্ষ্য করুন যে এআই অভিশাপ-কাছাকাছি অন্তর্ভুক্ত করতে পারে কিছু যে একটি মেশিন, তাই যতদিন এটা করে না 'বোকার মত'।
তবে বাস্তবে, বেশিরভাগ কার্যগুলিতে যেগুলি বুদ্ধি প্রয়োজন তার জন্য অভিজ্ঞতা থেকে নতুন জ্ঞান প্রেরণ করার ক্ষমতা প্রয়োজন। সুতরাং, এআই এর মধ্যে একটি বৃহত অঞ্চল হ'ল মেশিন লার্নিং । কোনও কম্পিউটার প্রোগ্রাম অভিজ্ঞতার কাছ থেকে কিছু কাজ শিখতে বলা হয় যদি কিছু কার্য সম্পাদনের পরিমাপ অনুসারে টাস্কটিতে তার পারফরম্যান্স অভিজ্ঞতার সাথে উন্নত হয়। মেশিন লার্নিংয়ের সাথে অ্যালগরিদমগুলির অধ্যয়ন জড়িত যা স্বয়ংক্রিয়ভাবে তথ্য আহরণ করতে পারে (অর্থাত্, অন-লাইন মানব নির্দেশিকা ব্যতীত)। এটা অবশ্যই ক্ষেত্রে যে এই পদ্ধতি কিছু ধারনা থেকে সরাসরি উদ্ভূত, অথবা দ্বারা, শাস্ত্রীয় পরিসংখ্যান অনুপ্রাণিত অন্তর্ভুক্ত, কিন্তু তারা না আছেহতে। একইভাবে এআই-তেও, মেশিন লার্নিং খুব বিস্তৃত এবং প্রায় সব কিছু অন্তর্ভুক্ত করতে পারে, যতক্ষণ না এর সাথে কিছু প্ররোচক উপাদান থাকে। একটি মেশিন লার্নিং অ্যালগরিদমের উদাহরণ কালম্যান ফিল্টার হতে পারে।
ডেটা মাইনিং এমন একটি অঞ্চল যা মেশিন লার্নিং (এবং কিছু, এছাড়াও পরিসংখ্যান থেকেও) এর অনুপ্রেরণা এবং কৌশলগুলির বেশিরভাগ অংশ নিয়েছে, তবে এটি বিভিন্ন প্রান্তে ফেলেছে । ডেটা মাইনিং কোনও ব্যক্তি একটি নির্দিষ্ট পরিস্থিতিতে, একটি নির্দিষ্ট ডেটা সেটে, একটি লক্ষ্য মাথায় রেখে সম্পন্ন করে। সাধারণত, এই ব্যক্তি মেশিন লার্নিংয়ে বিকাশ করা বিভিন্ন প্যাটার্ন স্বীকৃতি কৌশলগুলির শক্তি অর্জন করতে চান। বেশিরভাগ ক্ষেত্রেই ডেটা সেটটি বিশাল , জটিল এবং / অথবা বিশেষ সমস্যা হতে পারে(যেমন পর্যবেক্ষণের তুলনায় আরও পরিবর্তনশীল রয়েছে)। সাধারণত লক্ষ্যটি হ'ল এমন একটি অঞ্চলে প্রাথমিক প্রাথমিক অন্তর্দৃষ্টি আবিষ্কার / জেনারেট করা যেখানে ইতিমধ্যে সামান্য জ্ঞান ছিল, বা ভবিষ্যতের পর্যবেক্ষণগুলি নির্ভুলভাবে পূর্বাভাস দিতে সক্ষম হওয়া। তদ্ব্যতীত, ডেটা মাইনিং পদ্ধতিগুলি হয় 'অকার্যকর' (আমরা উত্তরটি আবিষ্কার করতে পারি না) বা 'তদারকি' (আমরা উত্তরটি জানি - ভবিষ্যদ্বাণী জানি)। নোট করুন যে লক্ষ্যটি সাধারণত অন্তর্নিহিত ডেটা উত্পাদন প্রক্রিয়া সম্পর্কে আরও পরিশীলিত বোঝার বিকাশ না করে। সাধারণ ডেটা মাইনিং কৌশলগুলিতে ক্লাস্টার বিশ্লেষণ, শ্রেণিবদ্ধকরণ এবং রিগ্রেশন ট্রি এবং নিউরাল নেটওয়ার্ক অন্তর্ভুক্ত থাকবে।
আমি মনে করি এই সাইটে পরিসংখ্যানগুলি কী তা বোঝাতে আমার বেশি কিছু বলার দরকার নেই , তবে সম্ভবত আমি কয়েকটি জিনিস বলতে পারি। শাস্ত্রীয় পরিসংখ্যান (এখানে আমি উভয় ঘনত্ববাদী এবং বায়েশিয়ান) অর্থ গণিতের মধ্যে একটি সাব-বিষয়। আমি সম্ভাব্যতা সম্পর্কে আমরা যা জানি এবং অপ্টিমাইজেশন সম্পর্কে আমরা কী জানি তার মোড়কে একেবারে বড় ভাবি। যদিও গাণিতিক পরিসংখ্যানগুলি কেবল তদন্তের প্লাটোনিক অবজেক্ট হিসাবে অধ্যয়ন করা যেতে পারে, তবে এটি বেশিরভাগই গণিতের অন্যান্য, বিরল অংশগুলির চেয়ে বেশি ব্যবহারিক হিসাবে এবং চরিত্রে প্রয়োগ হয়। যেমন (এবং উপরে ডেটা মাইনিংয়ের বিপরীতে), এটি বেশিরভাগ নির্দিষ্ট কিছু ডেটা উত্পাদন প্রক্রিয়া আরও ভালভাবে বোঝার দিকে নিযুক্ত করা হয়। সুতরাং, এটি সাধারণত একটি আনুষ্ঠানিকভাবে নির্দিষ্ট মডেল দিয়ে শুরু হয়, এবং এর থেকে শোরগোলের দৃষ্টান্তগুলি থেকে মডেলটি সঠিকভাবে বের করে আনার পদ্ধতি (যেমন অনুমান - কিছু লোকসান ফাংশন অনুকূল করে) এবং অন্যান্য সম্ভাবনা (যেমন, নমুনা বিতরণের পরিচিত বৈশিষ্ট্যের উপর ভিত্তি করে ইনফারেন্সগুলি) থেকে আলাদা করতে সক্ষম হয়ে এগুলি থেকে প্রক্রিয়াগুলি উত্পন্ন হয়। প্রোটোটাইপিকাল স্ট্যাটিস্টিকাল কৌশল হ'ল রিগ্রেশন ression
Common data mining techniques would include cluster analyses, classification and regression trees, and neural networks.এটি বলা কি নিরাপদ যে কোনও নিউরাল নেটওয়ার্ক ডেটা মাইনিংয়ে ব্যবহৃত একটি মেশিন লার্নিং সরঞ্জামের একটি উদাহরণ, একটি ক্লাস্টার বিশ্লেষণের সাথে তুলনা করে যা ডেটা মাইনিংয়ের জন্য ব্যবহৃত মেশিন লার্নিংয়ের জন্য ডিজাইন করা হয়নি এমন একটি অ্যালগরিদম ?
অন্যান্য উত্তরগুলির অনেকগুলিই মূল বিষয়গুলি coveredেকে ফেলেছে তবে আপনি কোনও উপস্থিতি থাকলে এবং যেভাবে আমি এটি দেখতে পাই তার জন্য একটি শ্রেণিবিন্যাসের জন্য জিজ্ঞাসা করেছিলেন, যদিও এগুলি প্রতিটি নিজস্ব অনুচ্ছেদে রয়েছে, এখানে শ্রেনীক্রম রয়েছে যেহেতু প্রত্যেকটি বিল্ডিংয়ের পরে এখনও কেউ উল্লেখ করেছেন বলে মনে হয় না আগেরটি
পরিসংখ্যানগুলি কেবল সংখ্যাগুলি সম্পর্কে এবং ডেটাটির পরিমাণ নির্ধারণ করে। তথ্যের প্রাসঙ্গিক বৈশিষ্ট্য সন্ধানের জন্য অনেকগুলি সরঞ্জাম রয়েছে তবে এটি খাঁটি গণিতের খুব কাছাকাছি।
ডেটা মাইনিং স্ট্যাটিস্টিক্স পাশাপাশি ডেটাগুলিতে লুকানো নিদর্শনগুলি খুঁজে পাওয়ার জন্য অন্যান্য প্রোগ্রামিং পদ্ধতিগুলি ব্যবহার করে যাতে আপনি কিছু ঘটনা ব্যাখ্যা করতে পারেন । ডেটা মাইনিং প্রকৃতপক্ষে কিছু ডেটাতে কী ঘটছে সে সম্পর্কে স্বজ্ঞাততা তৈরি করে এবং প্রোগ্রামিংয়ের চেয়ে গণিতের দিকে এখনও কিছুটা বেশি, তবে উভয়ই ব্যবহার করে।
মেশিন লার্নিং কিছু ডেটার পিছনে কী ঘটছে তার মডেলগুলি তৈরি করতে ডেটা মাইনিং কৌশল এবং অন্যান্য শেখার অ্যালগরিদম ব্যবহার করে যাতে এটি ভবিষ্যতের ফলাফলগুলির পূর্বাভাস দিতে পারে। অ্যালগরিদমের অনেকের জন্য ম্যাথ ভিত্তি, তবে এটি প্রোগ্রামিংয়ের দিকে বেশি।
কৃত্রিম বুদ্ধিমত্তা মেশিন লার্নিং দ্বারা নির্মিত এবং অন্যান্য উপায় সম্পর্কে বিশ্ব সম্পর্কে যুক্তিযুক্ত এবং এটি কোনও গেম খেলছে বা রোবট / গাড়ি চালাচ্ছে কিনা তা বুদ্ধিমান আচরণের জন্ম দেয় models কৃত্রিম বুদ্ধিমত্তার কীভাবে বিশ্বব্যাপী মডেলকে প্রভাবিত করবে এবং সেই লক্ষ্যটি সর্বোত্তমভাবে অর্জন করবে এমন ক্রিয়াগুলি চয়ন করে তা পূর্বাভাস দিয়ে অর্জনের কিছু লক্ষ্য রয়েছে। খুব প্রোগ্রামিং ভিত্তিক।
সংক্ষেপে
এখন এটি বলা হচ্ছে, কিছু এআই সমস্যা থাকবে যা কেবল এআইতে পড়ে এবং একইভাবে অন্যান্য ক্ষেত্রগুলির ক্ষেত্রে পড়ে তবে আজ বেশিরভাগ আকর্ষণীয় সমস্যাগুলি (উদাহরণস্বরূপ স্ব-গাড়ি চালনা) সহজেই এবং সঠিকভাবে এগুলি বলা যেতে পারে। আশা করি এটি আপনার সম্পর্কে জিজ্ঞাসা করা তাদের মধ্যে সম্পর্ক সরিয়ে দেয়।
সাধারণভাবে, সম্ভাব্য মডেলগুলি (এবং এইভাবে পরিসংখ্যান) একটি মেশিনে আনুষ্ঠানিকভাবে জ্ঞান এবং বোঝার কাঠামোর সবচেয়ে কার্যকর উপায় হিসাবে প্রমাণিত হয়েছে যে অন্য তিনটি (এআই, এমএল এবং ডিএম) আজ বেশিরভাগের উপক্ষেত্র পরিসংখ্যান। পরিসংখ্যানের ছায়া বাহুতে পরিণত হওয়ার প্রথম শৃঙ্খলা নয় ... (অর্থনীতি, মনোবিজ্ঞান, জৈববৈজ্ঞানিক ইত্যাদি)
আমরা বলতে পারি যে এগুলি সমস্ত সম্পর্কিত, তবে তারা সমস্ত আলাদা জিনিস। যদিও আপনি তাদের মধ্যে জিনিসগুলিতে সাধারণ জিনিস রাখতে পারেন যেমন পরিসংখ্যান এবং ডেটা মাইনিংয়ের ক্ষেত্রে আপনি ক্লাস্টারিং পদ্ধতি ব্যবহার করেন।
আমি প্রতিটি সংক্ষেপে সংজ্ঞায়িত করার চেষ্টা করি:
পরিসংখ্যানগুলি মূলত শাস্ত্রীয় গাণিতিক পদ্ধতির উপর ভিত্তি করে একটি পুরাতন শৃঙ্খলা data যা ডেটা মাইনিংয়ের ক্ষেত্রে একইভাবে ব্যবহার করা যেতে পারে যা কখনও কখনও শ্রেণিবদ্ধকরণ এবং জিনিসগুলিকে শ্রেণিবদ্ধকরণ করে।
ডেটা মাইনিং বিল্ডিং মডেলগুলি সমন্বিত করে যাতে নিদর্শনগুলি সনাক্ত করে যা আমাদেরকে পরিস্থিতি শ্রেণিবদ্ধ করতে বা প্রচুর পরিমাণে তথ্য বা কারণগুলির পূর্বে ভবিষ্যদ্বাণী করতে দেয়।
কৃত্রিম বুদ্ধিমত্তা (চেক মারভিন মিনস্কি *) হ'ল শৃঙ্খলা যা মস্তিষ্ক প্রোগ্রামিং পদ্ধতিগুলির সাথে কীভাবে কাজ করে তা অনুকরণ করার চেষ্টা করে, উদাহরণস্বরূপ দাবা খেলা এমন একটি প্রোগ্রাম তৈরি করা।
মেশিন লার্নিং কম্পিউটারে জ্ঞান তৈরি এবং এটি কোনও আকারে সংরক্ষণের কাজ; সেই ফর্মটি গাণিতিক মডেল, অ্যালগরিদম ইত্যাদি হতে পারে ... এমন কিছু যা নিদর্শনগুলি সনাক্ত করতে সহায়তা করতে পারে।
আমি মেশিন-লার্নিংয়ের সাথে সর্বাধিক পরিচিত - ডেটা মাইনিং অক্ষ - সুতরাং আমি এতে মনোনিবেশ করব:
মেশিন লার্নিং অ-মানক পরিস্থিতিতে, যেমন নন-আইডির ডেটা, সক্রিয় শেখা, অর্ধ-তত্ত্বাবধানে শেখা, কাঠামোগত ডেটা (উদাহরণস্বরূপ স্ট্রিং বা গ্রাফের জন্য) সহ শিখতে আগ্রহী হতে আগ্রহী। এমএলও যা শেখা যায় তার তাত্ত্বিক সীমানায় আগ্রহী হতে থাকে, যা প্রায়শই ব্যবহৃত অ্যালগরিদমগুলির জন্য ভিত্তি তৈরি করে (যেমন সহায়তা ভেক্টর মেশিন)। এমএল একটি বায়েশিয়ান প্রকৃতির হতে থাকে।
ডেটা মাইনিং এমন ডেটাগুলির নিদর্শনগুলি খুঁজতে আগ্রহী যা আপনি ইতিমধ্যে জানেন না। আমি নিশ্চিত নই যে পরিসংখ্যানগুলিতে অনুসন্ধানের ডেটা বিশ্লেষণের তুলনায় উল্লেখযোগ্যভাবে আলাদা, যদিও মেশিন লার্নিংয়ে সাধারণত সমাধানের জন্য আরও সু-সংজ্ঞায়িত সমস্যা রয়েছে।
এমএল ছোট ডেটাসেটগুলিতে বেশি আগ্রহী হওয়ার প্রবণতা দেখায় যেখানে অতিরিক্ত ফিটিং সমস্যা এবং ডেটা মাইনিং যেখানে বৃহত্তর স্ক্রিনের ডেটাসেটগুলিতে সমস্যাটি ডেটার পরিমাণের সাথে মোকাবেলা করতে আগ্রহী।
পরিসংখ্যান এবং মেশিন লার্নিং ডেটা মাইনারদের দ্বারা ব্যবহৃত অনেকগুলি প্রাথমিক সরঞ্জাম সরবরাহ করে।
এটি আমার গ্রহণ এখানে। দুটি খুব বিস্তৃত বিভাগ দিয়ে শুরু করা যাক:
এমএল এবং ডিএম উভয়ই সাধারণত এআই এবং পরিসংখ্যান উভয়ই থাকে কারণ তারা সাধারণত উভয় থেকেই প্রাথমিক পদ্ধতি জড়িত। এখানে কিছু পার্থক্য রয়েছে:
অতিরিক্তভাবে, ডেটা মাইনিংয়ে সাধারণত আরও অনেক বেশি ডেটা ম্যানেজমেন্ট জড়িত থাকে , কীভাবে দক্ষ সূচক কাঠামো এবং ডাটাবেসগুলিতে ডেটা সংগঠিত করতে হয়।
দুর্ভাগ্যক্রমে, তারা আলাদা করা এত সহজ নয়। উদাহরণস্বরূপ, "অপ্রচারিত শিক্ষণ" রয়েছে, যা প্রায়শই এমএল-র চেয়ে ডিএমের সাথে আরও ঘনিষ্ঠভাবে জড়িত, কারণ এটি লক্ষ্যটির দিকে অনুকূল করতে পারে না। অন্যদিকে, ডিএম পদ্ধতিগুলি মূল্যায়ন করা শক্ত (আপনি কী জানেন না এমন কিছুকে আপনি কীভাবে রেট করবেন?) এবং প্রায়শই কিছু তথ্য রেখে মেশিন লার্নিংয়ের মতো একই কাজগুলিতে মূল্যায়ন করা হয় । তবে এটি সাধারণত তাদের মেশিন লার্নিং পদ্ধতির চেয়ে খারাপ কাজ করতে দেখাবে যা প্রকৃত মূল্যায়ন লক্ষ্যটির দিকে অনুকূল করতে পারে।
তদতিরিক্ত, তারা প্রায়শই সংমিশ্রণে ব্যবহৃত হয়। উদাহরণস্বরূপ, ডেটা মাইনিং পদ্ধতি (বলুন, ক্লাস্টারিং বা অকার্যকর আউটলেট সনাক্তকরণ) ডেটা প্রিপ্রোসেস করার জন্য ব্যবহৃত হয়, তারপরে আরও ভাল শ্রেণিবদ্ধীদের প্রশিক্ষণের জন্য মেশিন লার্নিং পদ্ধতি প্রিপ্রোসেসড ডেটাতে প্রয়োগ করা হয়।
মেশিন লার্নিং সাধারণত মূল্যায়ন করা অনেক সহজ: স্কোর বা শ্রেণি পূর্বাভাসের মতো একটি লক্ষ্য রয়েছে। আপনি নির্ভুলতা গণনা করতে পারেন এবং পুনরায় স্মরণ করতে পারেন। ডেটা মাইনিংয়ে, বেশিরভাগ মূল্যায়ন কিছু তথ্য (যেমন শ্রেণির লেবেল) রেখে এবং তারপরে পরীক্ষা করে দেখা হয় যে আপনার পদ্ধতিটি একই কাঠামোটি আবিষ্কার করেছে কিনা। এটি অর্থে নিষ্পাপ, আপনি যেমন ধরে নিয়েছেন যে শ্রেণিবদ্ধ লেবেলগুলি ডেটার কাঠামোটিকে সম্পূর্ণভাবে এনকোড করে; আপনি আসলে ডেটা মাইনিং অ্যালগরিদমকে শাস্তি দেন যা আপনার ডেটাতে নতুন কিছু আবিষ্কার করে। অপ্রত্যক্ষভাবে - এটির মূল্যায়ন করার আরেকটি উপায়, কীভাবে আবিষ্কারকৃত কাঠামোটি আসল এমএল অ্যালগরিদমের কার্যকারিতা উন্নত করে (উদাহরণস্বরূপ ডেটা ভাগ করার সময় বা বহিরাগতদের অপসারণ করার সময়)। তবুও, এই মূল্যায়নটি বিদ্যমান ফলাফলগুলি পুনরুত্পাদন করার উপর ভিত্তি করে তৈরি করা হয় , যা আসলে ডেটা মাইনিংয়ের উদ্দেশ্য নয় ...
যা বলা হয়েছে তাতে আমি কিছু পর্যবেক্ষণ যুক্ত করব ...
যুক্তি-মত বা সংবেদনশীল-উপস্থিত কার্যকলাপগুলি করার জন্য, কোনও কার্য পরিকল্পনা করা থেকে শুরু করে বা অন্যান্য সত্তাগুলির সাথে সহযোগিতা করা থেকে শুরু করে, হাঁটাচলা করার জন্য অঙ্গ পরিচালনা করতে শেখা পর্যন্ত যে কোনও কিছু করার জন্য মেশিনগুলির সাথে সম্পর্কিত, এআই একটি বিস্তৃত শব্দ। একটি অতিশয় সংজ্ঞাটি হ'ল এআই কম্পিউটার সম্পর্কিত যে কোনও কিছুই যা আমরা এখনও ভাল করতে জানি না। (একবার আমরা কীভাবে এটি ভালভাবে করতে হয় তা জানার পরে, এটি সাধারণত নিজস্ব নাম পায় এবং আর "এআই" থাকে না))
এটি আমার ধারণা, উইকিপিডিয়া থেকে পৃথক, প্যাটার্ন রিকগনিশন এবং মেশিন লার্নিং একই ক্ষেত্র, তবে পূর্ববর্তীটি কম্পিউটার-বিজ্ঞান ভাবেন দ্বারা অনুশীলন করা হয় এবং পরবর্তীকালে পরিসংখ্যানবিদ এবং প্রকৌশলী দ্বারা অনুশীলন করা হয়। (অনেকগুলি প্রযুক্তিগত ক্ষেত্র বিভিন্ন উপগোষ্ঠী দ্বারা অনুসন্ধান করা হয়, যারা প্রায়শই তাদের নিজস্ব লিঙ্গো এবং মানসিকতাকে টেবিলে নিয়ে আসে))
ডেটা মাইনিং, আমার মনে যেভাবেই হোক না কেন, মেশিন লার্নিং / প্যাটার্ন রিকগনিশন (যে ডেটাগুলির সাথে কাজ করে এমন কৌশলগুলি) নেয় এবং সেগুলি ডেটাবেস, অবকাঠামো এবং ডেটা বৈধতা / পরিষ্কারের কৌশলগুলিতে আবৃত করে।
দুঃখজনকভাবে, এই অঞ্চলের মধ্যে পার্থক্য মূলত যেখানে তাদের শেখানো হয়: পরিসংখ্যানগুলি গণিতের বিভাগগুলিতে, আইআই, কম্পিউটার বিজ্ঞানের বিভাগগুলিতে মেশিন লার্নিংয়ের উপর ভিত্তি করে তৈরি হয় এবং ডেটা মাইনিং আরও প্রয়োগ করা হয় (সফ্টওয়্যার সংস্থাগুলি দ্বারা উন্নত ব্যবসায় বা বিপণন বিভাগ দ্বারা ব্যবহৃত হয়) ।
প্রথমত এআই (যদিও এটি কোনও বুদ্ধিমান সিস্টেমের অর্থ হতে পারে) traditionতিহ্যগতভাবে পরিসংখ্যানগত অনুমানের চেয়ে লজিক ভিত্তিক পদ্ধতির (যেমন বিশেষজ্ঞ সিস্টেমগুলি) বোঝায়। পরিসংখ্যানগুলির উপর ভিত্তি করে পরিসংখ্যানগুলির একটি খুব ভাল তাত্ত্বিক বোঝাপড়া ছিল, পরীক্ষামূলক বিজ্ঞানের দৃ applied় প্রয়োগের অভিজ্ঞতার সাথে, যেখানে একটি স্পষ্ট বৈজ্ঞানিক মডেল রয়েছে এবং উপলব্ধ সীমিত পরীক্ষামূলক তথ্যাদি মোকাবেলায় পরিসংখ্যানের প্রয়োজন। ফোকাসটি প্রায়শই খুব অল্প ডেটা সেট থেকে সর্বাধিক তথ্য ছড়িয়ে দেওয়ার দিকে থাকে। এছাড়াও গাণিতিক প্রমাণগুলির প্রতি পক্ষপাতিত্ব রয়েছে: আপনি আপনার পদ্ধতির বিষয়ে কিছু প্রমাণ না করে আপনি প্রকাশিত হবেন না। এর অর্থ হ'ল বিশ্লেষণ স্বয়ংক্রিয় করতে কম্পিউটারের ব্যবহারের পরিসংখ্যান পিছিয়ে গেছে। আবার, প্রোগ্রামিং জ্ঞানের অভাব পরিসংখ্যানবিদদের বৃহত্তর সমস্যাগুলিতে কাজ করতে বাধা দিয়েছে যেখানে গণনাগত সমস্যাগুলি গুরুত্বপূর্ণ হয়ে ওঠে (জিপিইউগুলি বিবেচনা করুন এবং হ্যাডোপের মতো বিতরণকারী সিস্টেমগুলি বিবেচনা করুন)) আমি বিশ্বাস করি যে বায়োইনফরম্যাটিকসের মতো ক্ষেত্রগুলি এখন এই দিকে আরও পরিসংখ্যানকে সরিয়ে নিয়েছে। পরিশেষে আমি বলব যে পরিসংখ্যানবিদরা আরও সংশয়ী গোছা: তারা দাবি করেন না যে আপনি পরিসংখ্যান দিয়ে জ্ঞান আবিষ্কার করেছেন - বরং একজন বিজ্ঞানী একটি অনুমান নিয়ে এসেছেন, এবং পরিসংখ্যানবিদদের কাজটি এই অনুমানটি ডেটা দ্বারা সমর্থিত কিনা তা পরীক্ষা করা। মেশিন লার্নিং সিএস বিভাগগুলিতে শেখানো হয়, যা দুর্ভাগ্যক্রমে উপযুক্ত গণিত শেখায় না: মাল্টিভারিয়াল ক্যালকুলাস, সম্ভাবনা, পরিসংখ্যান এবং অপ্টিমাইজেশান সাধারণ বিষয় নয় ... কারও কাছে উদাহরণ থেকে শেখার মতো অস্পষ্ট 'গ্ল্যামারাস' ধারণা রয়েছে ...পরিসংখ্যান শেখার উপাদানসমূহ পৃষ্ঠা 30। এর অর্থ এই যে দাঁড়ায় যে খুব কম তাত্ত্বিক বোঝাপড়া এবং অ্যালগরিদমের বিস্ফোরণ রয়েছে কারণ গবেষকরা সবসময় এমন কিছু ডেটাসেট খুঁজে পেতে পারেন যার উপর তাদের অ্যালগরিদম আরও ভাল প্রমাণিত হয়। এমএল গবেষকরা পরের বড় বিষয়টির পিছনে তাড়া করার জন্য হাইপগুলির বিশাল পর্যায় রয়েছে: নিউরাল নেটওয়ার্ক, গভীর শিক্ষা ইত্যাদি Unfortunately দুর্ভাগ্যক্রমে সিএস বিভাগগুলিতে আরও অনেক বেশি অর্থ রয়েছে (গুগল, মাইক্রোসফ্ট, আরও বাজারজাত 'শেখার' সাথে ভাবুন) তাই আরও সংশয়ী পরিসংখ্যানবিদদের উপেক্ষা করা হয়। অবশেষে, সেখানে এক এম্পিরিসিস্ট বেন্ট রয়েছে: মূলত একটি অন্তর্নিহিত বিশ্বাস রয়েছে যে আপনি যদি অ্যালগরিদমে যথেষ্ট পরিমাণ ডেটা ফেলে দেন তবে এটি সঠিক ভবিষ্যদ্বাণীগুলি 'শিখবে'। যদিও আমি এমএল-এর বিরুদ্ধে পক্ষপাতদুষ্ট, এমএল-তে একটি মৌলিক অন্তর্দৃষ্টি রয়েছে যা পরিসংখ্যানবিদরা এড়িয়ে গেছেন: কম্পিউটার পরিসংখ্যান প্রয়োগে বৈপ্লবিক পরিবর্তন আনতে পারে।
দুটি উপায় রয়েছে- ক) স্ট্যান্ডার্ড টেস্ট এবং মডেলগুলির স্বয়ংক্রিয়করণ। যেমন মডেলের ব্যাটারি চালানো (লিনিয়ার রিগ্রেশন, এলোমেলো বন, ইত্যাদি ইনপুটগুলির বিভিন্ন সংমিশ্রণ চেষ্টা করে, প্যারামিটার সেটিংস ইত্যাদি)। এটি সত্যিই ঘটেনি - যদিও আমি সন্দেহ করি যে কাগল প্রতিযোগীরা তাদের নিজস্ব অটোমেশন কৌশল বিকাশ করে। খ) বিশাল পরিসংখ্যানগুলিতে প্রমিত পরিসংখ্যানের মডেল প্রয়োগ করা: উদাহরণস্বরূপ গুগল ট্রান্সলেট, সুপারিশকারী সিস্টেম ইত্যাদির কথা চিন্তা করুন (কেউ দাবি করছেন না যে, উদাহরণস্বরূপ লোকেরা অনুবাদ করে বা এর মতো প্রস্তাব দেয়..কিন্তু এটি একটি দরকারী সরঞ্জাম)। অন্তর্নিহিত পরিসংখ্যানের মডেলগুলি সোজাসাপ্টা কিন্তু বিলিয়ন ডেটা পয়েন্টগুলিতে এই পদ্ধতিগুলি প্রয়োগ করার ক্ষেত্রে প্রচুর গণনামূলক সমস্যা রয়েছে।
ডেটা মাইনিং এই দর্শনের চূড়ান্ত ... তথ্য থেকে জ্ঞান আহরণের স্বয়ংক্রিয় পদ্ধতিগুলি বিকাশ করা। তবে এটির আরও ব্যবহারিক পদ্ধতি রয়েছে: মূলত এটি আচরণগত তথ্যগুলিতে প্রয়োগ করা হয়, যেখানে কোনও বৈজ্ঞানিক তত্ত্ব নেই (বিপণন, জালিয়াতি সনাক্তকরণ, স্প্যাম ইত্যাদি) এবং লক্ষ্যটি বৃহত পরিমাণে ডেটা বিশ্লেষণ স্বয়ংক্রিয় করে তোলা: সন্দেহ নেই যে পরিসংখ্যানবিদদের দল পর্যাপ্ত সময় দেওয়া আরও ভাল বিশ্লেষণ উত্পাদন করতে পারে, তবে এটি কম্পিউটার ব্যবহার করা আরও কার্যকর। ডি ডি হ্যান্ড ব্যাখ্যা করার সাথে সাথে এটি হ'ল মাধ্যমিক তথ্যগুলির বিশ্লেষণ - ডেটা যা যে কোনও উপায়ে লগ ইন করা তথ্যের চেয়ে দৃ experiment়ভাবে পরীক্ষামূলক নকশায় একটি বৈজ্ঞানিক প্রশ্নের উত্তর দেওয়ার জন্য সংগ্রহ করা হয়েছে। ডেটা মাইনিংয়ের পরিসংখ্যান এবং আরও অনেক কিছু, ডি হ্যান্ড
সুতরাং আমি সংক্ষেপে বলব যে traditionalতিহ্যবাহী এআই পরিসংখ্যানের চেয়ে যুক্তি ভিত্তিক, মেশিন লার্নিং তত্ত্ব ব্যতীত পরিসংখ্যান এবং পরিসংখ্যানগুলি 'কম্পিউটারবিহীন পরিসংখ্যান' এবং ডেটা মাইনিং হ'ল ন্যূনতম ব্যবহারকারীর হস্তক্ষেপের সাথে পরিসংখ্যান বিশ্লেষণের জন্য স্বয়ংক্রিয় সরঞ্জামগুলির বিকাশ।
ডেটা মাইনিং হিডেন নিদর্শন বা অজানা জ্ঞান আবিষ্কার সম্পর্কে, যা লোকেদের সিদ্ধান্ত নেওয়ার জন্য ব্যবহার করা যেতে পারে।
মেশিন লার্নিং নতুন বিষয়গুলিকে শ্রেণিবদ্ধ করার জন্য একটি মডেল শেখার বিষয়ে।
আমার মতে, কৃত্রিম বুদ্ধিমত্তাকে মেশিন লার্নিং, ডেটা মাইনিং, প্যাটার্ন রিকগনিশন ইত্যাদি ক্ষেত্রগুলির "সুপারসেট" হিসাবে বিবেচনা করা যেতে পারে my
পরিসংখ্যান, গণিতের একটি ক্ষেত্র যা এআইতে ব্যবহৃত সমস্ত গাণিতিক মডেল, কৌশল এবং উপপাদ্য অন্তর্ভুক্ত।
মেশিন লার্নিং এআইয়ের একটি ক্ষেত্র যা উপরে উল্লিখিত পরিসংখ্যানের মডেলগুলি প্রয়োগ করে এবং উপাত্তকে বোঝায় যে ক্লাস্টারিং এবং শ্রেণিবদ্ধকরণের মতো ভবিষ্যদ্বাণীমূলক বিশ্লেষণ করে all
ডেটা মাইনিং হ'ল বিজ্ঞান যা উপাত্ত থেকে দরকারী এবং গুরুত্বপূর্ণ নিদর্শনগুলি বের করার জন্য উপরের সমস্ত কৌশলগুলি (মেশিন লার্নিং মূলত) ব্যবহার করে। ডেটা মাইনিংয়ের ক্ষেত্রে সাধারণত বিশাল ডেটাসেটগুলি, অর্থাত্ বিগ ডেটা থেকে দরকারী তথ্য বের করা do
কীভাবে: শিখতে শেখানোর মেশিনগুলি
ডেটাতে অর্থপূর্ণ নিদর্শনগুলি সনাক্ত করুন: ডেটা মাইনিং
জ্ঞাত নিদর্শনগুলি থেকে ফলাফলের পূর্বাভাস: এমএল
কাঁচা ডেটা পুনরায় তৈরি করতে নতুন বৈশিষ্ট্যগুলি সন্ধান করুন: এআই
এই পাখির মস্তিষ্কের সত্যিকারের সহজ সংজ্ঞা দরকার।
প্রায়শই ডেটা মাইনিং ভবিষ্যতের কিছু ডেটা "ভবিষ্যদ্বাণী" করার চেষ্টা করে বা কেন কিছু ঘটে তার "ব্যাখ্যা" করার চেষ্টা করে।
আমার চোখে হাইপোথিসিসের বৈধতা দেওয়ার জন্য পরিসংখ্যানগুলি বেশি ব্যবহৃত হয়। তবে এটি একটি বিষয়গত আলোচনা।
পরিসংখ্যানবিদদের এবং ডেটা মাইনারদের মধ্যে একটি স্পষ্ট পার্থক্য তারা দেখছেন সংক্ষিপ্ত পরিসংখ্যানগুলির ধরণের মধ্যে পাওয়া যাবে।
পরিসংখ্যানগুলি প্রায়শই নিজেকে আর ও নির্ভুলতার মধ্যে সীমাবদ্ধ করে রাখে, যখন ডেটা মাইনাররা এউসি, আরওসি বক্ররেখা, উত্তোলন কার্ভ ইত্যাদির দিকে নজর রাখবে এবং ব্যয় সম্পর্কিত নির্ভুলতা বক্ররেখাকে নিযুক্ত করেও উদ্বিগ্ন হতে পারে।
ডেটা মাইনিং প্যাকেজগুলি (উদাহরণস্বরূপ ওপেন সোর্স ওয়েকা) ইনপুট নির্বাচন, ভেক্টর মেশিনগুলির শ্রেণিবিন্যাস, সমর্থন ইত্যাদির কৌশলগুলি তৈরি করেছে, যখন এগুলি বেশিরভাগ অংশের জন্য জেএমপির মতো পরিসংখ্যান প্যাকেজগুলিতে অনুপস্থিত। আমি সম্প্রতি যখন জেএমপি জনগণের কাছ থেকে "ডেটা মাইনিং ইন জ্যাম্প" বিষয়ে কোর্স করলাম এবং এটি দৃশ্যত শক্তিশালী প্যাকেজ হলেও কিছু প্রয়োজনীয় ডেটা মাইনিং প্রাক / পোস্ট / মিড কৌশলগুলি কেবল অনুপস্থিত। ইনপুট নির্বাচনটি ম্যানুয়ালি করা হয়েছিল, তথ্যের মধ্যে অন্তর্দৃষ্টি পেতে, এখনও ডেটা মাইনিংয়ের ক্ষেত্রে, বড় ডেটাতে স্মার্টলি, অ্যালগরিদমগুলি প্রকাশ করা এবং স্বয়ংক্রিয়ভাবে কী বেরিয়ে আসে তা দেখার জন্য আপনার ইচ্ছা intention কোর্সটি স্পষ্টতই পরিসংখ্যান ব্যক্তিরা শিখিয়েছিলেন, যা উভয়ের মধ্যে বিভিন্ন মানসিকতার উপর জোর দেয়।