উইকিপিডিয়া থেকে,
মাত্রিকতা হ্রাস বা মাত্রা হ্রাস বিবেচনাধীন র্যান্ডম ভেরিয়েবলের সংখ্যা হ্রাস করার প্রক্রিয়া, এবং বৈশিষ্ট্য নির্বাচন এবং বৈশিষ্ট্য নিষ্কাশন মধ্যে বিভক্ত করা যেতে পারে।
বৈশিষ্ট্য নির্বাচন এবং বৈশিষ্ট্য নিষ্কাশন মধ্যে পার্থক্য কি?
প্রাকৃতিক ভাষা প্রক্রিয়াকরণ কার্যে মাত্রা হ্রাসের উদাহরণ কী?
উত্তর:
সহজভাবে করা:
বৈশিষ্ট্য নিষ্কাশনের উদাহরণ: চিত্রগুলিতে সংক্ষিপ্তসার উত্তোলন, কোনও পাঠ্য থেকে ডিগ্র্রামগুলি উত্তোলন, কথ্য পাঠ্য রেকর্ডিং থেকে ফোনমেস উত্তোলন ইত্যাদি
বৈশিষ্ট্য নিষ্কাশন বৈশিষ্ট্যগুলির একটি রূপান্তর জড়িত, যা প্রায়শই বিপরীত হয় না কারণ কিছু তথ্য মাত্রিক হ্রাস প্রক্রিয়ায় হারিয়ে যায়।
মাত্রা হ্রাস হ'ল সাধারণত এমন একটি ভিত্তি বা গাণিতিক উপস্থাপনা বাছাই করা হয় যার মধ্যে আপনি আপনার ডেটাগুলির মধ্যে সমস্ত বৈকল্পিকতা সর্বাধিক বর্ণনা করতে পারবেন না, যার ফলে এটি উপস্থাপনের জন্য প্রয়োজনীয় তথ্যের পরিমাণ হ্রাস করার সাথে সম্পর্কিত তথ্য বজায় রাখবেন। এই সহ কিন্তু সীমাবদ্ধ নয় করছেন জন্য নানা কৌশল আছে PCA, ICAএবং Matrix Feature Factorization। এগুলি বিদ্যমান ডেটা নেবে এবং এটিকে সবচেয়ে বৈষম্যমূলক উপাদানগুলিতে কমিয়ে দেবে all এগুলি আপনাকে আপনার ডেটাসেটের বেশিরভাগ তথ্যকে কম, আরও বৈষম্যমূলক বৈশিষ্ট্য সহ উপস্থাপন করার অনুমতি দেয়।
বৈশিষ্ট্য নির্বাচন হ'ল নির্বাচন বৈশিষ্ট্য যা অত্যন্ত বৈষম্যমূলক। বিশ্লেষণের চেয়ে ফিচার ইঞ্জিনিয়ারিংয়ের সাথে এর আরও অনেক কিছুই রয়েছে এবং তথ্য বিজ্ঞানীর পক্ষ থেকে উল্লেখযোগ্যভাবে আরও কাজ করা প্রয়োজন। আপনি যে ভবিষ্যদ্বাণী করছেন এবং কোনটি নয়, তাতে আপনার ডেটাসেটের কোন দিকগুলি গুরুত্বপূর্ণ তা বোঝার জন্য এটির প্রয়োজন। বৈশিষ্ট্য নিষ্কাশন সাধারণত বিদ্যমান বৈশিষ্ট্যগুলির সংমিশ্রণ যা নতুন বৈশিষ্ট্য উত্পাদন জড়িত। এই দুটি কৌশলই ফিচার ইঞ্জিনিয়ারিংয়ের বিভাগে আসে into আপনি সেরা ফলাফলগুলি পেতে চাইলে সাধারণত বৈশিষ্ট্য ইঞ্জিনিয়ারিং গুরুত্বপূর্ণ, কারণ এতে আপনার ডেটাশেটে অস্তিত্ব থাকতে পারে এমন তথ্য তৈরি করা এবং আপনার সংকেতকে শব্দ অনুপাতের সাথে বাড়ানো জড়িত।
Dimensionality Reductionদফা কিন্তু উপর একটি বিট ভিন্ন Feature Engineeringব্যবহার - যা থেকে কি আমি দেখা করেছি শুধুমাত্র Feature Extraction : Feature Selectionআলাদাভাবে বিবেচনা করা হয়। এটি পরিভাষায় কেবল একটি পার্থক্য।
@ দমেনফ্রানকোয়েসের মতো উত্তর বৈশিষ্ট্য নির্বাচন বৈশিষ্ট্যগুলির একটি উপসেট নির্বাচন করা সম্পর্কে। সুতরাং এনএলপিতে এটি নির্দিষ্ট শব্দের একটি সেট বাছাই করা হবে (এনএলপিতে সাধারণত এটি হ'ল প্রতিটি শব্দ শব্দের ফ্রিকোয়েন্সি বা টিএফ / আইডিএফ বা অনুরূপ উপর ভিত্তি করে কিছু অন্যান্য ওজনের সমান মানের একটি বৈশিষ্ট্য উপস্থাপন করে)।
মাত্রা হ্রাস হ'ল মূল বৈশিষ্ট্য প্রতিনিধিত্ব করা হয় যেখানে নতুন বৈশিষ্ট্য স্থান প্রবর্তন। নতুন স্থানটি নিম্ন মাত্রার যা মূল স্থান। পাঠ্যের ক্ষেত্রে একটি উদাহরণ হ্যাশিং ট্রিক হবে যেখানে পাঠ্যের টুকরোটি কিছু বিট (16 বা 32 বলুন) বা বাইটের ভেক্টরে কমিয়ে আনা হবে। আশ্চর্যজনক বিষয়টি হ'ল স্থানটির জ্যামিতিটি সংরক্ষণ করা হয়েছে (যথেষ্ট পরিমাণ বিট দেওয়া হয়েছে) সুতরাং নথির মধ্যে আপেক্ষিক দূরত্ব মূল স্থানের মতোই থেকে যায়, তাই আপনি আনবাউন্ড (এবং বিশাল সংখ্যক) মোকাবেলা না করে স্ট্যান্ডার্ড মেশিন লার্নিং কৌশল স্থাপন করতে পারেন and এর) পাঠ্যটিতে মাত্রা পাওয়া যায়।
বৈশিষ্ট্য নির্বাচন কিছু পরিসংখ্যানগত স্কোরের উপর ভিত্তি করে কিছু বৈশিষ্ট্যগুলি বেছে নেওয়ার বিষয়ে তবে বৈশিষ্ট্য নিষ্কাশন প্রযুক্তি থেকে ফোরিয়ার ট্রান্সফর্ম ব্যবহার করে একটি সিগন্যালের আকর্ষণীয় ফ্রিকোয়েন্সিগুলি থেকে ডেটা থেকে দ্বিতীয় স্তরের তথ্য বের করার কৌশল ব্যবহার করে।
যথাযথ পর্যালোচনা এবং সংজ্ঞায়নের জন্য আপনি ফিচার এক্সট্রাকশন ফাউন্ডেশন এবং অ্যাপ্লিকেশন বৈশিষ্ট্য নিষ্কাশন বইটিতে ডাইমেনশন হ্রাস বনাম পরিবর্তনশীল নির্বাচনটি একবার দেখে নিতে পারেন : বৈশিষ্ট্য নির্মাণ এবং বৈশিষ্ট্য নির্বাচন।
ক 1। মাত্রিকতা হ্রাস কী: আপনি যদি কোনও ম্যাট্রিক্সের ডেটার কথা ভাবেন, যেখানে সারিগুলি উদাহরণ এবং কলামগুলি বৈশিষ্ট্য (বা বৈশিষ্ট্য) হয় তবে মাত্রিকতা হ্রাস এই ডাটা ম্যাট্রিক্সকে কম কলাম সহ নতুন ম্যাট্রিক্সে ম্যাপিং করছে। ভিজ্যুয়ালাইজেশনের জন্য, আপনি যদি প্রতিটি ম্যাট্রিক্স-কলাম (বৈশিষ্ট্য) বৈশিষ্ট্য স্পেসের একটি মাত্রা হিসাবে মনে করেন, তবে মাত্রিকতা হ্রাস হ'ল উচ্চ মাত্রিক স্থান (আরও কলাম) থেকে নিম্ন মাত্রিক উপ-স্পেসে (কম কলাম) উদাহরণের অভিক্ষেপ।
এই রূপান্তরটির মূল উদ্দেশ্য হ'ল (1) তথ্য ম্যাট্রিক্সে তথ্য সংরক্ষণ করা, যখন গণনা জটিলতা হ্রাস করা যায়; (২) ডেটাতে বিভিন্ন শ্রেণীর পৃথকীকরণের উন্নতি করা।
A2,। বৈশিষ্ট্য নির্বাচন বা বৈশিষ্ট্য নিষ্কাশন হিসাবে মাত্রাজনিত হ্রাস: আমি সর্বব্যাপী আইরিস ডেটাसेट ব্যবহার করব , যা ডেটা সায়েন্সের যুক্তিযুক্ত 'হ্যালো ওয়ার্ল্ড'। সংক্ষেপে, আইরিস ডেটাসেটের 3 টি শ্রেণি এবং 4 টি বৈশিষ্ট্য (কলাম) রয়েছে। আইরিস ডেটাসেটের মাত্রা 4 থেকে 2 হ্রাস করার জন্য আমি বৈশিষ্ট্য নির্বাচন এবং নিষ্কাশন চিত্রিত করব।
পাইথনের লাইব্রেরিটি সিউবোর্ন ব্যবহার করে এই ডেটাসেটের যুগল-ভিত্তিক সহ-প্রকরণটি গণনা করি। কোডটি হ'ল: sns.pairplot (আইরিস, হিউ = "প্রজাতি", মার্কারস = ["ও", "এস", "ডি"]) যে চিত্রটি পেয়েছি তা হ'ল
আমি প্রদান করা বৈশিষ্ট্যের জোড় (2 মাত্রা) নির্বাচন করতে পারি যা সরবরাহ করে আমার আইরিস ডেটাসেটে 3 শ্রেণি (প্রজাতি) এর মধ্যে সবচেয়ে বড় বিভাজন। এটি বৈশিষ্ট্য-নির্বাচনের ক্ষেত্রে হবে।
পরবর্তী বৈশিষ্ট্য নিষ্কাশন হয়। এর সাথে, আমি আইরিসের 4-মাত্রিক বৈশিষ্ট্য স্থানটি একটি নতুন 2-মাত্রিক উপ-স্পেসে প্রজেক্ট করছি, যা অক্ষটি মূল স্থানের সাথে সামঞ্জস্য নয়। এগুলি নতুন বৈশিষ্ট্য। এগুলি সাধারণত মূল উচ্চ মাত্রিক স্থানে বিতরণের উপর ভিত্তি করে। সর্বাধিক জনপ্রিয় পদ্ধতি হ'ল প্রিন্সিপাল কম্পোনেন্ট অ্যানালাইসিস, যা মূল স্থানটিতে ইগেনভেেক্টরগুলিকে গণনা করে।
স্পষ্টতই, আমরা কেবল ইগেনভেেক্টরগুলির উপর ভিত্তি করে একটি সাবসেসে লিনিয়ার এবং বিশ্ব প্রজেকশন ব্যবহারের মধ্যে সীমাবদ্ধ নেই। আমরা অ-রৈখিক প্রক্ষেপণ পদ্ধতিও ব্যবহার করতে পারি। স্নায়ুবিক নেটওয়ার্ক ব্যবহার করে অ-রৈখিক পিসিএর
উদাহরণ এখানে দেওয়া হয়েছে শেষ উদাহরণের বৈশিষ্ট্য (মাত্রা) নিষ্কাশন করা হয়েছেনিউরাল নেটওয়ার্ক ব্যবহার করে মূল 4 টি বৈশিষ্ট্য থেকে। আপনি এই পিসিএ পদ্ধতি কোড ব্যবহার করে নিজেই আইরিস ডেটাসেটের জন্য পিসিএর বিভিন্ন স্বাদের সাথে পরীক্ষা করতে পারেন ।
সংক্ষিপ্তসার: বৈশিষ্ট্য নিষ্কাশন পদ্ধতিগুলি বৈশিষ্ট্য নির্বাচনের তুলনায় পারফরম্যান্সে সেরা বলে মনে হতে পারে, তবে পছন্দটি অ্যাপ্লিকেশন দ্বারা পূর্বাভাস দেওয়া হয়েছে। বৈশিষ্ট্য নিষ্কাশন থেকে প্রাপ্ত বৈশিষ্ট্যগুলি সাধারণত শারীরিক ব্যাখ্যা হারাতে পারে যা হাতের কাজটির উপর ভিত্তি করে কোনও সমস্যা হতে পারে বা নাও পারে। উদাহরণস্বরূপ, যদি আপনি ব্যয়বহুল সেন্সর সহ একটি খুব ব্যয়বহুল ডেটা সংগ্রহের কাজটি ডিজাইন করেন এবং বৈশিষ্ট্যগুলিতে (বিভিন্ন সেন্সরের সংখ্যা) অর্থনীতির প্রয়োজন হয় তবে আপনি সমস্ত উপলভ্য সেন্সর ব্যবহার করে একটি ছোট পাইলট নমুনা সংগ্রহ করতে চান এবং তারপরে একটি নির্বাচন করুন যা বড় ডেটা সংগ্রহের কাজের জন্য সবচেয়ে তথ্যবহুল tive
স্কাইকিট-লার্ন এবং টেনসরফ্লো সহ হ্যান্ডস অন মেশিন লার্নিং থেকে প্রাপ্ত racted
এখানে বেশ কয়েকটি দুর্দান্ত উত্তর, বিশেষত, @ ড্যামিয়েনফ্রানকোইসের উত্তর খুব সংক্ষিপ্তভাবে সাধারণ ধারণাটি ধারণ করে।
তবে আমি রিলেশনাল বা টাইম-সিরিজ ডেটার জন্য ফিচার ইঞ্জিনিয়ারিংয়ের কোনও উদাহরণ দেখতে পাচ্ছি না। সেক্ষেত্রে ডেটা বিজ্ঞানীরা সাধারণত সম্পর্ক এবং সময়ের সাথে সাথে পরিসংখ্যানিক নিদর্শনগুলি বের করেন। উদাহরণস্বরূপ, ভবিষ্যতে কোনও ইকমার্স ডাটাবেসে গ্রাহকরা কী করবে তা পূর্বাভাস দেওয়ার জন্য, কেউ গড় historicalতিহাসিক ক্রয়ের পরিমাণ, বা পূর্ববর্তী ক্রয়ের ফ্রিকোয়েনির মতো পরিমাণ বের করতে পারে।
আমি এই বিষয়টিতে একটি টুকরো লিখেছি যা এখানে বেশ কয়েকটি উদাহরণ সহ আরও বিস্তারিতভাবে যায়: https://www.featurelabs.com/blog/feature-engineering-vs-feature-selection/
আমার বিপরীত ক্রম দিয়ে শুরু করা যাক বৈশিষ্ট্য নিষ্কাশন এবং বৈশিষ্ট্য নির্বাচন এবং মাত্রিকতা হ্রাসের প্রয়োজন কেন।
বৈশিষ্ট্য নিষ্কাশন ব্যবহার শুরু করে যা মূলত শ্রেণিবদ্ধকরণের উদ্দেশ্যে। শ্রেণিবিন্যাস হল কোন বিভাগের নির্দিষ্ট বিষয়বস্তু সম্পর্কিত সে সিদ্ধান্ত নেওয়ার প্রক্রিয়া। এটির দুটি ধাপ রয়েছে i) প্রশিক্ষণ পর্ব, যেখানে ডেটা বা বস্তুগুলি প্রদান করে তাদের বৈশিষ্ট্যগুলি কিছু প্রক্রিয়া (বৈশিষ্ট্য নিষ্কাশন) ব্যবহার করে শিখেছে ii) পরীক্ষার পর্ব, যেখানে অজানা বিষয়টিকে পূর্ববর্তী (প্রশিক্ষণ) পর্যায়ে শিখে নেওয়া বৈশিষ্ট্যগুলি ব্যবহার করে শ্রেণিবদ্ধ করা হয়েছে।
নাম হিসাবে প্রদত্ত ডেটা লক্ষ্য হিসাবে বৈশিষ্ট্য নিষ্কাশনটি অন্তর্নিহিত প্যাটার্নটি সন্ধান করা। এই অন্তর্নিহিত প্যাটার্নটি যা সম্পর্কিত সম্পর্কিত ডেটার সাথে সম্পর্কিত বৈশিষ্ট্য হিসাবে শব্দ। সাপোর্ট ভেক্টর মেশিন (এসভিএম) এর মতো বৈশিষ্ট্য নিষ্কাশনের জন্য বিদ্যমান বিভিন্ন পদ্ধতি রয়েছে।
এখন, বৈশিষ্ট্য নিষ্কাশন বৈশিষ্ট্য যা হওয়া উচিত উত্পন্ন করা উচিত
বৈশিষ্ট্য নির্বাচন: ডেটাগুলির একটি নির্দিষ্ট সেটকে কোনও একক বৈশিষ্ট্য বা বৈশিষ্ট্যগুলির সেট দ্বারা উপস্থাপন করা যেতে পারে। শ্রেণিবদ্ধকরণ প্রক্রিয়াতে, একটি সিস্টেম কমপক্ষে দুটি শ্রেণীর জন্য প্রশিক্ষিত হয়। সুতরাং প্রশিক্ষণ সিস্টেমটি হয় একটি একক বৈশিষ্ট্য বা বৈশিষ্ট্যগুলির সেট তৈরি করবে। এই বৈশিষ্ট্যগুলির উপরে বর্ণিত বৈশিষ্ট্যগুলির অধিকারী হওয়া উচিত।
সমস্যাটি তখন উপস্থিত হয় যখন প্রতিটি শ্রেণীর জন্য একটি বৈশিষ্ট্য সেট থাকে এবং কিছু বৈশিষ্ট্যের মধ্যে পারস্পরিক সম্পর্ক থাকে। এটি সেই সংযুক্তিযুক্ত বৈশিষ্ট্যগুলির মধ্যে বোঝায় যে এক বা কয়েকটি উপস্থাপনের জন্য পর্যাপ্ত এবং সেখানেই বৈশিষ্ট্য নির্বাচন ছবিতে আসে। এছাড়াও, বৈশিষ্ট্য সেট মেমরির প্রয়োজনীয়তা বৃদ্ধির সাথে এই বৈশিষ্ট্যগুলি সংরক্ষণ করা দরকার।
তারপরে আসে মাত্রিকতা হ্রাস যা বৈশিষ্ট্য নির্বাচন প্রক্রিয়াটির অংশ ছাড়া কিছুই নয়। এটি বৈশিষ্ট্যগুলির সর্বোত্তম সেট চয়ন করার প্রক্রিয়া যা ডেটাকে সর্বোত্তমভাবে বর্ণনা করে। মূল উপাদানগুলির বিশ্লেষণ, স্বতন্ত্র উপাদান বিশ্লেষণ এবং ম্যাট্রিক্স ফ্যাক্টেরাইজেশন ইত্যাদি এর মতো অনেক কৌশল রয়েছে
উদাহরণস্বরূপ ... আপনার যদি একটি কৃষিজমি থাকে তবে সেই জমির একটি নির্দিষ্ট ক্ষেত্র নির্বাচন করা বৈশিষ্ট্য নির্বাচন করা হবে f যদি আপনি সেই অঞ্চলে ক্ষতিগ্রস্থ গাছপালা সন্ধান করতে চান তবে সাধারণ যে নির্দিষ্ট বৈশিষ্ট্যের উপর ভিত্তি করে আপনার প্রতিটি গাছপালা পর্যবেক্ষণ করতে হবে প্রতিটি উদ্ভিদে যাতে অস্বাভাবিকতাগুলি খুঁজে পাওয়া যায় ... এর জন্য আপনি বৈশিষ্ট্য নিষ্কাশন বিবেচনা করবেন this এই উদাহরণে মূল কৃষিজমিটি মাত্রা হ্রাসের সাথে মিলে যায়।