কেন-মানে বিশ্বকে সর্বনিম্ন ন্যূনতম দেয় না?

17

আমি পড়েছি যে কে-মানে অ্যালগরিদম কেবল স্থানীয় সর্বনিম্নে রূপান্তর করে বিশ্বব্যাপী সর্বনিম্নে নয়। কেন? আমি যৌক্তিকভাবে ভাবতে পারি যে কীভাবে সূচনাটি চূড়ান্ত ক্লাস্টারিংয়ের উপর প্রভাব ফেলতে পারে এবং উপ-সর্বোত্তম ক্লাস্টারিংয়ের সম্ভাবনা রয়েছে, তবে আমি এমন কিছু পাইনি যা গাণিতিকভাবে এটি প্রমাণ করবে।

এছাড়াও, কেন-কেন একটি পুনরাবৃত্তি প্রক্রিয়া? আমরা কেবল সেন্ট্রয়েডগুলিতে উদ্দেশ্যমূলক ফাংশন আর্টকে আংশিকভাবে পৃথক করতে পারি না, এই ফাংশনটি ন্যূনতম করে এমন সেন্ট্রয়েডগুলি সন্ধান করতে এটি শূন্যের সমান করতে পারি? ন্যূনতম ধাপে ধাপে পৌঁছতে কেন আমাদের গ্রেডিয়েন্ট বংশোদ্ভুত ব্যবহার করতে হবে?

— প্রীতেক কুলকারনী
সূত্র

4

যখন কোনও মসৃণ ফাংশনটির একাধিক স্থানীয় মিনিমা থাকে, তবে অগত্যা তাদের প্রত্যেকেরই একটি সমালোচনামূলক বিন্দু হবে (যেখানে সমস্ত আংশিক ডেরিভেটিভগুলি বিলুপ্ত হবে), সুতরাং আপনার অ্যালগরিদম সঠিক তবে সাধারণত এটি অকেজো: আপনি একটি বিশাল সংখ্যার সাথে মারাত্মক জটিল সমীকরণ পেতে পারেন সমাধান (এমনকি অসীম অনেক)। তবে আরেকটি সমস্যা রয়েছে: আপনি কীভাবে জানেন যে কে-ই মানেটিজ ফাংশনটি সর্বত্রও স্বতন্ত্র?

— whuber

1

আমি বিশ্বাস করি যে যখন আমি একটি সেন্ট্রয়েডের প্রতি শ্রদ্ধার সাথে উদ্দেশ্যমূলক ক্রিয়াকে আংশিকভাবে পৃথক করি তখন অন্য সেন্ট্রয়েডের গুচ্ছের পয়েন্টগুলি ডেরাইভেটিভের সাথে মিলিয়ে যায়। সুতরাং, আমরা যে সেন্ট্রয়েড পেতে পারি তা কেবলমাত্র নির্দিষ্ট ক্লাস্টারের স্কোয়ার দূরত্বের যোগফলকেই হ্রাস করবে।

— প্রীতীক কুলকারনী

3

এটি আংশিকভাবে এটি, তবে আচরণটি আসলে ব্যাখ্যা করে না not অধিকতর আমদানির সত্যটি হ'ল সেন্ট্রয়েডগুলিতে পয়েন্ট নির্ধারণের কাজটি কে-মানে কী করছে তার বড় অংশ। (একবার অ্যাসাইনমেন্ট হয়ে গেলে, সেন্ট্রয়েডগুলি সহজেই গণনা করা যায় এবং করার মতো কিছুই থাকে না)) এই নিয়োগটি পৃথক : এটি এমন কিছু নয় যা একেবারেই আলাদা করা যায়। তদ্ব্যতীত, এটি সমন্বয়যুক্ত জটিল:

ক্লাস্টারে

পয়েন্ট নির্ধারণের জন্য

O (n^{k})

$O(n^k)$ উপায় রয়েছে । প্রকৃতপক্ষে, সেন্ট্রয়েডগুলি খুঁজে পেতে গ্রেডিয়েন্ট বংশদ্ভুত ব্যবহার করা সম্পূর্ণ অপ্রয়োজনীয়।

n

$n$

k

$k$

— whuber

আমি সম্মত, অ্যাসাইনমেন্ট অংশটি সরাসরি গাণিতিক ফর্মে রাখা যাবে না। কেবলমাত্র এই বিচ্ছিন্ন পদক্ষেপের মাধ্যমেই আমরা ফাংশনটি হ্রাস করতে সেন্ট্রয়েডগুলিকে চারপাশে স্থানান্তর করতে পারি। এখানে আমি গ্রেডিয়েন্ট বংশোদ্ভূতিকে কীভাবে দেখছি: যদি খারাপ সূচনা দ্বারা, আমরা স্থানীয় মিনিমার কাছাকাছি থাকি তবে গ্রেডিয়েন্ট বংশোদ্ভূত আপনাকে স্থানীয় মিনিমাতে টেনে আনবে। আপনি যদি ভাল আরম্ভের দ্বারা বৈশ্বিক মিনিমার কাছাকাছি থাকেন তবে এটি আপনাকে বৈশ্বিক মিনিমাতে টেনে আনবে। তবে এই আন্দোলনটি কীভাবে ক্লাস্টার অ্যাসাইনমেন্টগুলিতে ম্যাপিং করছে তা অস্পষ্ট।

— প্রীতীক কুলকার্নি

অ-বিভেদযোগ্যতা ওভাররেটেড: বেশ কিছু সাফল্যের সাথে খুব বড় ডেটা সেটগুলিতে স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত কে-ম্যানস অনুমানের বিষয়ে লিওন বটউ কিছু কাজ করেছেন। অবিভেদযোগ্যতা সেখানে অনেকগুলি ডাটা পয়েন্টের কারণে অনেক সমস্যার মতো সেখানে বড় সমস্যা তৈরি করে না। (যেমন কনভ্যুশনাল নেটওয়ার্কগুলি স্থানীয়ভাবে অবিভেদযুক্ত তবে যাইহোক দুর্দান্ত কাজ করে, তাই সংশোধিত লিনিয়ার ট্রান্সফার ফাংশন সহ অনেকগুলি নিউরাল নেট আর্কিটেকচার রয়েছে)। আসল কারণটি হ'ল একাধিক মিনিমা।

— বায়ারজ

10

আপনি ই-অ্যালগরিদমের বিশেষ সংস্করণ হিসাবে কে-মানে দেখতে পাচ্ছেন, যা কিছুটা সাহায্য করতে পারে।

আপনি সহভেদাংক ম্যাট্রিক্স সবার জন্য পরিচয় ম্যাট্রিক্স সংশোধন সঙ্গে প্রতিটি ক্লাস্টার জন্য বহুচলকীয় স্বাভাবিক বন্টন, কিন্তু পরিবর্তনশীল গড় আনুমানিক হিসাব করা হয় বলুন যেখানে ক্লাস্টার এর সূচি। স্পষ্টত, যদি পরামিতি পরিচিত হয়, আপনি প্রতিটি বিন্দু ধার্য করতে পারেন সর্বোচ্চ সম্ভাবনা ক্লাস্টার (অর্থাত। যার জন্য দূরত্ব ন্যূনতম মধ্যে)। এই সমস্যার জন্য EM অ্যালগরিদম প্রায়-কে-মানে সমতুল্য। $\mu_i$ $i$ $\{\mu_i\}$ $p$ $\mu_i$ $p$

অন্য উপায়ে, যদি আপনি জানেন যে কোন পয়েন্টগুলি কোন ক্লাস্টারের অন্তর্ভুক্ত, আপনি অনুকূল অনুমান করতে পারেন । এই বদ্ধ ফর্ম সমাধান (যা একটি গ্লোবাল অপটিমাম খুঁজে বের করে) মূলত যে সর্বাধিক সম্ভাবনা মডেলের এটি বলছেন আপনি ক্লাস্টার পয়েন্ট সব সম্ভব বরাদ্দকরণ উপর একীভূত। যেহেতু মাত্র ত্রিশটি পয়েন্ট এবং দুটি ক্লাস্টার রয়েছে, প্রায় এক বিলিয়ন এর মতো সম্ভাব্য কার্যভার রয়েছে, এটি গণনা করা অসম্ভব fe $\mu_i$ $\{\hat\mu_i\}$

পরিবর্তে, আমরা লুকানো প্যারামিটারগুলি (বা মডেল পরামিতি) সম্পর্কে কিছুটা অনুমান করতে পারি এবং দুটি পদক্ষেপটি পুনরাবৃত্তি করতে পারি (স্থানীয় সর্বাধিক স্থানে পৌঁছানোর সম্ভাবনা সহ)। যদি আপনি প্রতিটি ক্লাস্টারকে একটি পয়েন্টের জন্য আংশিক দায়িত্ব গ্রহণের অনুমতি দেন তবে আপনি ইএম দিয়ে শেষ হন, যদি আপনি কেবল অনুকূল ক্লাস্টারটি অর্পণ করেন তবে আপনি কে-মাধ্যম পাবেন।

সুতরাং, এক্সিকিউটিভ সংক্ষিপ্তসার: সম্ভাব্য শর্তাবলী, একটি বিশ্বব্যাপী সমাধান আছে, তবে এটি আপনাকে সমস্ত সম্ভাব্য ক্লাস্টারিংগুলিতে পুনরাবৃত্তি করতে হবে। স্পষ্টতই যদি আপনার কোনও উদ্দেশ্যমূলক কার্য থাকে তবে একই কথা সত্য। আপনি সমস্ত সমাধানগুলিতে পুনরাবৃত্তি করতে পারেন এবং উদ্দেশ্য ফাংশনকে সর্বাধিক করে তুলতে পারেন তবে পুনরাবৃত্তির সংখ্যাটি আপনার ডেটার আকারে সূচকীয়।

— পিটার
সূত্র

ভাল করা! আমি উত্তর হিসাবে চিহ্নিত করব!

— প্রীতীক কুলকারনী

4

এই সমস্যাটি যা আপনি সমাধান করতে চান:

\begin{aligned} min_{x} \sum_{i = 1}^{n} \sum_{j = 1}^{k} x_{i j} | | p_{i} - c_{j} | |^{2} \\ subject to: \\ \sum_{j = 1}^{k} x_{i j} = 1 \forall i \\ c_{j} is the centroid of cluster j \\ x_{i j} \in {0, 1} \forall i, j \end{aligned}

$\begin{align} &\min_{x} \sum_{i=1}^n \sum_{j=1}^k x_{ij} || p_i - c_j||^2\\ &\text{subject to:} \\ &\sum_{j=1}^k x_{ij} = 1 \quad \forall i\\ & c_j\textit{ is the centroid of cluster j}\\ &x_{ij} \in \{0,1\} \quad \forall i, j \\ \end{align}$

বাইনারি ভেরিয়েবল ইঙ্গিত দেয় যে বিন্দু না ক্লাস্টার নির্ধারিত হয়েছে । প্রতীকসমূহ এবং এর স্থানাঙ্ক বোঝাতে তম পয়েন্ট এবং এর centroid তম ক্লাস্টার যথাক্রমে। তারা উভয়ই অবস্থিত , যেখানে তথ্য পয়েন্টের মাত্রিকতা। $x_{ij}$ $i$ $j$ $p_i$ $c_j$ $i$ $j$ $\mathbb{R}^d$ $d$

সীমাবদ্ধতার প্রথম দলটি বলে যে প্রতিটি পয়েন্ট হুবহু একটি ক্লাস্টারে নির্ধারিত করা উচিত। সীমাবদ্ধতার দ্বিতীয় গোষ্ঠী (যা আমরা গাণিতিকভাবে সংজ্ঞায়িত করি নি) বলে যে ক্লাস্টার এর সেন্ট্রয়েডের স্থানাঙ্কগুলি আসলে ভেরিয়েবলের মানগুলির উপর নির্ভর করে । উদাহরণস্বরূপ আমরা নিম্নরূপে এই প্রতিবন্ধকতা প্রকাশ করতে পারি: $j$ $x_{ij}$

c_{j} = \frac{\sum_{i} x_{i j} p_{i j}}{\sum_{i} x_{i j}}

$\begin{equation} c_j = \frac{\sum_{i} x_{ij} p_{ij}}{\sum_{i} x_{ij}} \end{equation}$

যাইহোক, এই অ-লিনিয়ার সীমাবদ্ধতাগুলি মোকাবেলা করার পরিবর্তে কে-ম্যানেসে আমরা (প্রায়) একটি আলাদা সমস্যা সমাধান করি যা আমাদের মূল সমস্যার মতোই সর্বোত্তম সমাধান রয়েছে:

\begin{aligned} min_{x} \sum_{i = 1}^{n} \sum_{j = 1}^{k} x_{i j} | | p_{i} - y_{j} | |^{2} \\ subject to: \\ \sum_{j = 1}^{k} x_{i j} = 1 \forall i \\ x_{i j} \in {0, 1} \forall i, j \\ y_{j} \in R^{d} \forall j \end{aligned}

$\begin{align} &\min_{x} \sum_{i=1}^n \sum_{j=1}^k x_{ij} || p_i - y_j||^2\\ &\text{subject to:} \\ &\sum_{j=1}^k x_{ij} = 1 \quad \forall i\\ &x_{ij} \in \{0,1\} \quad \forall i, j \\ &y_j \in \mathbb{R}^d \quad \forall j \end{align}$

সেন্ট্রয়েডের দূরত্বকে হ্রাস করার পরিবর্তে আমরা দূরত্বকে কেবলমাত্র কোনও বিন্দুতে কমিয়ে আছি যা আরও ভাল সমাধান দেবে। দেখা যাচ্ছে যে এই পয়েন্টগুলি ঠিক সেন্ট্রয়েড।

এখন এই সমস্যাটি সমাধান করার জন্য, আমরা রূপান্তর না হওয়া অবধি এই অ্যালগরিদমের ২-৩ ধাপে পুনরাবৃত্তি করব:

ভেরিয়েবলগুলিকে কিছু মান নির্ধারণ করুন $y_j$
ভেরিয়েবলের মানগুলি ঠিক করুন এবং ভেরিয়েবলের অনুকূল মানগুলি সন্ধান করুন । $y_{j}$ $x_{ij}$
মান ঠিক করুন ভেরিয়েবল, এবং অনুকূল মান খুঁজে ভেরিয়েবল। $x_{ij}$ $y_{j}$

প্রতিটি ধাপে উদ্দেশ্য ফাংশনটি উন্নত হয় (বা অ্যালগোরিদম রূপান্তরিত হলে একই থাকে), যেহেতু পূর্ববর্তী ধাপে সলিউশনটি পাওয়া গেছে বর্তমান পদক্ষেপের অনুসন্ধানের জায়গাতে। তবে, যেহেতু আমরা প্রতিটি পদক্ষেপে কিছু ভেরিয়েবল ঠিক করে দিচ্ছি, এটি স্থানীয় অনুসন্ধান পদ্ধতি যা অনুকূলতার গ্যারান্টি দেয় না।

ভাগ্যক্রমে, পদক্ষেপ 2 এবং 3 এ অপ্টিমাইজেশনের সমস্যাগুলি বন্ধ আকারে সমাধান করা যেতে পারে। যদি আমরা জানি (অর্থাৎ যদি আমরা জানি যে প্রতিটি বিন্দু কোন ক্লাস্টার নির্ধারিত হয়েছে) তবে ভেরিয়েবলের জন্য সেরা মানগুলি হ'ল ক্লাস্টারের সেন্ট্রয়েড। যদি আমরা মান জানতে পারি , তবে ভেরিয়েবলের জন্য অবশ্যই সর্বোত্তম পছন্দটি হ'ল প্রতিটি পয়েন্টকে নিকটতম । $x_{ij}$ $y_j$ $y_j$ $x_{ij}$ $y_j$

— বেহরুজ বাবাকি
সূত্র

2

একটি সহজ উদাহরণ সাহায্য করতে পারে ..

আসুন ক্লাস্টার করার জন্য পয়েন্টগুলির সেটটি সংজ্ঞায়িত করি A = {1,2,3,4}।

বলুন আপনি A (2-মানে) এর জন্য 2 টি উপযুক্ত ক্লাস্টার সন্ধান করার চেষ্টা করছেন। (কমপক্ষে) দুটি পৃথক সেটিংস রয়েছে যা কে-মাধ্যমের স্থিতিশীল অবস্থাকে সন্তুষ্ট করে।

সেটিং 1:

Center1 = 1, Cluster1 = {1}
Center2 = 3, Cluster1 = {2,3,4}

এখানে উদ্দেশ্যটি হল ২. সত্য হিসাবে এটি একটি স্যাডল পয়েন্ট (চেষ্টা করুন center1 = 1 + epsilonএবং center1 = 1 - epsilon)

সেটিং 1:

Center1 = 1.5, Cluster1 = {1,2}
Center2 = 3.5, Cluster1 = {3,4}

এখানে উদ্দেশ্য 1/4।

যদি কে-মাধ্যমগুলি প্রথম সেটিংস হিসাবে শুরু করা হয় তবে এটি আটকে থাকবে .. এবং এটি কোনওভাবেই বিশ্বব্যাপী সর্বনিম্ন নয়।

দুটি পৃথক স্থানীয় মিনিমা তৈরি করতে আপনি আগের উদাহরণের বৈকল্পিক ব্যবহার করতে পারেন। জন্য A = {1,2,3,4,5}, সেটিং cluster1={1,2}এবং cluster2={3,4,5}হিসাবে একই উদ্দেশ্য মান would ফলাফল cluster1={1,2,3}এবংcluster2={4,5}

অবশেষে, আপনি যদি চয়ন করেন কি হবে

A = {1,2,3,4,6}
center1={2.5} cluster1={1,2,3,4} and 
center1={6} cluster1={6}

বনাম

center1={2} cluster1={1,2,3} and 
center1={5} cluster1={4,6}

?

— user25611
সূত্র

0

[এটি পিটারের উত্তর দেওয়ার আগেই ছিল]
একটি ছোট্ট আলোচনার পরে (মন্তব্য বিভাগে), আমার মনে হয় আমাকে নিজের প্রশ্নের উত্তর দিতে হবে।

আমি বিশ্বাস করি যে যখন আমি একটি সেন্ট্রয়েডের প্রতি শ্রদ্ধার সাথে উদ্দেশ্যমূলক ক্রিয়াকে আংশিকভাবে পৃথক করি তখন অন্য সেন্ট্রয়েডের গুচ্ছের পয়েন্টগুলি ডেরাইভেটিভের সাথে মিলিয়ে যায়। সুতরাং, আমরা যে সেন্ট্রয়েড পেতে পারি তা কেবলমাত্র নির্দিষ্ট ক্লাস্টারের স্কোয়ার দূরত্বের যোগফলকেই হ্রাস করবে।

@ হুবার যোগ করেছেন:

এটি আংশিকভাবে এটি, তবে আচরণটি আসলে ব্যাখ্যা করে না not আরও আমদানি হ'ল সত্য যে- সেন্ট্রয়েডগুলিতে পয়েন্ট নির্ধারণের বিষয়টি কে-মানে কী করছে তার বড় অংশ। (একবার অ্যাসাইনমেন্ট হয়ে গেলে, সেন্ট্রয়েডগুলি সহজেই গণনা করা যায় এবং করার মতো কিছুই থাকে না)) এই নিয়োগটি পৃথক: এটি এমন কিছু নয় যা একেবারেই আলাদা করা যায়।

কারও সাথে যোগ করার মতো আরও কিছু থাকলে এটি দুর্দান্ত।

— প্রীতেক কুলকারনী
সূত্র

0

প্রত্যেকেই সমস্ত কিছু ব্যাখ্যা করেছে, তবে আমি যুক্ত করতে চাই যে যদি কোনও নমুনা ডেটা গাউসির বিতরণ হিসাবে বিতরণ না করা হয় তবে এটি স্থানীয় মিনিমাতে আটকে যেতে পারে। কে-মানে অ্যালগরিদমে আমরা আসলে এটি পাওয়ার চেষ্টা করছি।

— অনুসন্ধানকারী
সূত্র

গাউসির পরিবর্তে, আমি মনে করি আপনি "ইউনিমোডাল" বলতে চাইছেন

— পিটার লিওপল্ড