প্রতিটি উপাদানগুলির বৈকল্পিক সমান করতে পিসিএ উপাদানগুলি ঘোরান

আমি ডেটাসেটে পিসিএ করে শেষ কয়েকটি পিসি ফেলে দিয়ে কোনও ডেটাসেটের মাত্রিকতা এবং গোলমাল হ্রাস করার চেষ্টা করছি। এর পরে, আমি বাকী পিসিগুলিতে কিছু মেশিন লার্নিং অ্যালগরিদম ব্যবহার করতে চাই এবং তাই আমি অ্যালগরিদমগুলি আরও ভালভাবে কাজ করতে পিসিগুলির বৈচিত্রকে সমান করে ডেটাটিকে স্বাভাবিক করতে চাই।

একটি সহজ উপায় হ'ল ইউনিটের মানগুলির বৈকল্পিকাকে স্বাভাবিক করা। যাইহোক, প্রথম পিসিতে নিম্নলিখিত ডেটাগুলির তুলনায় মূল ডেটাसेट থেকে আরও বৈচিত্র রয়েছে এবং আমি এখনও এটিকে আরও "ওজন" দিতে চাই। অতএব আমি ভাবছিলাম: কেবল তার বৈচিত্রটি বিভক্ত করার এবং কম বৈকল্পের সাথে এটি পিসিগুলির সাথে ভাগ করার কোনও সহজ উপায় আছে?

আর একটি উপায় হ'ল পিসিগুলিকে মূল বৈশিষ্ট্যটিতে আবার মানচিত্র করা, তবে সেক্ষেত্রে মাত্রিকতাও আসল মানটিতে বৃদ্ধি পাবে।

আমি অনুমান করি ফলস্বরূপ কলামগুলি অরথোগোনাল রাখা ভাল তবে এই মুহুর্তে এটি প্রয়োজনীয় নয়।

variance pca factor-rotation

— feilong
সূত্র

না ... ভ্যারাইম্যাক্স লোডিংয়ের স্কোয়ারের বৈকল্পিকগুলির যোগফলকে সর্বাধিক করে তোলে, সুতরাং এটি তাদের যথাসম্ভব অসম করার চেষ্টা করছে । এছাড়াও, আপনি উপাদানগুলি সমান করতে চান কেন? পুরো পয়েন্টটি হ'ল যতটা সম্ভব উপাদানগুলিতে যথাসম্ভব তারতম্য ক্যাপচার করা।

খালি ইউনিট বৈকল্পের জন্য উপাদান স্কোরগুলি মানক করা কি আপনার পক্ষে উপযুক্ত নয়? তাহলে কেন? আপনি কোন ধরণের ফলাফল চান - ফলাফলের কলামগুলি কি সমান বৈকল্পিকের সাথেও সম্পর্কযুক্ত হওয়া উচিত?

— ttnphns

আপনার বিবরণ থেকে এটি দেখতে অনেকটা মনে হচ্ছে আপনি কেবল ডেটা "গোলক" করতে চান (হ্রাস মাত্রিকতার)। এটি প্রায়শই মেশিন লার্নিংয়ের প্রাকপ্রসেসিং পদক্ষেপ হিসাবে করা হয়। এটি অর্জন করার জন্য, আপনি কেবল পিসিএ করেন, কিছু উপাদান চয়ন করেন এবং সেগুলি মানক করে তোলেন। আমি অনুমান করি যে কোনও অরথোগোনাল ঘূর্ণন (যেমন ভেরিম্যাক্স) সন্ধান করা সম্ভব যা মানযুক্ত উপাদানগুলিকে ঘোরান যেমন তারা নিরস্ত থাকে না তবে ঠিক একই পরিমাণের বৈকল্পিকতা ব্যাখ্যা করে; এটি একটি আকর্ষণীয় প্রশ্ন, আমি এটি সম্পর্কে চিন্তা করা প্রয়োজন। তবে আমি এটি কখনই দেখিনি, অবশ্যই মেশিন লার্নিংয়ে নেই।

— অ্যামিবা

যাইহোক, "কিছু মেশিন লার্নিং অ্যালগরিদম" কী কী আপনি পিসিএর পরে প্রয়োগ করতে চান? এটি প্রাসঙ্গিক হতে পারে।

— অ্যামিবা

মনে রাখবেন যে আপনি যদি আপনার মানকযুক্ত পিসিগুলি ঘোরান, তবে দূরত্বগুলি মোটেও বদলাবে না! সুতরাং পরবর্তী যে কোনও দূরত্ব-ভিত্তিক অ্যালগরিদমের জন্য এটি সত্যিকারে গুরুত্বপূর্ণ নয়।

— অ্যামিবা

উত্তর:

আমার কাছে এটি সম্পূর্ণ পরিষ্কার নয় যে আপনি যা জিজ্ঞাসা করছেন তা আপনার সত্যিকারের প্রয়োজন: মেশিন লার্নিংয়ের একটি সাধারণ প্রিপ্রোসেসিং পদক্ষেপ হ'ল মাত্রা হ্রাস + হোয়াইটেনিং, যার অর্থ পিসিএ করা এবং উপাদানগুলি মানক করা, অন্য কিছুই নয়। তবে তবুও আপনার প্রশ্নটি যেমন প্রণয়ন করা হয়েছে তেমন ফোকাস করব, কারণ এটি আরও আকর্ষণীয়।

যাক হতে কেন্দ্রিক সারি এবং কলাম মধ্যে ভেরিয়েবল ডাটা পয়েন্ট সঙ্গে ডেটা ম্যাট্রিক্স। পিসিএর পরিমাণ একক মানের পচন যেখানে মাত্র মাত্রার উপাদান হ্রাস করার জন্য আমরা কেবল উপাদান রাখি । এই উপাদানগুলির একটি অর্থোগোনাল "ফ্যাক্টর রোটেশন" বোঝায় যে একটি অরথোগোনাল ম্যাট্রিক্স নেবে এবং এটিকে পচে যায়: $\mathbf X$ $n\times d$

এক্স = {ইউ এস ভী}^{⊤} \approx {ইউ}_{ট} {এস}_{ট} {ভী}_{ট}^{⊤},

$\mathbf X = \mathbf{USV}^\top \approx \mathbf U_k \mathbf S_k \mathbf V_k^\top,$

k

$k$

k \times k

$k \times k$

R

$\mathbf R$

এক্স \approx {ইউ}_{ট} {এস}_{ট} {ভী}_{ট}^{⊤} = {ইউ}_{ট} {আর আর}^{⊤} {এস}_{ট} {ভী}_{ট}^{⊤} = \underset{\begin{matrix} আবর্তিত \\ মানসম্পন্ন স্কোর \end{matrix}}{\underset{⏟}{\sqrt{এন - 1} {ইউ}_{ট}^{} আর}} \cdot \underset{{ঘোরানো লোডিং}^{⊤}}{\underset{⏟}{{আর}^{⊤} {এস}_{ট} {ভী}_{ট}^{⊤} / \sqrt{এন - 1}}} ।

$\mathbf X \approx \mathbf U_k \mathbf S_k \mathbf V_k^\top = \mathbf U_k \mathbf {RR}^\top \mathbf S_k \mathbf V_k^\top = \underbrace{\sqrt{n-1}\mathbf U_k^\phantom\top \mathbf {R}}_{\substack{\text{Rotated}\\\text{standardized scores}}} \cdot \underbrace{\mathbf R^\top \mathbf S_k \mathbf V_k^\top/\sqrt{n-1}}_{\text{Rotated loadings}^\top}.$ এখানে উপাদানগুলি ঘোরানো হয় এবং দ্বিতীয় শব্দটি ঘোরানো লোডগুলি ট্রান্সপোজডের প্রতিনিধিত্ব করে। ঘূর্ণনের পরে প্রতিটি উপাদানটির বৈচিত্রটি সংশ্লিষ্ট লোডিং ভেক্টরের স্কোয়ারের যোগফল দ্বারা দেওয়া হয়; আবর্তনের আগে এটি কেবল । আবর্তনের পরে এটি অন্যরকম কিছু।

\sqrt{n - 1} U_{k} R

$\sqrt{n-1}\mathbf U_k \mathbf R$

s_{i}^{2} / (n - 1)

$s_i^2/(n-1)$

এখন আমরা গাণিতিক শর্তে সমস্যাটি প্রস্তুত করতে প্রস্তুত: অবিরত লোডিংগুলি দেওয়া হয়েছে , ঘূর্ণন ম্যাট্রিক্স যেমন ঘোরানো লোডিং, find , প্রতিটি কলামে বর্গের সমান সমষ্টি হয়েছে। $\mathbf L = \mathbf V_k \mathbf S_k / \sqrt{n-1}$ $\mathbf R$ $\mathbf L \mathbf R$

এর সমাধান করা যাক। ঘোরার পরে বর্গাকার কলামের তির্যক উপাদানগুলির সমান এটি বোঝায়: ঘূর্ণনটি কেবল এই সূত্র অনুসারে পুনরায় বিতরণ করে যা মূলত তাদের মধ্যে দেওয়া হয়। আমাদের এগুলিকে পুনরায় বিতরণ করতে হবে তারা সকলেই তাদের গড় মান সমান হয়ে যায় ।

(এল আর)^{⊤} এল আর = {আর}^{⊤} \frac{{এস}^{2}}{এন - 1} আর ।

$(\mathbf {LR})^\top \mathbf{LR} = \mathbf R^\top \frac{\mathbf S^2}{n-1} \mathbf R.$ $s_i^2/(n-1)$ $\mu$

আমি মনে করি না যে এটির একটি বদ্ধ ফর্ম সমাধান আছে এবং বাস্তবে অনেকগুলি ভিন্ন সমাধান রয়েছে। তবে একটি সমাধান সহজেই অনুক্রমিক ফ্যাশনে তৈরি করা যেতে পারে:

প্রথম উপাদান এবং তৃতীয় উপাদান নিন । প্রথমটির মধ্যে বৈকল্পিকতা রয়েছে এবং একটিতে বৈকল্পিক । $k$ $\sigma_\text{max}>\mu$ $\sigma_\text{min}<\mu$
এই দুটি মাত্র ঘোরান যাতে প্রথমটির বৈকল্পিক সমান হয় । 2D মধ্যে ঘূর্ণন ম্যাট্রিক্স শুধুমাত্র পরামিতি এক উপর নির্ভর করে এবং এটি ডাউন সমীকরণ লিখতে এবং গনা প্রয়োজনীয় সহজ । প্রকৃতপক্ষে, এবং রূপান্তরের পরে প্রথম পিসি বৈকল্পিক যা থেকে আমরা অবিলম্বে $\mu$ $\theta$ $\theta$ ${আর}_{2D} = (\begin{array}{cc} কোসাইন্ θ & পাপ θ \\ - পাপ θ & কোসাইন্ θ \end{array})$ $\mathbf R_\text{2D} = \left(\begin{array}{cc}\cos \theta & \sin \theta \\ -\sin\theta & \cos \theta\end{array}\right)$ ${কোসাইন্}^{2} θ \cdot σ_{সর্বোচ্চ} + + {পাপ}^{2} θ \cdot σ_{সর্বনিম্ন} = {কোসাইন্}^{2} θ \cdot σ_{সর্বোচ্চ} + + (1 - {কোসাইন্}^{2} θ) \cdot σ_{সর্বনিম্ন} = μ,$ $\cos^2\theta \cdot \sigma_\text{max} + \sin^2\theta \cdot \sigma_\text{min} = \cos^2\theta \cdot \sigma_\text{max} + (1-\cos^2\theta)\cdot \sigma_\text{min} =\mu,$ ${কোসাইন্}^{2} θ = \frac{μ - σ_{সর্বনিম্ন}}{σ_{সর্বোচ্চ} - σ_{সর্বনিম্ন}} ।$ $\cos^2\theta = \frac{\mu-\sigma_\text{min}}{\sigma_\text{max}-\sigma_\text{min}}.$
প্রথম উপাদানটি এখন সম্পন্ন হয়েছে, এতে বৈচিত্র রয়েছে । $\mu$
পরবর্তীতম জুটিতে এগিয়ে যান, সবচেয়ে বড় বৈকল্পিকের সাথে অংশটি নিয়ে এবং এককটি ক্ষুদ্রতম বৈকল্পিকের সাথে। যান # 2।

এটি 2 ডি ঘূর্ণনের ক্রম দ্বারা সমস্ত রূপগুলি সমানভাবে পুনরায় বিতরণ করবে । এই সমস্ত ঘূর্ণন ম্যাট্রিক একসাথে গুণিত করা সামগ্রিক ফলন করবে । $(k-1)$ $\mathbf R$

উদাহরণ

নিম্নলিখিত ম্যাট্রিক্সটি বিবেচনা করুন:গড় বৈকল্পিক । আমার অ্যালগরিদম নিম্নলিখিত হিসাবে এগিয়ে যাবে: $\mathbf S^2/(n-1)$

(\begin{array}{cccc} 10 & 0 & 0 & 0 \\ 0 & 6 & 0 & 0 \\ 0 & 0 & 3 & 0 \\ 0 & 0 & 0 & 1 \end{array}) ।

$\left(\begin{array}{cccc}10&0&0&0\\0&6&0&0\\0&0&3&0\\0&0&0&1\end{array}\right).$

5

$5$

ধাপ 1: ঘোরান PC1 এবং PC4 যাতে PC1 ভ্যারিয়েন্স পায় । ফলস্বরূপ, পিসি 4 ভেরিয়েন্স । $5$ $1+(10-5)=6$
পদক্ষেপ 2: পিসি 2 (নতুন সর্বাধিক বৈকল্পিক) এবং পিসি 3 ঘুরান যাতে পিসি ভেরিয়েন্স হয় । ফলস্বরূপ, পিসি ভেরিয়েন্স । $5$ $3+(6-5)=4$
পদক্ষেপ 3: পিসি 4 (নতুন সর্বাধিক বৈকল্পিক) এবং পিসি 3 ঘুরান যাতে পিসি ভেরিয়েন্স হয় । ফলস্বরূপ, পিসি 3 বৈকল্পিক । $5$ $4+(6-1)=5$
সম্পন্ন.

আমি মাতলাব স্ক্রিপ্ট লিখেছি যা এই অ্যালগরিদম প্রয়োগ করে (নীচে দেখুন)। এই ইনপুট ম্যাট্রিক্সের জন্য, ঘোরার কোণগুলির ক্রম হ'ল:

48.1897   35.2644   45.0000

প্রতিটি পদক্ষেপের পরে উপাদানগুলির রূপগুলি (সারিগুলিতে):

10     6     3     1
 5     6     3     6
 5     5     4     6
 5     5     5     5

চূড়ান্ত রোটেশন ম্যাট্রিক্স (তিনটি 2 ডি রোটেশন ম্যাট্রিক্সের পণ্য):

 0.6667         0    0.5270    0.5270
      0    0.8165    0.4082   -0.4082
      0   -0.5774    0.5774   -0.5774
-0.7454         0    0.4714    0.4714

এবং চূড়ান্ত ম্যাট্রিক্স হল: $(\mathbf{LR})^\top \mathbf{LR}$

5.0000         0    3.1623    3.1623
     0    5.0000    1.0000   -1.0000
3.1623    1.0000    5.0000    1.0000
3.1623   -1.0000    1.0000    5.0000

কোডটি এখানে:

S = diag([10 6 3 1]);
mu = mean(diag(S));
R = eye(size(S));

vars(1,:) = diag(S);
Supdated = S;

for i = 1:size(S,1)-1
    [~, maxV] = max(diag(Supdated));
    [~, minV] = min(diag(Supdated));

    w = (mu-Supdated(minV,minV))/(Supdated(maxV,maxV)-Supdated(minV,minV));
    cosTheta = sqrt(w);
    sinTheta = sqrt(1-w);

    R2d = eye(size(S));
    R2d([maxV minV], [maxV minV]) = [cosTheta sinTheta; -sinTheta cosTheta];
    R = R * R2d;

    Supdated = transpose(R2d) * Supdated * R2d;    

    vars(i+1,:) = diag(Supdated);
    angles(i) = acosd(cosTheta);
end

angles                %// sequence of 2d rotation angles
round(vars)           %// component variances on each step
R                     %// final rotation matrix
transpose(R)*S*R      %// final S matrix

পাইথনের কোডটি এখানে দেওয়া হয়েছে @ ফিলং দ্বারা:

def amoeba_rotation(s2):
    """
    Parameters
    ----------
    s2 : array
        The diagonal of the matrix S^2.

    Returns
    -------
    R : array
        The rotation matrix R.

    Examples
    --------
    >>> amoeba_rotation(np.array([10, 6, 3, 1]))
    [[ 0.66666667  0.          0.52704628  0.52704628]
     [ 0.          0.81649658  0.40824829 -0.40824829]
     [ 0.         -0.57735027  0.57735027 -0.57735027]
     [-0.74535599  0.          0.47140452  0.47140452]]

    http://stats.stackexchange.com/a/177555/87414
    """
    n = len(s2)
    mu = s2.mean()
    R = np.eye(n)
    for i in range(n-1):
        max_v, min_v = np.argmax(s2), np.argmin(s2)
        w = (mu - s2[min_v]) / (s2[max_v] - s2[min_v])
        cos_theta, sin_theta = np.sqrt(w), np.sqrt(1-w)
        R[:, [max_v, min_v]] = np.dot(
            R[:, [max_v, min_v]],
            np.array([[cos_theta, sin_theta], [-sin_theta, cos_theta]]))
        s2[[max_v, min_v]] = [mu, s2[max_v] + s2[min_v] - mu]
    return R

নোট করুন যে এই সমস্যাটি সম্পূর্ণরূপে নিম্নলিখিতটির সমতুল্য: প্রদত্ত সহ ভেরিয়েবলগুলি , একটি আবর্তন (অর্থাত্ একটি নতুন অরথোগোনাল ভিত্তিক) সন্ধান করুন যা সমান বৈকল্পিক সহ ভেরিয়েবলগুলি অর্জন করবে (তবে অবশ্যই এটি আর সম্পর্কযুক্ত নয়)। $k$ $\sigma_i^2$ $k$

— জীবাণুবিশেষ
সূত্র

আমার ধারণা, যে কোনও দুটি জোড়া উপাদান (তাদের স্কোর) এর জন্য, ঘোরার কোণটি 45 ডিগ্রি হবে, তাদের বৈকল্পিকগুলি সমান করতে। যাইহোক, 3+ উপাদান যুক্ত করে কীভাবে পুরো টাস্কটি করবেন তা আমি কল্পনা করতে পারি না।

— ttnphns

@ ফিওলং, আমি মনে করি একসাথে একজোড়া উপাদানগুলির বৈচিত্র্যকে সমান করা খুব suboptimal অ্যালগরিদম। আমি যে পরামর্শ দিয়েছি তা হ'ল ঘূর্ণনগুলি বেছে নেওয়া যাতে একটি উপাদানটির বৈকল্পিকতা বৈশ্বিক গড় পরিবর্তনের ঠিক সমান হয়। তারপরে এই উপাদানটি "সম্পন্ন" হয়ে গেছে, এবং বাকী অংশের সাথে কেউ व्यवहार করতে পারে। এটি একটি সীমিত সংখ্যক পদক্ষেপে সমস্ত বৈকল্পিককে সমান করার গ্যারান্টিযুক্ত। উদাহরণ হিসাবে আমার আগের মন্তব্য দেখুন।

— অ্যামিবা

@ মোয়েবা আপনি ঠিক বলেছেন, এটি একটি ভাল সমাধান এবং এটি এন -1 পদক্ষেপের সাথে শেষ করা উচিত।

— ফিয়েলং

@ আমেবা আমি পাইথন ব্যবহার করে আমার সর্বনিম্ন বাস্তবায়ন যুক্ত করেছি। আমি পুরো ম্যাট্রিক্সকে গুণিত করে অংশটি পরিবর্তন করেছি, কারণ এটি বড় ম্যাট্রিক্সের জন্য সময় সাপেক্ষ হতে পারে।

— 22:48

@ অ্যামিবা বিশেষত নীতি উপাদানগুলির জন্য, সর্বাধিক এবং ন্যূনতম সন্ধানের অংশটি সরিয়ে আরও বেশি সময় সাশ্রয় করা সম্ভব। আমরা সহজেই প্রথম এবং দ্বিতীয় উপাদানগুলি ঘুরতে পারি (1 ম উপাদানটির গড় বৈকল্পিকতা তৈরি করতে) এবং তারপরে ২ য় এবং তৃতীয় এবং আরও অনেক কিছু। আমাদের কেবল প্রতিটি জোড়ের মোট বৈকল্পিকের চেয়ে বড় কিনা তা নিশ্চিত করা দরকার mu।

— 22:51

তার তীক্ষ্নদৃষ্টি এবং ব্যাপক উত্তর @amoeba দেখানো হয়েছে - উত্তর অংশ হিসেবে - কিভাবে এক করতে ঘোরাতে (যেমন উদাহরণস্বরূপ প্রধান উপাদান হিসাবে) দুই সম্পর্কহীন ভেরিয়েবল তাদের জন্য চেয়েছিলেন ভেরিয়ানস অর্জন করা (যখন uncorrelatedness হারানোর, অবশ্যই ব্যয়) । Orthogonal পরিবর্তনশীল যাক $X$ এবং $Y$ বৈচিত্র আছে $\sigma^2_{max}$ (একটি বৃহত্তর) এবং $\sigma^2_{min}$ (একটি ছোট) যথাক্রমে। তাদের যাতে ঘোরান $X$ নির্বিচারে, হ্রাসযুক্ত বৈকল্পিকতা পাবেন $\mu^2$ (একই $Y$ ফলস্বরূপ, বৈকল্পিক হয়ে উঠবে $\sigma^2_{max}+\sigma^2_{min}-\mu^2$ )।

@ অ্যামিবা সূত্রটি দেখায় যা থেকে আমরা এই জাতীয় ঘূর্ণনের কোণটি গণনা করতে পারি, $\cos\theta$ :

μ^{2} = {কোসাইন্}^{2} θ (σ_{মি একটি এক্স}^{2}) + + {পাপ}^{2} θ (σ_{মি আমি এন}^{2})

$\mu^2 = \cos^2\theta (\sigma^2_{max}) + \sin^2\theta (\sigma^2_{min})$

তবে এই সমীকরণটি কোথা থেকে এসেছে তা প্রদর্শন করে নি; সম্ভবত এটি ব্যাখ্যা ছাড়াই সুস্পষ্ট মনে করে। স্পষ্টতই বা না, আমি বিশ্বাস করি এটি মূল্যবান - কোনও উপায়ে worth আমার উত্তরটি একটি উপস্থাপন করে।

এবং তাই, আমাদের সাথে নিরবচ্ছিন্ন ভেরিয়েবলের স্থানটিতে একটি উপবৃত্তাকার, কেন্দ্রিক ডেটা ক্লাউড রয়েছে $X$ এবং $Y$ । আমরা কোণ দ্বারা অক্ষ ঘোরানো আছে $\theta$ । মেঘের একটি ডেটা পয়েন্ট (যেমন ছবির সবুজ স্পট হিসাবে দেখানো হয়েছে) সহ $X$ তুল্য $x$ এই সমন্বয় হিসাবে হবে $x^*$ আবর্তনের পরে।

স্থানাঙ্কের যে অভিক্ষেপ পর্যবেক্ষণ করুন $x$ ঘোরানো অক্ষের উপরে খাঁজ দিন $X^*$ দেওয়া হয় $x'=x\cos\theta$ (অনুমান এবং তাদের মধ্যবর্তী কোণ হিসাবে ক্যাথেটাস)। এটিও পর্যবেক্ষণ করুন $x^*$ এর চেয়ে কম $x'$ দৈর্ঘ্য কাটা দ্বারা $x'-x^*$ স্থানাঙ্ক থেকে গণ্য $y$ : $y\sin\theta$ (অন্য একটি ক্যাথেটাস এবং অনুমান) use এবং তাই,

{এক্স}^{*} = {এক্স}^{'} - ({এক্স}^{'} - {এক্স}^{*}) = এক্স কোসাইন্ θ - Y পাপ θ

$x^* = x' - (x'-x^*) = x\cos\theta-y\sin\theta$

আমরা জানি (শুরুটি দেখুন) দুটি ভেরিয়েবলের বৈকল্পিক (বা বর্গের অঙ্কগুলি) এবং প্রকরণ (বর্গের যোগফল) $\mu^2$ এর $X^*$ । তারপরে এটি অনুসরণ করে:

μ^{2} = Σ {এক্স}^{* 2} = Σ (এক্স কোসাইন্ θ - Y পাপ θ)^{2} = Σ ({এক্স}^{2} {কোসাইন্}^{2} θ + + Y^{2} {পাপ}^{2} θ - 2 এক্স Y কোসাইন্ θ পাপ θ) = {কোসাইন্}^{2} θ Σ {এক্স}^{2} + + {পাপ}^{2} θ Σ Y^{2} - \underset{= 0 (এক্স এবং ওয়াই সম্পর্কহীন)}{\underset{⏟}{2 কোসাইন্ θ পাপ θ Σ এক্স Y}} = {কোসাইন্}^{2} θ (σ_{মি একটি এক্স}^{2}) + + {পাপ}^{2} θ (σ_{মি আমি এন}^{2})

$\mu^2=\sum x^{*2} = \sum(x\cos\theta-y\sin\theta)^2 = \sum(x^2\cos^2\theta+y^2\sin^2\theta-2xy\cos\theta\sin\theta) = \cos^2\theta\sum x^2 + \sin^2\theta\sum y^2 - \underbrace{ 2\cos\theta\sin\theta\sum xy}_{\text{=0 (X and Y are uncorrelated)}} = \cos^2\theta (\sigma^2_{max}) + \sin^2\theta (\sigma^2_{min})$

যা থেকে আপনি অনুমান করেন $\cos\theta$ , যেমন অ্যামিবা দেখিয়েছে এবং ঘূর্ণনটি সম্পাদন করে।

— ttnphns
সূত্র

+1 টি। আমি ভাবিনি যে এটি সুস্পষ্ট (এটি নয়), তবে আমি বরং ভেবেছিলাম যে এটি যাচাই করা সহজ :-) প্রত্যক্ষ বীজগণিতের মাধ্যমেও এটিকে দেখাতে পারে (আমার উত্তর হিসাবে)

{(\begin{array}{cc} কোসাইন্ θ & পাপ θ \\ - পাপ θ & কোসাইন্ θ \end{array})}^{⊤} (\begin{array}{cc} σ_{সর্বোচ্চ}^{2} & 0 \\ 0 & σ_{সর্বনিম্ন}^{2} \end{array}) (\begin{array}{cc} কোসাইন্ θ & পাপ θ \\ - পাপ θ & কোসাইন্ θ \end{array}),

$\left(\begin{array}{cc}\cos \theta & \sin \theta \\ -\sin\theta & \cos \theta\end{array}\right)^\top \left(\begin{array}{cc} \sigma_\text{max}^2 & 0 \\ 0 & \sigma_\text{min}^2\end{array}\right) \left(\begin{array}{cc}\cos \theta & \sin \theta \\ -\sin\theta & \cos \theta\end{array}\right),$ এবং পণ্যের উপরের বাম উপাদান গণনা। এটি অবশ্যই একই যুক্তি, কেবল ভিন্নভাবে প্রকাশিত। ধন্যবাদ!

— অ্যামিবা

এবং আমি মনে করি যে আপনার জ্যামিতিক ব্যাখ্যা এবং "প্রত্যক্ষ" গণনা (ম্যাট্রিকগুলি ছাড়াই) বোঝা সহজ এবং সঠিক অনুভূতিগুলি বিকাশে খুব সহায়ক।

— অ্যামিবা

যদি আমি জিনিসগুলি সঠিকভাবে ব্যাখ্যা করি তবে আপনার অর্থ হ'ল প্রথম নীতি উপাদান (ইগেনভ্যালু) ডেটাতে বেশিরভাগ বৈকল্পিকতা ব্যাখ্যা করে। আপনার সংক্ষেপণ পদ্ধতিটি লিনিয়ার হলে এটি ঘটতে পারে। তবে আপনার বৈশিষ্ট্যের জায়গাতে অ-রৈখিক নির্ভরতা থাকতে পারে ।

টিএল / ডিআর: পিসিএ একটি লিনিয়ার পদ্ধতি। মাত্রিকতা হ্রাসের জন্য অটেনকোডার (অ-লিনিয়ার পিসিএ) ব্যবহার করুন। যদি মেশিন লার্নিং অংশটি তদারকি করা হয় তবে স্বয়ংক্রিয়কোডারটির জন্য (হাইপার) পরামিতিগুলি সামঞ্জস্য করার সময় আপনার ক্ষতি ফাংশনটি কেবল নিরীক্ষণ করুন। এইভাবে আপনি আপনার মূল ডেটা থেকে আরও ভাল সংকোচিত সংস্করণ দিয়ে শেষ করবেন।

পিসিএ ব্যবহার করে (হাইপার-প্যারামিটার) রাখার জন্য প্রধান উপাদানগুলির সর্বাধিক সংখ্যার সন্ধান করতে গ্রিড অনুসন্ধান করার জন্য এখানে একটি বিজ্ঞানের উদাহরণ রয়েছে। অবশেষে তারা নিম্ন মাত্রিক স্থানটিতে লজিস্টিক রিগ্রেশন প্রয়োগ করে: http://scikit-learn.org/stable/auto_example/plot_digits_pipe.html#example-plot-digits-pipe-py

প্রতিলিপি: অটোরকোডারগুলির কাছে কোনও বন্ধ ফর্ম সমাধান নেই (আফাইক) সুতরাং আপনার প্রসঙ্গটি যদি ডেটা স্ট্রিম করে চলেছে তবে এর অর্থ আপনি ক্রমাগত আপনার অটোরকোডার (সংকোচিত উপস্থাপনা) আপডেট করতে পারেন এবং এইভাবে ধারণা প্রবাহের মতো জিনিসগুলির জন্য ক্ষতিপূরণ দিতে পারবেন। নতুন ডেটা আসার সাথে সাথে পিসিএর সাথে আপনাকে সময়ে সময়ে ব্যাচ মোড পুনরায় প্রশিক্ষণ করতে হবে।

কিছু বৈশিষ্ট্যকে আরও "ওজন" দেওয়ার ক্ষেত্রে, নিয়মিতকরণ দেখুন (আমি আদর্শ https://en.wikedia.org/wiki/Norm_(mathematics থেকে শুরু করব ) )। আপনিও অবাক হতে পারেন যে অনুধাবনের ক্ষেত্রে অনুরূপ লজিস্টিক রিগ্রেশন কেমন।

— shuriken এক্স নীল
সূত্র

আমি দেখতে পাচ্ছি না কীভাবে এটি ওপি-র প্রশ্নের উত্তর দেয়; আপনার উত্তরটি পুরোপুরি প্রশ্নের সাথে সম্পর্কিত নয় বলে মনে হচ্ছে।

— অ্যামিবা

অতএব আমি ভাবছিলাম: কেবল তার বৈচিত্রটি বিভক্ত করার এবং কম বৈকল্পের সাথে এটি পিসিগুলির সাথে ভাগ করার কোনও সহজ উপায় আছে? ওপেন মাত্রা হ্রাস করতে চায়। আমি তার সমস্যা সমাধানের জন্য একটি বিকল্প প্রস্তাব দিয়েছিলাম, যেহেতু শেষ পর্যন্ত ওপি যা চায় সেটি পারফরম্যান্স পরিমাপ না করা হলে আরও ভাল পারফরম্যান্সের ফলস্বরূপ হওয়ার গ্যারান্টি দেয় না। ইলবার্ট স্পেস / নিয়মিত স্থানগুলিতে কাজ করা ভাল ফলাফলের গ্যারান্টি দেয় না। কর্মক্ষমতা পরিমাপ করার ফলে আরও ভাল ফলাফল হয়।

— shuriken x নীল