আনুমানিক সাধারণত প্রদত্ত স্ট্যান্ডার্ড বিচ্যুতি সহ অফ-ডায়াগোনাল এন্ট্রি বিতরণ করে এমন র্যান্ডম পারস্পরিক সম্পর্কের ম্যাট্রিক্স কীভাবে তৈরি করা যায়?

11

আমি একটি র্যান্ডম পারস্পরিক সম্পর্ক মেট্রিক্স উত্পন্ন করতে চাই যাতে এর অফ-ডায়াগোনাল উপাদানগুলির বিতরণ প্রায় দেখায় স্বাভাবিকের মতো । আমি এটা কিভাবে করবো?

প্রেরণা এটি। টাইম সিরিজের ডেটা সেট করার জন্য , পারস্পরিক সম্পর্ক বিতরণ প্রায়শই স্বাভাবিকের বেশ কাছাকাছি দেখায়। আমি সাধারণ পরিস্থিতি উপস্থাপন করতে এবং ঝুঁকি নম্বর গণনা করতে এগুলি ব্যবহার করতে অনেকগুলি "সাধারণ" পারস্পরিক সম্পর্ক মেট্রিক্স উত্পন্ন করতে চাই। $n$

আমি একটি পদ্ধতি জানি, তবে ফলস্বরূপ মানক বিচ্যুতি (অফ-তির্যক উপাদানগুলির বিতরণের) আমার উদ্দেশ্যে খুব ছোট: ইউনিফর্ম তৈরি করুন বা ম্যাট্রিক্স সাধারণ এলোমেলো সারি তৈরি করুন, সারিগুলিকে মানক করুন (গড় বিয়োগ করুন, স্ট্যান্ডার্ড বিচ্যুতি দ্বারা বিভক্ত), তারপরে নমুনা সম্পর্কিত ম্যাট্রিক্স সাধারণত অফ-তির্যক এন্ট্রি বিতরণ করেছে [ মন্তব্যের পরে আপডেট করুন : মানক বিচ্যুতি হবে $n$ $\mathbf X$ $\frac{1}{n-1}\mathbf X \mathbf X^\top$ $\sim n^{-1/2}$ ]।

কেউ কি আরও ভাল পদ্ধতির পরামর্শ দিতে পারেন যার সাহায্যে আমি আদর্শ বিচ্যুতি নিয়ন্ত্রণ করতে পারি?

normal-distribution random-generation correlation-matrix

— রিচার্ড
সূত্র

1

@ রিচার্ড, আপনার প্রশ্নের জন্য ধন্যবাদ। দুর্ভাগ্যক্রমে, আপনি উপরে বর্ণিত পদ্ধতিটি সাধারণত বিতরণ করা এন্ট্রি তৈরি করবে না । সম্ভাব্যতার সাথে ত্রিভুজগুলি 1 এবং অফ-কর্ণগুলি এবং মধ্যে সীমাবদ্ধ । এখন, উদ্ধারকৃত এন্ট্রিগুলি শূন্যের কেন্দ্রিক করে সাধারণ বিতরণে অ্যাসিপটোটিক্যালি রূপান্তরিত করবে। আপনি যে সমস্যার সমাধান করতে চাইছেন সে সম্পর্কে আপনি আরও তথ্য দিতে পারেন? এবং, কেন আপনি "সাধারণভাবে বিতরণ" কর্ণগুলি ছাড়াই চান?

- 1

$-1$

+ 1

$+1$

— কার্ডিনাল

1

ধরুন, রিচার্ড, আমি যা বোঝাতে চেয়েছি তা ধরুন এবং দুটি স্বতন্ত্র ভেক্টর যেমন প্রত্যেকের এন্ট্রিগুলি স্ট্যান্ডার্ড স্বাভাবিক। গণনা ; এটি, এবং মধ্যে নমুনা পারস্পরিক সম্পর্ক । তারপরে বিতরণে একটি আদর্শ সাধারণ র্যান্ডম ভেরিয়েবলে রূপান্তর করে। "উদ্ধার" দ্বারা, আমি by দ্বারা গুনটি বোঝাতে চেয়েছি যা হ'ল একটি অবনমিত সীমাবদ্ধ বিতরণ পাওয়ার জন্য প্রয়োজনীয়।

X = (X_{1}, X_{2}, \dots, X_{n})

$X = (X_1,X_2,\ldots,X_n)$

Y = (Y_{1}, Y_{2}, \dots, Y_{n})

$Y = (Y_1,Y_2,\ldots,Y_n)$

{\hat{ρ}}_{n} = s_{x y} / (s_{x} s_{y})

$\hat{\rho}_n = s_{xy} / (s_x s_y)$

X

$X$

Y

$Y$

n^{1 / 2} {\hat{ρ}}_{n}

$n^{1/2} \hat{\rho}_n$

n^{1 / 2}

$n^{1/2}$

— কার্ডিনাল

1

@ রিচার্ড, "সমস্যার" মূল কথাটি হ'ল দুটি সীমাবদ্ধতা তৈরি করে (ক) যে প্রতিটি সারির নিয়মগুলি 1 এবং (খ) এন্ট্রিগুলি একটি এলোমেলো নমুনা থেকে উত্পন্ন হয়, আপনি অগত্যা সংযোগগুলি বেশ কার্যকর করতে বাধ্য হচ্ছেন ছোট (অনুক্রম কারণ আপনি সারি মধ্যে ইচ্ছামত বড় সম্পর্কযুক্তরূপে থাকতে পারে না এবং এখনও এত স্বাধীনতা উপস্থিতিতে 1 হতে প্রতিটি সারির নিয়ম

n^{- 1 / 2}

$n^{-1/2}$

— অঙ্কবাচক

1

... এখন, পুনর্নবীকরণের আগে প্রথমে নিজের মধ্যে সারিগুলি সংশোধন করে আপনি প্রস্থে বৃহত্তর সম্পর্কগুলি পেতে পারেন । তবে, আপনার সাথে খেলতে মূলত একটি মাত্র প্যারামিটার রয়েছে, সুতরাং অ্যাসিম্পটোটিক গড় এবং ভেরিয়েন্স উভয়ই সেই প্যারামিটারে আবদ্ধ থাকবে। সুতরাং, এটি সম্ভবত আপনি যে নমনীয়তাটি চান বলে মনে করছেন তা হয় না।

— কার্ডিনাল

1

অবশ্যই, একটি সহজ কেস নেওয়া যাক। জেনারেটিং ম্যাট্রিক্স কল করুন , যা আমরা সাধারণতার ক্ষতি ছাড়াই বলে ধরে নেব । এখন, উৎপন্ন কলাম এর IID যেমন ভেক্টর যেমন প্রতিটি ভেক্টরের উপাদান আদর্শ স্বাভাবিক র্যান্ডম ভেরিয়েবল যে পারস্পরিক সম্পর্ক সঙ্গে equicorrelated হয় । এখন, আপনি যে পদ্ধতিটি করেছিলেন তা ব্যবহার করুন। যাক মধ্যে নমুনা পারস্পরিক সম্পর্ক বোঝাতে তম এবং তম * সারির * । তারপরে স্থির ,

X

$X$

m \times n

$m \times n$

X

$X$

ρ

$\rho$

{\hat{ρ}}_{i j}

$\hat{\rho}_{ij}$

i

$i$

j

$j$

X

$X$

m

$m$

n \to \infty

$n \to \infty$ ,

n^{1 / 2} ({\hat{ρ}}_{i j} - ρ)

$n^{1/2} (\hat{\rho}_{ij} - \rho)$ ডিস্ট্রিবিউশনে একটি

N (0, (1 - ρ^{2})^{2})

$\mathcal{N}(0,(1-\rho^2)^2)$ দৈব চলক.

— কার্ডিনাল

5

আমি এখন যা বিশ্বাস করি তা সরবরাহ করে এটি একটি সর্বোত্তম উত্তর; অতএব আমি আরও ভাল পরামর্শ দিয়ে শুরু করতে আমার উত্তর সম্পাদনা করেছি।

দ্রাক্ষালতা পদ্ধতি ব্যবহার

এই থ্রেডে: কীভাবে দক্ষতার সাথে এলোমেলো ইতিবাচক-সেমাইডাইফিনিট পারস্পরিক সম্পর্ক ম্যাট্রিক্স তৈরি করতে হয়? - আমি র্যান্ডম পারস্পরিক সম্পর্ক মেট্রিকেস উত্পন্ন করার জন্য দুটি দক্ষ অ্যালগরিদমের জন্য কোডটি বর্ণনা এবং সরবরাহ করেছি provided উভয়ই লেবান্ডোস্কি, কুরোভিকা এবং জোয়ের একটি কাগজ থেকে এসেছে (২০০৯) এর ।

প্রচুর পরিসংখ্যান এবং মতলব কোডের জন্য দয়া করে আমার উত্তরটি এখানে দেখুন । এখানে আমি কেবল এটিই বলতে চাই যে লতা পদ্ধতিটি আংশিক পরস্পর সম্পর্কিত কোনও বিতরণের সাথে এলোমেলো সম্পর্ক সম্পর্কিত ম্যাট্রিক্স তৈরি করতে দেয় ("আংশিক" শব্দটি নোট করুন) এবং বৃহত্তর অফ-ডায়াগোনাল মানগুলির সাথে সম্পর্কযুক্ত ম্যাট্রিক তৈরি করতে ব্যবহার করা যেতে পারে। এই থ্রেড থেকে প্রাসঙ্গিক চিত্র এখানে:

দ্রাক্ষালতা পদ্ধতি

সাবপ্লটগুলির মধ্যে যে একমাত্র জিনিসটি পরিবর্তিত হয়, তা হ'ল একটি প্যারামিটার যা নিয়ন্ত্রণ করে আংশিক সম্পর্কের বিতরণটি দিকে কেন্দ্রীভূত হয় । ওপি যেমন প্রায় ডায়াগোনাল সাধারণ বিতরণ চেয়েছিল, এখানে অফ-ডায়াগোনাল উপাদানগুলির হিস্টোগ্রামের প্লট রয়েছে (উপরের মতো একই ম্যাট্রিকের জন্য): $\pm 1$

অফ-তির্যক উপাদান

আমি মনে করি এই বিতরণগুলি যুক্তিসঙ্গতভাবে "সাধারণ", এবং স্ট্যান্ডার্ড বিচ্যুতি কীভাবে ধীরে ধীরে বৃদ্ধি পায় তা দেখতে পাবে। আমার যুক্ত করা উচিত যে অ্যালগরিদম খুব দ্রুত। বিশদ জন্য লিঙ্কযুক্ত থ্রেড দেখুন।

আমার আসল উত্তর

আপনার পদ্ধতির একটি সোজা-ফরওয়ার্ড পরিবর্তন সম্ভবত কৌশলটি করতে পারে (আপনি বিতরণটি কীভাবে স্বাভাবিক হতে চান তার উপর নির্ভর করে)। এই উত্তরটি উপরে @ কার্ডিনালের মন্তব্যগুলি দ্বারা অনুপ্রাণিত হয়েছিল এবং আমার নিজের প্রশ্নের উত্তর @ পিএসরকার উত্তর দ্বারা কীভাবে কিছু শক্তিশালী পারস্পরিক সম্পর্ক রয়েছে তার সাথে একটি বৃহত পূর্ণ-র‌্যাঙ্কের এলোমেলো সংযোগ ম্যাট্রিক্স কীভাবে তৈরি করা যায়?

কৌশলটি হ'ল আপনার সম্পর্কিত সম্পর্কযুক্ত নমুনাগুলি তৈরি করা (বৈশিষ্ট্য নয়, নমুনা)) এখানে একটি উদাহরণ রয়েছে: আমি এলোমেলো ম্যাট্রিক্স এর আকারের (স্ট্যান্ডার্ড সাধারণ থেকে সমস্ত উপাদান) তৈরি করি এবং তারপরে প্রতিটি সারিতে থেকে এলোমেলো সংখ্যা যুক্ত করি , । জন্য পারস্পরিক সম্পর্ক ম্যাট্রিক্স (বৈশিষ্ট্য standardizing পরে) উপাদান প্রায় স্বাভাবিকভাবে স্ট্যানডার্ড ডেভিয়েশন সঙ্গে বিতরণ করা-তির্যক বন্ধ থাকবে । এ $\mathbf X$ $\mathbf X$ $1000 \times 100$ $[-a/2, a/2]$ $a=0,1,2,5$ $a=0$ $\mathbf X^\top \mathbf X$ $1/\sqrt{1000}$ $a>0$ , আমি ভেরিয়েবলগুলি কেন্দ্র না করেই পারস্পরিক সম্পর্ক মেট্রিক্স গণনা করি (এটি সন্নিবেশিত পারস্পরিক সম্পর্ক সংরক্ষণ করে) এবং অফ-তির্যক উপাদানের মানক বিচ্যুতিটি এই চিত্রের উপরে দেখানো হিসাবে বৃদ্ধি পায় (সারিগুলি ): $a$ $a=0,1,2,5$

এলোমেলো পারস্পরিক সম্পর্ক ম্যাট্রিক্স

এই সমস্ত ম্যাট্রিক অবশ্যই অবশ্যই ইতিবাচক নির্দিষ্ট। মাতলাব কোডটি এখানে:

offsets = [0 1 2 5];
n = 1000;
p = 100;

rng(42) %// random seed

figure
for offset = 1:length(offsets)
    X = randn(n,p);
    for i=1:p
        X(:,i) = X(:,i) + (rand-0.5) * offsets(offset);
    end
    C = 1/(n-1)*transpose(X)*X; %// covariance matrix (non-centred!)

    %// convert to correlation
    d = diag(C);
    C = diag(1./sqrt(d))*C*diag(1./sqrt(d));

    %// displaying C
    subplot(length(offsets),3,(offset-1)*3+1)
    imagesc(C, [-1 1])

    %// histogram of the off-diagonal elements
    subplot(length(offsets),3,(offset-1)*3+2)
    offd = C(logical(ones(size(C))-eye(size(C))));
    hist(offd)
    xlim([-1 1])

    %// QQ-plot to check the normality
    subplot(length(offsets),3,(offset-1)*3+3)
    qqplot(offd)

    %// eigenvalues
    eigv = eig(C);
    display([num2str(min(eigv),2) ' ... ' num2str(max(eigv),2)])
end

এই কোডের আউটপুট (ন্যূনতম এবং সর্বাধিক ইগেনভ্যালুগুলি):

0.51 ... 1.7
0.44 ... 8.6
0.32 ... 22
0.1 ... 48

— জীবাণুবিশেষ
সূত্র

প্লটগুলির পাশাপাশি আপনি এই পদ্ধতিটি ব্যবহার করে যে ক্ষুদ্রতম ইগেনভ্যালুগুলির মূল্য অর্জন করতে পারেন?

— ব্যবহারকারী 60

1

চিত্র পরিবর্তন না করে, আমি এখানে সহজভাবে লিখতে পারি যে সবচেয়ে ছোট এগেনুয়ালুগুলি যথাক্রমে 0.5, 0.4, 0.3 এবং 0.1 হয় (আমার চিত্রের প্রতিটি সারির জন্য)।

— অ্যামিবা

তবে এগুলি কি পারস্পরিক সম্পর্কের ম্যাট্রিক্সের বা এক্স'এক্সের?

— ব্যবহারকারী 60

এগুলি হ'ল আমার ম্যাট্রিক্সের ইগেনভ্যালুগুলি which আমি আমার উত্তর আপডেট করেছি যাতে আপনি কোডে এটি দেখতে পারেন। আমি কি জিজ্ঞাসা করতে পারি যে আপনি কী সন্দেহ করছেন যে এটি সম্ভব? বড় পারস্পরিক সম্পর্ক ম্যাট্রিক্সে খুব ছোট অফ-ডায়াগোনাল উপাদান থাকা উচিত বলে মনে করার কোনও কারণ আছে?

C

$C$

— অ্যামিবা

আমি এর অসম্ভব বলে মনে করি না, আমি কোড থেকে এটি দেখতে পেলাম না (বছরের পর বছর ধরে মতলব ব্যবহার করা হয়নি)

— ব্যবহারকারী 603

1

আপনি নিম্নলিখিত লিঙ্কে কিছু কোডে আগ্রহী হতে পারেন:

সহযোগিতা এবং সহ-সংহতকরণ

— bill_080
সূত্র

1

আপনি যদি র্যান্ডম পারস্পরিক সম্পর্ক মেট্রিক্স উত্পন্ন করার চেষ্টা করছেন, উইশার্ট বিতরণ থেকে নমুনা বিবেচনা করুন। এই নিম্নলিখিত প্রশ্নটি উইশার্ট বিতরণ সম্পর্কিত তথ্যের পাশাপাশি কীভাবে নমুনা দেওয়ার পরামর্শ দেয়: কীভাবে দক্ষতার সাথে এলোমেলো ইতিবাচক-সেমিডেফিনাইট পারস্পরিক সম্পর্ক ম্যাট্রিক্স তৈরি করতে হয়?

— গাদা
সূত্র

তবে কেউ কি উইশার্ট বিতরণের প্যারামিটারগুলির সাথে অফ অফ ডায়াগোনাল উপাদানগুলির স্ট্যান্ডার্ড বিচ্যুতি নিয়ন্ত্রণ করতে পারে? যদি তাই হয়, কিভাবে?

— অ্যামিবা

1

এটি খুব পরিশীলিত উত্তর নয়, তবে আমি সাহায্য করতে পারি না তবে মনে করি এটি এখনও একটি ভাল উত্তর ...

যদি আপনার অনুপ্রেরণাটি হ'ল সময় সিরিজের ডেটা দ্বারা উত্পাদিত পারস্পরিক সম্পর্কের প্যারামিটারগুলি স্বাভাবিক দেখায়, তবে কেন কেবল সময় সিরিজের ডেটা সিমুলেট করে না, পারস্পরিক সম্পর্কের পরামিতিগুলি গণনা করে সেগুলি ব্যবহার করে?

এটি না করার জন্য আপনার কাছে ভাল কারণ থাকতে পারে তবে এটি আপনার প্রশ্ন থেকে আমার কাছে পরিষ্কার নয়।

— ক্লিফ এবি
সূত্র