কীভাবে একাধিক উদীয়মান রেখাগুলি নিয়ে স্ক্র্যাপপ্লট আলোচনা করবেন?

11

আমরা দুটি ভেরিয়েবল পরিমাপ করেছি এবং স্ক্যাটারপ্লট মনে হয় একাধিক "লিনিয়ার" মডেল প্রস্তাব করে। এই মডেলগুলি ছড়িয়ে দেওয়ার চেষ্টা করার কোনও উপায় আছে কি? অন্যান্য স্বতন্ত্র ভেরিয়েবলগুলি সনাক্ত করা কঠিন হয়ে দাঁড়িয়েছে।

দুটি ভেরিয়েবলের স্ক্যাটারপ্ল্লট

উভয় ভেরিয়েবলগুলি ভারী বাম-স্কিউড (ছোট সংখ্যার দিকে), এটি আমাদের ডোমেনে প্রত্যাশিত বিতরণ। বিন্দুর তীব্রতা এই এ ডেটা পয়েন্টের পরিমাণ (একটি স্কেলে) উপস্থাপন করে । $\log_{10}$ $<x,y>$

বিকল্পভাবে, পয়েন্টগুলি ক্লাস্টার করার কোনও উপায় আছে?

আমাদের ক্ষেত্রে, এটি দাবি করা হয় যে এই দুটি পরিবর্তনশীল রৈখিকভাবে সম্পর্কযুক্ত। আমাদের তথ্যগুলিতে কেন এটি হয় না তা আমরা বুঝতে / বোঝার চেষ্টা করছি।

(দ্রষ্টব্য, আমাদের 17M ডেটা পয়েন্ট রয়েছে)

আপডেট: সমস্ত উত্তরের জন্য আপনাকে ধন্যবাদ, এখানে কিছু অনুরোধ করা স্পষ্টতা রয়েছে:

উভয় ভেরিয়েবল কেবলমাত্র পূর্ণসংখ্যা, যা লগ স্ক্রেটারপ্লোটের কিছু নিদর্শন ব্যাখ্যা করে।
ভাগ্যক্রমে, সংজ্ঞা অনুসারে উভয় ভেরিয়েবলের সর্বনিম্ন মান 1 হয়।
7 এম পয়েন্টগুলি (তথ্যের বাম-সঙ্কোচনের দ্বারা "ব্যাখ্যা") $<3,1>$

অনুরোধ করা প্লটগুলি এখানে:

লগ-লগ স্ক্যাটারপ্ল্লট: লগ লগ মধ্যে Scatterplot

(ফাঁকাগুলি পূর্ণসংখ্যার মানগুলির কারণে ঘটে)

লগ-লগ পোলার: মেরু স্থানাঙ্ক $\theta = y$

অনুপাতের হিস্টোগ্রাম:

$1/3$

linear-model scatterplot

— ডেভি ল্যান্ডম্যান
সূত্র

2

(r, θ)

$(r,\theta)$

X

$X$

Y

$Y$

θ

$\theta$

θ

$\theta$

Y এবং X প্রাপ্তির সাথে কি অনুপাত জড়িত? ভেরিয়েবলগুলি কি কেবল জড়িত মূল্য যুক্ত করে? এটি লগ-লগ প্লট হিসাবে দেখায় কীভাবে?

— গ্লেন_বি -রিনস্টেট মনিকা

1

@ হুইবার ও গ্লেন_বি আমি এই রূপান্তরগুলির সাথে প্লট যুক্ত করেছি।

— ডেভি ল্যান্ডম্যান

r

$r$

θ

$\theta$

θ

$\theta$

θ

$\theta$

@ যে আমি প্লটটি আপডেট করেছি, থিটাটি y তে রেখেছি, এটি কি আপনার বোঝানো লাইন?

— ডেভি ল্যান্ডম্যান

7

$Y$ $X$ $Y/X$

$X/k$ $kX$ $k$

$Y = 0$ $\log(Y + \text{constant})$

পরিভাষা একটি বিন্দু: পরিসংখ্যান মধ্যে skewness আরও প্রসারিত যে লেজ রেফারেন্স সঙ্গে বর্ণনা করা হয়। আপনি এই পরিভাষাটিকে পিছনের দিক হিসাবে বিবেচনা করতে মুক্ত। এখানে উভয় ভেরিয়েবল উচ্চ মান বা ধনাত্মক বা ডান-স্কিউযুক্ত হয়।

$Y = 1$ $Y = 0$

আগের মতো, আমি বৈজ্ঞানিক কারণ ছাড়াই আলাদা স্ট্রাইপগুলি আলাদাভাবে মডেলিং করার পরামর্শ দেব না তাদের আলাদা করার জন্য বা তাদের পৃথকভাবে চিকিত্সা করার জন্য। আপনার যা আছে তার চেয়ে আপনার গড় উচিত। (বিযুক্তি দমনের জন্য এই জাতীয় ডেটা সহ জ্ঞাত পদ্ধতিগুলি থাকতে পারে your আপনার ক্ষেত্রের লোকেরা যদি নিয়মিতভাবে প্রতিটি প্লটের জন্য কয়েক মিলিয়ন পয়েন্ট মাপ করেন তবে এটি বিশ্বাস করা শক্ত যে এটি এর আগে কখনও দেখা যায়নি))

পারস্পরিক সম্পর্ক অবশ্যই ইতিবাচক হওয়া উচিত। একটি আনুষ্ঠানিক তাত্পর্য পরীক্ষা ছাড়াও, যা এখানে পুরোপুরি বেহুদা হবে কারণ মিনিট পারস্পরিক সম্পর্কগুলি এই নমুনা আকারের সাথে তাত্পর্যপূর্ণ হিসাবে যোগ্যতা অর্জন করবে, এটি আপনার ক্ষেত্রের প্রত্যাশা এবং মানগুলির বিষয় কিনা strong আপনার পারস্পরিক সম্পর্ককে অন্যের ফলাফলের সাথে পরিমাণগতভাবে তুলনা করা এক উপায়।

বিশদ: পরিসংখ্যানগত কনভেনশন অনুসারে স্কিউনেসটি এখনও ভুল উপায়ে বর্ণিত হয়েছে। এই ভেরিয়েবলগুলি ডান স্কিউড; অনুভূমিক দৈর্ঘ্যের অক্ষ সহ একটি হিস্টোগ্রামের দিকে তাকানোর সময় যে জঞ্জালটি ফিট হয় এটি উল্লেখ করে যে স্যাঙ্কনেসটি দীর্ঘতর লেজের জন্য নামকরণ করা হয়েছে, আরও মান সহকারে নয়।

— নিক কক্স
সূত্র

আমি লগ-লগ প্লট যুক্ত করেছি এবং স্কিউনেস সম্পর্কে আরও সুনির্দিষ্ট হওয়ার চেষ্টা করেছি।

— ডেভি ল্যান্ডম্যান

4

\begin{aligned} Y_{i} & = α_{1} + β_{1} X_{i} + ϵ_{i} \end{aligned}

$\begin{align} Y_i &= \alpha_1 + \beta_1X_i + \epsilon_i \end{align}$

m^{t h}

$m^{th}$

\begin{aligned} Y_{i} & = α_{m} + β_{m} X_{i} + ϵ_{i} \end{aligned}

$\begin{align} Y_i &= \alpha_m + \beta_mX_i + \epsilon_i \end{align}$

M

$M$

m^{t h}

$m^{th}$

p_{m}

$p_m$

\sum_{m} p_{m} = 1

$\sum_m p_m =1$

$\epsilon$ $N(0,\sigma^2)$

\begin{aligned} L (α, β, σ) = \sum_{m = 1}^{M} p_{m} \frac{1}{σ} ϕ (\frac{Y_{i} - α_{1} - β_{1} X_{i}}{σ}) \end{aligned}

$\begin{align} L(\alpha,\beta,\sigma) = \sum_{m=1}^M p_m\frac{1}{\sigma}\phi\left(\frac{Y_i-\alpha_1-\beta_1X_i}{\sigma}\right) \end{align}$

ϕ

$\phi$

3 M + 1

$3M+1$

\sum_{m} p_{m} = 1, p_{m} \geq 0

$\sum_m p_m=1,\; p_m\ge0$

α

$\alpha$

β

$\beta$

p_{m}

$p_m$

\frac{1}{M}

$\frac{1}{M}$

α

$\alpha$

β

$\beta$

$Z_i$ $p_m$ $p_m$ $Z_i$

\begin{aligned} L (α, β, σ) = \sum_{m = 1}^{M} (\frac{e x p (δ_{m} + γ_{m} Z_{i})}{\sum_{m^{'}} e x p (δ_{m^{'}} + γ_{m^{'}} Z_{i})}) \frac{1}{σ} ϕ (\frac{Y_{i} - α_{1} - β_{1} X_{i}}{σ}) \end{aligned}

$\begin{align} L(\alpha,\beta,\sigma) = \sum_{m=1}^M \left(\frac{exp(\delta_m+\gamma_mZ_i)}{\sum_{m'} exp(\delta_{m'}+\gamma_{m'}Z_i)}\right)\frac{1}{\sigma}\phi\left(\frac{Y_i-\alpha_1-\beta_1X_i}{\sigma}\right) \end{align}$

$5M+1$ $5M-1$ $\delta, \gamma$

$M$

— বিল
সূত্র

2

M

$M$

2

আমি আমার কিছু ডেটা সেটগুলিতে অনুরূপ আচরণ পর্যবেক্ষণ করেছি। আমার ক্ষেত্রে আমার একাধিক প্রসেসিং অ্যালগরিদমে কোয়ান্টাইজেশন ত্রুটির কারণে একাধিক-পৃথক লাইনগুলি ছিল।

এটি হ'ল আমরা প্রসেসড ডেটার স্ক্যাটার প্লটগুলিতে দেখছি, এবং প্রসেসিং অ্যালগরিদমের কিছু পরিমানের প্রভাব ছিল, যার ফলে ডেটাগুলিতে নির্ভরতা দেখা দিয়েছে যা আপনাকে উপরের মতো দেখতে লাগছিল।

কোয়ান্টাইজেশনের প্রভাবগুলি ঠিক করা, আমাদের আউটপুটকে আরও মসৃণ এবং কম ক্ল্যাম্পড দেখায়।

আপনার "লিনিয়ার পারস্পরিক সম্পর্ক" মন্তব্য হিসাবে। আপনি যে উপস্থাপন করেছেন তা ডেটা লিনিয়ার পারস্পরিক সম্পর্কযুক্ত কিনা তা নির্ধারণের জন্য অপর্যাপ্ত। এটি হ'ল, কিছু ক্ষেত্রগুলিতে> ০. of এর একটি সংযুক্তি সহগকে শক্তিশালী রৈখিক পারস্পরিক সম্পর্ক হিসাবে বিবেচনা করা হয়। আপনার বেশিরভাগ ডেটা উত্সের কাছাকাছি থাকা সত্ত্বেও, এটি যথেষ্ট অনুমেয় যে আপনার ডেটা "প্রচলিত জ্ঞান" বলার সাথে তুলনামূলকভাবে রৈখিকভাবে সম্পর্কযুক্ত। সম্পর্ক সম্পর্কিত তথ্য ডেটা সেট সম্পর্কে আপনাকে খুব কম বলে।

— জন
সূত্র