এনট্রপি এবং এসএনআরের মধ্যে সম্পর্ক

Question

সাধারণভাবে এনরোপির যে কোনও রূপকে অনিশ্চয়তা বা এলোমেলোতা হিসাবে সংজ্ঞায়িত করা হয়। কোলাহলপূর্ণ পরিবেশে, কোলাহল বাড়ার সাথে সাথে আমি বিশ্বাস করি যে ইন্ট্রপির পরিমাণ বৃদ্ধি পায় যেহেতু আমরা কাঙ্ক্ষিত সংকেতের তথ্য সামগ্রী সম্পর্কে আরও অনিশ্চিত। এনট্রপি এবং এসএনআরের মধ্যে সম্পর্ক কী? শব্দ রেশন সংকেত বৃদ্ধি সঙ্গে, শব্দ শক্তি হ্রাস কিন্তু এটি বোঝায় না যে সংকেত তথ্য কন্টেন্ট বৃদ্ধি !! তথ্য বিষয়বস্তু একই থাকতে পারে, তাই এর মানে কি এনট্রপি ক্ষতিগ্রস্থ হয় না?

Answer 1

আপনি যখন বলেন যে "তথ্য সামগ্রী একইরকম থাকতে পারে", আপনি কী মোট সংকেতের তথ্য বা পছন্দসই সংকেতের তথ্য বোঝাতে চাইছেন? আশা করি এটি উভয় ক্ষেত্রেই উত্তর দেবে। আমি শ্যানন এনট্রপি কলমোগোরভের চেয়ে অনেক ভাল জানি তাই আমি এটি ব্যবহার করব, তবে আশা করি যুক্তিটি অনুবাদ করবে।

ধরা যাক হ'ল আপনার মোট সিগন্যাল ( ), আপনার পছন্দসই সংকেত এবং আপনার শব্দ উপাদান যোগফল নিয়ে গঠিত । এনট্রপি কল করুন । যেমনটি আপনি বলেছিলেন, শব্দ একটি সিস্টেমের জটিলতা বাড়িয়ে এন্ট্রপি যুক্ত করে। তবে এটি কেবল অগত্যা নয় যে আমরা সংকেতের তথ্য বিষয়বস্তু সম্পর্কে আরও অনিশ্চিত , তবে সামগ্রিকভাবে সিগন্যালে আরও অনিশ্চয়তা রয়েছে বলে। যদি ব্যবস্থা কিভাবে নির্দিষ্ট আমরা কি হয় ধরনের SNR , তারপর ব্যবস্থা ধরনের কত ভাল আমরা ভবিষ্যত রাজ্যের পূর্বাভাস দিতে পারি বর্তমান অবস্থা উপর ভিত্তি করে$X = S + N$$X$$S$$N$$H$$S$$H(X)$$X$$X$। অ্যান্ট্রপি শোনার বনাম অ-গোলমাল নির্বিশেষে পুরো সংকেতটি কতটা জটিল তা নিয়ে উদ্বিগ্ন।

আপনি যদি শব্দটি সরিয়ে (এসটেনাইটিং ) দ্বারা এসএনআর বৃদ্ধি করেন তবে আপনি মোট সংকেত এর জটিলতা হ্রাস করেন এবং এভাবে এর এনট্রপি। আপনি দ্বারা পরিচালিত কোনও তথ্য হারিয়ে ফেলেন নি , কেবল দ্বারা চালিত তথ্য (সম্ভবত অর্থহীন) । যদি এলোমেলো শব্দ হয় তবে স্পষ্টতই এটি অর্থবহ তথ্য বহন করে না, তবে এর অবস্থান বর্ণনা করার জন্য এটি একটি নির্দিষ্ট পরিমাণ তথ্য গ্রহণ করে যা N এর মধ্যে থাকতে পারে এমন সংখ্যার দ্বারা নির্ধারিত হয় এবং এটির সম্ভাবনাটি এর মধ্যে রয়েছে এই রাজ্যের প্রতিটি। এটাই এনট্রপি।$N$$X$$S$$N$$N$$N$

আমরা বিভিন্ন বৈকল্পিক সহ দুটি গাউসীয় বিতরণ দেখতে পারি, বলুন একটির বৈকল্পিক রয়েছে এবং অন্যটির বৈকল্পিক রয়েছে । কেবলমাত্র গাউসীয় বিতরণের সমীকরণটি দেখে আমরা দেখতে পাচ্ছি যে বিতরণে সর্বাধিক সম্ভাবনা রয়েছে যা কেবলমাত্র ডিগ্রির সম্ভাবনার মান তম । বিপরীতভাবে, এর অর্থ হ'ল এর চেয়ে বড় সম্ভাবনা রয়েছে যে ডিগ্রিটি গড় ব্যতীত অন্য মানগুলি গ্রহণ করবে বা বিতরণ গড়ের নিকটে মান গ্রহণ করবে এমন আরও নিশ্চিততা রয়েছে । সুতরাং, বিতরণে চেয়ে কম এনট্রপি রয়েছে$1$$100$$Var=100$$\frac {1} {10}$$var=1$$Var=100$$Var=1$$Var=1$$Var=100$ বন্টন।

আমরা প্রতিষ্ঠিত করেছি যে উচ্চতর বৈকল্পিকতা উচ্চতর এনট্রপিকে বোঝায়। ত্রুটি প্রসারণ এ খুঁজছি, এটি সত্যি যে (স্বাধীন জন্য সমান , )। যদি , তবে এন্ট্রপি , । যেহেতু (অপ্রত্যক্ষভাবে) বৈসাদৃশ্যের একটি ফাংশন, তাই আমরা বলতে কিছুটা ভুল করতে পারি । সরল করার জন্য, আমরা বলি এবং স্বতন্ত্র, সুতরাং । উন্নত এসএনআর এর অর্থ প্রায়শই শব্দকে শক্তিশালী করা। উচ্চতর এসএনআর সহ এই নতুন সংকেতটি তখন , এর জন্য$Var(X+Y) >= Var(X) + Var(Y)$$X$$Y$$X = S + N$$H$$H(X) = H(S+N)$$H$$H(Var[X]) = H(Var[S+N])$$S$$N$$H(Var[X]) = H(Var[S] + Var[N])$$X = S + (\frac {1} {k})N$$k>1$ । এন্ট্রপি তারপরে । চেয়ে বড় , সুতরাং সূচিত করা হলে হ্রাস পাবে। তাহলে কমে যায়, তাই না আর তাই , হ্রাস ফলে ।$H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$$k$$1$$Var[N]$$Var[N]$$Var[S+N]$$Var[X]$$H(X)$

খুব সংক্ষিপ্ত নয়, দুঃখিত। সংক্ষেপে, আপনি এসএনআর বাড়িয়ে দিলে এর এন্ট্রপি হ্রাস পাবে, তবে আপনি এর তথ্যে কিছুই করেন নি । আমি এখনই উত্সগুলি খুঁজে পাচ্ছি না, তবে একে অপরের থেকে এসএনআর এবং পারস্পরিক তথ্য (এনট্রপির অনুরূপ দ্বিখণ্ডিত পরিমাপ) গণনা করার একটি পদ্ধতি রয়েছে। হতে পারে মূল অবলম্বন হ'ল এসএনআর এবং এনট্রপি একই জিনিসটি পরিমাপ করে না।$X$$S$

Comments

বিশদগুলির জন্য আপনাকে ধন্যবাদ, এটি সত্যিই দুর্দান্ত হত যদি আপনি একটি সামান্য বিটফ বিশ্লেষণের জন্য কোনও রেফারেন্স থাকতেন যেহেতু আমাকে একটি কাগজে এনট্রপি এবং এসএনআরের মধ্যে এই সম্পর্কটি সরবরাহ করার দরকার ছিল এবং সে কারণে উদ্ধৃতি দেওয়া হয়েছিল।

— রিয়া জর্জ

আমার বিশ্লেষণটি বেশ অনানুষ্ঠানিক; এটি কোনও ধরণের কঠোরতা দাবি করার জন্য অন্তর্দৃষ্টি / যুক্তিবিদ্যার উপর কিছুটা নির্ভর করে। তাত্ক্ষণিক আমি যে দুর্বল পয়েন্টটি দেখছি তা হ'ল দাবি যে বর্ধিত এসএনআর সামগ্রিক বৈচিত্র্য হ্রাস করার সমতুল্য। আপনি যদি শব্দটি কমাতে এসএনআর বৃদ্ধি করেন তবে এই বিবৃতিটি ধারণ করে, তবে আপনি যদি সংকেত শক্তি বাড়িয়ে দেন তবে অগত্যা নয় (কারণ এটি সংকেত বৈকল্পিক ==> সামগ্রিক বৈকল্পিক ==> এনট্রপি বাড়াতে পারে)। যদিও এই সিদ্ধান্তে পৌঁছানোর আর একটি উপায় সম্ভবত রয়েছে। আমি মনে করি এমআই এবং এসএনআরের মধ্যে সম্পর্ক শ্লোয়েগল ২০১০ থেকে এসেছে "বিসিআই গবেষণায় অভিযোজক পদ্ধতি - একটি পরিচিতি টিউটোরিয়াল"

— ডিপিবন্ট

: ধারাবাহিকতায় এই থ্রেডটি আবার শুরু করার জন্য দুঃখিত। আমি যখন এমন কোনও মডেলটির এন্ট্রপির ত্রুটিটি খুঁজে পেয়েছি যেখানে ত্রুটি = কাঙ্ক্ষিত_ সিগন্যাল - আনুমানিক_সাইনাল রয়েছে I এসএনআর বৃদ্ধিতে, আমি আবিষ্কার করেছি যে ত্রুটির এনট্রপি বৃদ্ধি পাচ্ছে। তবে, যখন আমি বাড়তি এসএনআর দিয়ে কাঙ্ক্ষিত সিগন্যাল এনট্রপি গণনা করি তখন এক্স এর এনট্রপি কমছে। আপনি কি দয়া করে আগের ক্ষেত্রে কিছুটা অন্তর্দৃষ্টি ফেলতে পারেন যেখানে ক্রমবর্ধমান এসএনআরের সাথে ত্রুটির এনট্রপি বৃদ্ধি পায়? $X$

— রিয়া জর্জ

দুটি প্রশ্ন। 1) আপনি যখন বলছেন এসএনআর বৃদ্ধি পায়, তখন আপনি কি অনুমানিত সংকেতের এসএনআর বলতে চান? (আমি এটি ধরে নিই।) 2) ত্রুটির এনট্রপি বৃদ্ধি পাওয়ার সাথে সাথে আপনার ত্রুটির কী হবে? সাধারণভাবে বলতে গেলে, এন্ট্রপিতে বৃদ্ধি অর্থ হয় বৈচিত্র্য বৃদ্ধি / পূর্বাভাসযোগ্যতা হ্রাস। আমি সম্ভবত এমন একটি পরিস্থিতিটি কল্পনা করতে পারি যেখানে আপনার ত্রুটির বৈকল্পিকতা বৃদ্ধি পায় তবে আপনি একটি ত্রুটি পক্ষপাত দূর করেন (যা ত্রুটি এনট্রপি বাড়াতে পারে তবে ত্রুটি হ্রাস করতে পারে)।

— dpbont

আপনার দ্রুত উত্তর দেওয়ার জন্য আপনাকে ধন্যবাদ। (1) অনুযায়ী SNR বৃদ্ধি আমি model.So মধ্যে পরিমাপ শব্দ SNR বৃদ্ধি মানে Eq এ, আমি SNR বৃদ্ধি এবং পরিমাপ এনট্রপি এইচ 1 (এক্স) & ও H2 (ত্রুটি) যেখানে (এ 1, অনুমিত প্যারামিটার এবং একটি নির্দিষ্ট এসএনআর পর্যবেক্ষণ বলেছে snr1 বলে। ধরা যাক আমার 5 টি অনুমান রয়েছে (এ 1, বি 1) এবং প্রতিটি জোড়ার জন্য আমি ত্রুটির এনট্রপি পাই। $X=S+N$$N$$z(t) = X(t) - (a1X(t-1) + b1X(t-2))$$X(t)$$N$

— রিয়া জর্জ

Answer 2

[1, p. 186]আপনাকে, ওপি বা গুগলার শুরু করার জন্য এখানে একটি উদ্ধৃতি দেওয়া হয়েছে:

মোটামুটিভাবে, $\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

এখানে হ'ল সিগন্যালের আপনার মডেলের প্যারামিটারগুলির পূর্ববর্তী বিতরণের নেতিবাচক এনট্রপি। শুভকামনা!$\mathcal{H}$

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006