প্রশ্ন ট্যাগ «information-theory»

যৌথ এনট্রপির উপর পারস্পরিক তথ্যগুলি: 0 ≤ আই( এক্স, Y)এইচ( এক্স, Y)। 10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 হিসাবে সংজ্ঞায়িত করা হবে: "এক্স থেকে ওয়াইতে কোনও টুকরো তথ্য পৌঁছানোর সম্ভাবনা"? আমি এতটা নিখুঁত হওয়ার জন্য দুঃখিত, তবে আমি কখনই তথ্য তত্ত্বটি অধ্যয়ন করি নি, এবং আমি এর কিছু ধারণাগুলি বোঝার …

11 information-theory  mutual-information 

আমার খুব প্রাথমিক সন্দেহ আছে। এই কিছু বিরক্ত যদি দুঃখিত। আমি জানি যে মিউচুয়াল ইনফরমেশন মানটি 0 এর চেয়ে বেশি হওয়া উচিত তবে এটি কি 1 এর চেয়ে কম হওয়া উচিত? এটি কি কোনও উচ্চ মানের দ্বারা আবদ্ধ? ধন্যবাদ, অমিত

11 information-theory  mutual-information 

তাত্ত্বিক সিএলটি তথ্যের সহজতম রূপটি নিম্নলিখিত: গড় এবং বৈকল্পিক সহ যাক । কে অঙ্কের ঘনত্ব হতে হবে এবং মানক গাউসিয়ান ঘনত্ব হতে পারে। তারপরে তথ্য তাত্ত্বিক সিএলটি বলেছে যে, যদি কিছু n এর জন্য সীমাবদ্ধ হয় , তবে ডি (f_n \ | \ phi) \ থেকে 0 হিসাবে এন \ …

11 mathematical-statistics  information-theory  central-limit-theorem 

আমি একটি ওভারহ্যান্ড কার্ডের সাফল্যের অনুকরণ করার জন্য একটি প্রোগ্রাম লিখেছি । প্রতিটি কার্ডের নাম্বার দেওয়া হয়, স্যুট থেকে আসা হয় CLUBS, DIAMONDS, HEARTS, SPADESএবং টু থেকে দশ পর্যন্ত র‌্যাঙ্ক হয় জ্যাক, কুইন, কিং এবং এস। সুতরাং ক্লাব দুটি ক্লাবের একটি সংখ্যা আছে 1, থ্রি ক্লাব দুটি একটি 2 .... …

11 correlation  pearson-r  information-theory 

প্রধান উপাদান বিশ্লেষণের (পিসিএ) গুণমান নির্ধারণের জন্য একটি ভাল মেট্রিক কী? আমি একটি ডেটাসেটে এই অ্যালগরিদম সম্পাদন করেছি। আমার উদ্দেশ্যটি ছিল বৈশিষ্ট্যগুলির সংখ্যা হ্রাস করা (তথ্যটি খুব অপ্রয়োজনীয় ছিল)। আমি জানি যে শতাংশের বৈকল্পিকতা আমরা কতটা তথ্য রাখি তার একটি ভাল সূচক, আমি অপ্রয়োজনীয় তথ্য সরিয়েছি এবং এই জাতীয় তথ্য …

10 machine-learning  pca  data-mining  information-theory 

শিরোনামের মত বলে, মাত্রা হ্রাস সবসময় কিছু তথ্য হারাতে পারে? উদাহরণস্বরূপ পিসিএ বিবেচনা করুন। আমার কাছে থাকা ডেটা যদি খুব কম হয় তবে আমি ধরে নিই যে একটি "আরও ভাল এনকোডিং" পাওয়া যেতে পারে (এটি কি কোনওভাবে ডেটা র‌্যাঙ্কের সাথে সম্পর্কিত?), এবং কিছুই হারাবে না।

10 pca  information-theory  information 

আমি একটু বিভ্রান্ত। কেউ আমাকে কীভাবে ব্যাখ্যা করতে পারেন যে বাইনারি টার্ম ইভেন্ট হিসাবে ওজন হিসাবে টার্ম-ডকুমেন্ট ম্যাট্রিক্সের ভিত্তিতে দুটি পদগুলির মধ্যে পারস্পরিক তথ্য কীভাবে গণনা করতে? Document1Document2Document3′Why′111′How′101′When′111′Where′100′Why′′How′′When′′Where′Document11111Document21010Document31110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 & …

10 python  information-theory  mutual-information  numpy  pandas 

আমি এই বক্তৃতা নোটগুলিতে বর্ণিত (5 পৃষ্ঠায়) বৈশিষ্ট্য নির্বাচনের ক্ষেত্রে পারস্পরিক তথ্যের ধারণাটি প্রয়োগ করার চেষ্টা করছি । আমার প্ল্যাটফর্মটি মতলব। অনুপ্রেরণামূলক তথ্য থেকে পারস্পরিক তথ্য গণনা করার সময় একটি সমস্যা আমি দেখতে পাই যে সংখ্যাটি সর্বদা উপরের দিকে পক্ষপাতদুষ্ট থাকে। মতলব সেন্ট্রিয়ায় এমআই গণনা করতে আমি প্রায় 3 ~ …

10 matlab  feature-selection  information-theory  mutual-information 

আমার গবেষণায় আমি নিম্নলিখিত সাধারণ সমস্যাটি নিয়ে চলেছি: একই ডোমেনের উপরে আমার কাছে দুটি এবং কিউ এবং এই বিতরণগুলি থেকে একটি বৃহত (তবে সসীম) সংখ্যার নমুনা রয়েছে। নমুনাগুলি এই দুটি বিতরণের যে কোনও একটি থেকে স্বতন্ত্র এবং অভিন্নভাবে বিতরণ করা হয় (যদিও বিতরণ সম্পর্কিত হতে পারে: উদাহরণস্বরূপ, প্রশ্ন পি এবং …

10 hypothesis-testing  mathematical-statistics  kullback-leibler  information-theory  bounds 

ডিপ লার্নিং এবং ইনফরমেশন বোতলেনেক মূল নীতিটি লেখকগুলিতে ২ য় বিভাগের লেখকদের বিবরণে বলা হয়েছে ) একক নিউরন কেবলমাত্র রৈখিক পৃথকযোগ্য ইনপুটগুলিকে শ্রেণিবদ্ধ করে, কারণ তারা কেবলমাত্র তাদের ইনপুট স্পেসে হাইপারপ্লেনগুলি প্রয়োগ করতে পারে । হাইপারপ্লেনগুলি ইনপুটগুলি বিনোদনের সাথে নিখরচায় রাখার সময় উপাত্তকে সর্বোত্তমভাবে শ্রেণিবদ্ধ করতে পারে।u = w h …

10 bayesian  neural-networks  information-theory 

বা কি পরিস্থিতিতে গ্যারান্টি দেয়? সাধারণভাবে (এবং কেবলমাত্র সাধারণ এবং দ্বিপদী মডেলই নয়) আমি মনে করি যে এই দাবিটি ভেঙে যাওয়ার মূল কারণটি হল যে স্যাম্পলিং মডেল এবং পূর্ববর্তীগুলির মধ্যে অসঙ্গতি রয়েছে, তবে আর কী? আমি এই বিষয়টি দিয়ে শুরু করছি, তাই আমি সহজ উদাহরণগুলির পক্ষে সত্যই প্রশংসা করি

10 bayesian  variance  information-theory 

আমি পারস্পরিক তথ্য ব্যবহার করে দুটি ভেরিয়েবল, এ এবং বি এর মধ্যে সম্পর্ক নির্ধারণ করতে চাই। এটি গণনা করার উপায়টি পর্যবেক্ষণগুলিকে বিন্যস্ত করে (নীচে পাইথন কোডটি দেখুন)) যাইহোক, কোন উপাদানগুলি বিনয়ের সংখ্যাটি যুক্তিসঙ্গত তা নির্ধারণ করে? আমার দ্রুত গণনা করা দরকার তাই আমি নিরাপদ দিকে থাকতে প্রচুর পরিমাণে বিন্দু ব্যবহার …

10 information-theory  mutual-information  binning 

আমার প্রশ্নটি দক্ষ কোডিং হাইপোথিসিসের মধ্যকার সম্পর্ককে উদ্বেগ করে যা দক্ষ কোডিং এবং নিউরাল নেটওয়ার্ক লার্নিং অ্যালগরিদমগুলির বিষয়ে উইকিপিডিয়া পৃষ্ঠায় বর্ণিত । দক্ষ কোডিং অনুমান এবং নিউরাল নেটওয়ার্কগুলির মধ্যে সম্পর্ক কী? দক্ষ কোডিং অনুমান দ্বারা স্পষ্টভাবে অনুপ্রাণিত কোন নিউরাল নেটওয়ার্ক মডেল আছে? অথবা এটি আরও সুন্দর বলা যায় যে সমস্ত …

9 neural-networks  information-theory 

আজ আমি জেমস স্টোন রচিত "তথ্য তত্ত্ব: একটি টিউটোরিয়াল ভূমিকা" বইটি পেরিয়েছিলাম এবং প্রয়োগিত তথ্য বিজ্ঞানে তথ্য তত্ত্বের ব্যাপ্তি সম্পর্কে এক- দু'বারের জন্য ভেবেছিলাম (যদি আপনি এখনও এই কিছুটা অস্পষ্ট শব্দটির সাথে স্বাচ্ছন্দ্য বোধ করেন না, ডেটা বিশ্লেষণ ভাবেন , যা আইএমএইচও ডেটা বিজ্ঞান এর গৌরবময় সংস্করণ)। আমি উল্লেখযোগ্য ব্যবহারের …

9 information-theory 

আমি পয়েন্টওয়াইজ মিউচুয়াল তথ্যের সাধারণীকরণ ফর্মটি বোঝার চেষ্টা করছি। n পি এম আমি =পি এম আমি ( x , y))l ও জি( পি ( এক্স , ওয়াই)) )এনপিমিআমি=পিমিআমি(এক্স,Y)ঠণছ(পি(এক্স,Y))npmi = \frac{pmi(x,y)}{log(p(x,y))} লগের যৌথ সম্ভাবনা কেন [-1, 1] এর মধ্যে থাকা পয়েন্টওয়্যার মিউচুয়াল তথ্যকে স্বাভাবিক করে তোলে? বিষয় ভিত্তিক পারস্পরিক তথ্য হ'ল: …

9 entropy  information-theory  mutual-information