"এনট্রপি এবং তথ্য লাভ" কী?

Question

আমি এই বইটি পড়ছি ( এনএলটিকে ) এবং এটি বিভ্রান্তিকর। এনট্রপি হয় হিসাবে সংজ্ঞায়িত :

এন্ট্রপি হ'ল প্রতিটি লেবেলের সেই একই লেবেলের লগ সম্ভাবনার বারের সম্ভাবনার যোগফল

পাঠ্য খনির ক্ষেত্রে আমি কীভাবে এনট্রপি এবং সর্বোচ্চ এনট্রপি প্রয়োগ করতে পারি ? কেউ আমাকে একটি সহজ, সহজ উদাহরণ (চাক্ষুষ) দিতে পারেন?

Comments

একটি দুর্দান্ত এবং স্বজ্ঞাত সমাধান math.stackexchange.com/questions/331103/…

— রবি জি

থিসি প্রশ্ন গণিত.স্ট্যাকেক্সেঞ্জার.কমিশন

— রবি জি

ভাল এবং সাধারণ ব্যাখ্যার জন্য একটি ভিডিও

— গ্রিজেশ চৌহান

Answer 1

আমি ধরে নিচ্ছি সিদ্ধান্ত গাছগুলি নির্মাণের প্রসঙ্গে এনট্রপির উল্লেখ ছিল ।

আঁকা, কাজটি কল্পনা শেখার জন্য শ্রেণীভুক্ত পুরুষ / মহিলা দলের মধ্যে প্রথম নাম থাকবে না। এটিকে প্রত্যেকের সাথে লেবেলযুক্ত নামের একটি তালিকা দেওয়া হয় mবা f, আমরা এমন একটি মডেল শিখতে চাই যা ডেটা ফিট করে এবং একটি নতুন অদেখা প্রথম নামের লিঙ্গ পূর্বাভাস দেওয়ার জন্য ব্যবহার করা যেতে পারে।

name       gender
-----------------        Now we want to predict 
Ashley        f              the gender of "Amro" (my name)
Brian         m
Caroline      f
David         m

প্রথম পদক্ষেপটি সিদ্ধান্ত নিয়েছে যে ডেটাগুলির বৈশিষ্ট্যগুলি আমরা কীভাবে পূর্বাভাস দিতে চাই তার লক্ষ্য শ্রেণীর সাথে প্রাসঙ্গিক। কয়েকটি উদাহরণ বৈশিষ্ট্যগুলির মধ্যে রয়েছে: প্রথম / শেষ বর্ণ, দৈর্ঘ্য, স্বর সংখ্যা, এটি কি একটি স্বর ইত্যাদির সাহায্যে শেষ হয় So সুতরাং বৈশিষ্ট্য নিষ্কাশনের পরে আমাদের ডেটা দেখে মনে হচ্ছে:

# name    ends-vowel  num-vowels   length   gender
# ------------------------------------------------
Ashley        1         3           6        f
Brian         0         2           5        m
Caroline      1         4           8        f
David         0         2           5        m

লক্ষ্যটি একটি সিদ্ধান্ত গাছ তৈরি করা । গাছের উদাহরণ হ'ল :

length<7
|   num-vowels<3: male
|   num-vowels>=3
|   |   ends-vowel=1: female
|   |   ends-vowel=0: male
length>=7
|   length=5: male

মূলত প্রতিটি নোড একক অ্যাট্রিবিউটের উপর সম্পাদিত একটি পরীক্ষার প্রতিনিধিত্ব করে এবং আমরা পরীক্ষার ফলাফলের উপর নির্ভর করে বাম বা ডানদিকে যাই। ক্লাস পূর্বাভাস ( mবা।) থাকা কোনও লিফ নোডে পৌঁছানো পর্যন্ত আমরা গাছটিকে অতিক্রম করে চলেছিf )

সুতরাং আমরা যদি এই গাছের নিচে আম্রো নামটি চালাই তবে আমরা " দৈর্ঘ্য <7? " পরীক্ষা করে শুরু করি এবং উত্তরটি হ্যাঁ , তাই আমরা সেই শাখায় নামি। শাখা অনুসরণ করে, পরবর্তী পরীক্ষাটি " স্বর সংখ্যা <3? " আবার সত্য বলে মূল্যায়ন করে । এটি লেবেলযুক্ত একটি পাতার নোডের দিকে নিয়ে যায় mএবং এভাবে পূর্বাভাস পুরুষ হয় (যা আমি হ'ব, তাই গাছটি ফলাফলটি সঠিকভাবে পূর্বাভাস করেছিল )।

সিদ্ধান্ত গাছটি টপ-ডাউন ফ্যাশনে নির্মিত , তবে প্রশ্নটি হল যে প্রতিটি নোডে বিভক্ত হওয়ার জন্য কোন বৈশিষ্ট্যটি আপনি কীভাবে চয়ন করবেন? উত্তরটি এমন বৈশিষ্ট্যটি সন্ধান করেছে যা সর্বোত্তম সম্ভাব্য শিশু নোডগুলিতে লক্ষ্য শ্রেণিকে সর্বোত্তমভাবে বিভক্ত করে (যেমন: যে নোডগুলিতে পুরুষ এবং মহিলা উভয়ের মিশ্রণ থাকে না, কেবলমাত্র এক শ্রেণীর বিশুদ্ধ নোড)।

পবিত্রতার এই পরিমাপকে তথ্য বলা হয় । এটা তোলে প্রতিনিধিত্ব করে প্রত্যাশিত পরিমাণ তথ্য উদাহরণ নোড পৌঁছেছেন দেওয়া যে একটি নতুন দৃষ্টান্ত (প্রথম নাম) পুরুষ বা মহিলা শ্রেণীবদ্ধ করা হবে কিনা তা নির্দিষ্ট করা প্রয়োজন হবে। আমরা নোডে পুরুষ এবং মহিলা শ্রেণীর সংখ্যার ভিত্তিতে এটি গণনা করি।

এনট্রপি অন্যদিকে একটি পরিমাপ অপবিত্রতা (বিপরীত)। এটিমান/হিসাবে বাইনারি শ্রেণীর জন্য সংজ্ঞায়িত:ab

Entropy = - p(a)*log(p(a)) - p(b)*log(p(b))

এই বাইনারি এন্ট্রপি ফাংশনটি নীচের চিত্রটিতে চিত্রিত হয়েছে (এলোমেলো ভেরিয়েবল দুটি মানের মধ্যে একটি নিতে পারে)। সম্ভাব্যতা যখন থাকে তখন এটি সর্বাধিক পৌঁছে যায় p=1/2, অর্থাত p(X=a)=0.5বা একইভাবে হয় p(X=b)=0.550% / 50% হওয়ার সম্ভাবনা থাকে aবা হয় b(অনিশ্চয়তা সর্বাধিক হয়)। এন্ট্রপি ফাংশনটি শূন্যতম নূন্যতম হয় যখন সম্ভাবনা থাকে p=1বা p=0সম্পূর্ণ নিশ্চিততা সহ ( p(X=a)=1বা p(X=a)=0যথাক্রমে উত্তরটি বোঝায় p(X=b)=1)।

অবশ্যই এনট্রি ফলাফলের (একটি মাত্র দুটি নয়) একটি পৃথক র্যান্ডম ভেরিয়েবল এক্সের জন্য এন্ট্রপির সংজ্ঞাটি সাধারণীকরণ করা যেতে পারে:

( logসূত্রটিতে সাধারণত বেস 2 তে লগারিদম হিসাবে নেওয়া হয় )

---

নামের শ্রেণিবদ্ধকরণের আমাদের কার্যটিতে ফিরে আসুন একটি উদাহরণ দেখুন। গাছটি তৈরির প্রক্রিয়া চলাকালীন কোনও সময় কল্পনা করুন, আমরা নিম্নলিখিত বিভাজনটি বিবেচনা করছি:

     ends-vowel
      [9m,5f]          <--- the [..,..] notation represents the class
    /          \            distribution of instances that reached a node
   =1          =0
 -------     -------
 [3m,4f]     [6m,1f]

আপনি দেখতে পাচ্ছেন, বিভাজনের আগে আমাদের 9 জন পুরুষ এবং 5 জন মহিলা ছিল, P(m)=9/14এবং P(f)=5/14। এন্ট্রপির সংজ্ঞা অনুসারে:

Entropy_before = - (5/14)*log2(5/14) - (9/14)*log2(9/14) = 0.9403

পরবর্তী আমরা দুটি সন্তানের শাখা দেখে বিভাজন বিবেচনা করার পরে এটি এনট্রপি গণনা করে তুলনা করি। এর বাম শাখায় ends-vowel=1, আমাদের রয়েছে:

Entropy_left = - (3/7)*log2(3/7) - (4/7)*log2(4/7) = 0.9852

এবং ডান শাখা ends-vowel=0, আমাদের আছে:

Entropy_right = - (6/7)*log2(6/7) - (1/7)*log2(1/7) = 0.5917

আমরা প্রতিটি শাখাকে ওজন ফ্যাক্টর হিসাবে নিচে উদাহরণগুলির সংখ্যা ব্যবহার করে বাম / ডান প্রবেশপথগুলি একত্রিত করি (inst টি দৃষ্টান্ত বাম হয়ে গেছে, এবং inst টি উদাহরণ ডান দিকে গেছে), এবং বিভক্ত হওয়ার পরে চূড়ান্ত এনট্রপি পেয়েছি:

Entropy_after = 7/14*Entropy_left + 7/14*Entropy_right = 0.7885

এখন বিভাজনের আগে এবং তার পরে এনট্রপির তুলনা করে আমরা একটি বিশেষ তথ্য অর্জন করে বা সেই বিশেষ বৈশিষ্ট্যটি ব্যবহার করে বিভাজন করে কত তথ্য অর্জন করেছি:

Information_Gain = Entropy_before - Entropy_after = 0.1518

উপরের গণনাটি আপনি নিম্নলিখিত হিসাবে ব্যাখ্যা করতে পারেন: end-vowelsবৈশিষ্ট্যটির সাথে বিভক্ত হয়ে আমরা উপ-গাছের পূর্বাভাসের ফলাফলের মধ্যে অল্প পরিমাণ 0.1518 ( তথ্যের একক হিসাবে বিটগুলিতে পরিমাপ করা) দ্বারা অনিশ্চয়তা হ্রাস করতে সক্ষম হয়েছি ) ।

গাছের প্রতিটি নোডে, এই গণনাটি প্রতিটি বৈশিষ্ট্যের জন্য করা হয় এবং বৃহত্তম তথ্য লাভের বৈশিষ্ট্যটি লোভী উপায়ে বিভক্ত হওয়ার জন্য বেছে নেওয়া হয় (এইভাবে এমন বৈশিষ্ট্যগুলির পক্ষে হয় যা বিশুদ্ধ উত্পাদন করে যা কম অনিশ্চয়তা / এনট্রপি সহ বিভক্ত করে)। এই প্রক্রিয়াটি মূল-নোডটি নীচে থেকে পুনরাবৃত্তভাবে প্রয়োগ করা হয়, এবং যখন কোনও পাতার নোডে একই শ্রেণীর সমস্ত উদাহরণ থাকে (এটিকে আরও বিভক্ত করার দরকার নেই) তখন থেমে যায়।

নোট করুন যে আমি সংখ্যাসূচক বৈশিষ্ট্যগুলি কীভাবে পরিচালনা করতে হবে , মূল্যবোধগুলি হারিয়ে যাওয়া , গাছপালা ছাড়াই এবং গাছ ছাঁটাই করা ইত্যাদি সহ এই পোস্টের আওতার বাইরে কিছু বিবরণ ছাড়লাম ..

Comments

@ all3fox: এটি শেষ অনুচ্ছেদে ব্যাখ্যা করা হয়েছে, খাঁটি নোড (লিফ নোড যেখানে সমস্ত দৃষ্টান্ত একই শ্রেণীর অন্তর্গত, তাই এটি আরও বিভক্ত করা যায় না) হলে প্রক্রিয়াটি সেই নির্দিষ্ট শাখার জন্য থামানো উচিত । নোডটি এর মধ্যে রয়েছে এমন একমাত্র শ্রেণীর পূর্বাভাস দিয়েছে ..

— আম্রো

@ all3fox: বাস্তবে, খাঁটি নোডের সমস্ত পথে যাওয়ার ফলে অত্যধিক মানসিকতায় ভোগা বেশ গভীর সিদ্ধান্তের গাছ তৈরি হয় (যেমন এমন গাছ যেগুলি প্রশিক্ষণের উপাত্তগুলিতে খুব ভাল ফিট করে তবে প্রশিক্ষণ সংস্থায় প্রতিনিধিত্ব না করা অন্যান্য ডেটাগুলিতে এটি দুর্বল করে তোলে)। অতএব আমরা সাধারণত যখন লিফ নোডগুলিতে একটি নির্দিষ্ট ন্যূনতম সংখ্যার উদাহরণ পাই (এবং কেবলমাত্র সংখ্যাগরিষ্ঠ শ্রেণীর পূর্বাভাস দিই), এবং / অথবা কোনও প্রকার ছাঁটাই করি (আরও জানার জন্য উপরে প্রদত্ত উইকিপিডিয়া লিঙ্কগুলি দেখুন) stop

— আম্রো

@ জাস: এটি এখানে ভাল ব্যাখ্যা করা হয়েছে: en.wikedia.org/wiki/…

— আম্রো

@Rami: রাইট, মত এড়ানোর সমস্যার overfitting ছোট গাছের উপর বড় বাড়িগুলো (অর্থাত কম পরীক্ষা দিয়ে সিদ্ধান্ত পর্যন্ত পৌঁছেছিল) পছন্দ করা হয়। নোট করুন যে বিভক্ত বৈশিষ্ট্যগুলি দ্বারা বিভক্ত বৈশিষ্ট্যগুলি নির্বাচিত হয় তা হ'ল লোভী অনুসন্ধান অ্যালগরিদম, সুতরাং উত্পন্ন গাছটি সমস্ত সম্ভাব্য গাছের জায়গার মধ্যে সবচেয়ে ছোটতম গাছের গ্যারান্টিযুক্ত নয় (তেমনি এটি বিশ্বব্যাপী-সর্বোত্তম এক রিট শ্রেণিবিন্যাস ত্রুটি হওয়ার নিশ্চয়তাও দেয় না )। এটি আসলে একটি এনপি-সম্পূর্ণ সমস্যা ...

— আম্রো

@ রমি: মজার বিষয় হল, এখানে জড়ো শেখার বিভিন্ন পদ্ধতি রয়েছে যা আলাদা পদ্ধতি গ্রহণ করে। একটি ধারণা হ'ল প্রতিটি প্রার্থীর বিভাজনের সময় বৈশিষ্ট্যগুলির একটি এলোমেলো উপসেট বাছাই করে , এবং এই এলোমেলো গাছগুলির একগুচ্ছ তৈরি করে এবং ফলাফলটির গড় গড় করে শেখার অ্যালগরিদমকে এলোমেলো করে তোলা । র‌্যান্ডম ফরেস্টের মতো অ্যালগরিদমগুলিও পরীক্ষা করে দেখার মতো ।

— আম্রো

Answer 2

শুরুতে, এটি বোঝা ভাল হবে the measure of information ।

আমরা কিভাবে করি measure তথ্য দেব?

যখন অসম্ভব কিছু ঘটে তখন আমরা বলি এটি একটি বড় খবর। এছাড়াও, যখন আমরা অনুমানযোগ্য কিছু বলি, এটি সত্যই আকর্ষণীয় নয়। সুতরাং এটি পরিমাণ হিসাবে interesting-ness, ফাংশন সন্তুষ্ট করা উচিত

• ইভেন্টটির সম্ভাবনা যদি 1 (পূর্বাভাসযোগ্য) হয় তবে ফাংশনটি 0 দেয়
• ইভেন্টটির সম্ভাবনা যদি 0 এর কাছাকাছি হয় তবে ফাংশনটি উচ্চ সংখ্যা দেওয়া উচিত
• যদি সম্ভাব্যতা ০.৫ ইভেন্ট হয় তা one bitতথ্য দেয়।

সীমাবদ্ধতাগুলি পূরণ করে এমন একটি প্রাকৃতিক পরিমাপ

I(X) = -log_2(p)

যেখানে পি ইভেন্টটির সম্ভাবনা X। এবং ইউনিটটি রয়েছে bit, একই বিট কম্পিউটার ব্যবহার করে। 0 বা 1।

উদাহরণ 1

ফেয়ার কয়েন ফ্লিপ:

একটি মুদ্রা ফ্লিপ থেকে আমরা কত তথ্য পেতে পারি?

উত্তর : -log(p) = -log(1/2) = 1 (bit)

উদাহরণ 2

যদি কোনও উল্কা যদি আগামীকাল পৃথিবীতে আঘাত করে p=2^{-22}তবে আমরা 22 বিট তথ্য পেতে পারি।

যদি আগামীকাল সূর্য ওঠে, p ~ 1 তবে এটি 0 বিটের তথ্য।

এনট্রপি

সুতরাং আমরা যদি interesting-nessকোনও ইভেন্টের প্রত্যাশা নিয়ে থাকি Yতবে এটি হ'ল এনট্রপি। অর্থাত্ এনট্রপি একটি ইভেন্টের আকর্ষণীয়-নেসের একটি প্রত্যাশিত মান।

H(Y) = E[ I(Y)]

আরও আনুষ্ঠানিকভাবে, এন্ট্রপিটি কোনও ইভেন্টের বিটগুলির প্রত্যাশিত সংখ্যা।

উদাহরণ

Y = 1: সম্ভাব্যতার p সহ একটি ইভেন্ট এক্স ঘটে

Y = 0: সম্ভাব্যতা 1-পি সহ একটি ইভেন্ট এক্স হয় না

H(Y) = E[I(Y)] = p I(Y==1) + (1-p) I(Y==0) 
     = - p log p - (1-p) log (1-p)

সমস্ত লগ জন্য বেস 2 লগ।

Answer 3

আমি আপনাকে গ্রাফিক দিতে পারি না, তবে সম্ভবত আমি একটি পরিষ্কার ব্যাখ্যা দিতে পারি।

মনে করুন আমাদের কাছে একটি তথ্য চ্যানেল রয়েছে, যেমন এমন একটি আলো যা প্রতিদিন একবার লাল বা সবুজ হয় fla এটি কতটা তথ্য জানায়? প্রথম অনুমানটি প্রতিদিন এক বিট হতে পারে। তবে কী যদি আমরা নীল যুক্ত করি, যাতে প্রেরকের তিনটি বিকল্প থাকে? আমাদের কাছে এমন একটি পরিমাপ তথ্য থাকতে হবে যা দু'টি শক্তি ব্যতীত অন্য জিনিসগুলি পরিচালনা করতে পারে, তবে এখনও যুক্ত হবে (সম্ভাব্য বার্তাগুলির সংখ্যাকে দুটি যোগ করে এমন উপায় এক বিট )। আমরা লগ ₂ নিয়ে এটি করতে পারি (সম্ভাব্য বার্তাগুলির সংখ্যা) নিয়ে এটি , তবে এটির আরও একটি সাধারণ উপায় আছে।

ধরা যাক আমরা লাল / সবুজ রঙে ফিরে এসেছি তবে লাল বাল্বটি জ্বলে উঠেছে (এটি সাধারণ জ্ঞান) যাতে প্রদীপটি সবসময় সবুজ রঙের হয়ে উঠতে পারে। চ্যানেলটি এখন অকেজো, পরবর্তী ফ্ল্যাশটি কী হবে তা আমরা জানিসুতরাং ঝলকানি কোনও তথ্য দেয় না, কোনও খবর দেয় না। এখন আমরা বাল্বটি মেরামত করি তবে একটি নিয়ম চাপায় যে লাল বাল্বটি পরপর দু'বার ফ্ল্যাশ না করে। প্রদীপটি যখন লালচে জ্বলে উঠবে তখন আমরা জানি পরবর্তী ফ্ল্যাশটি কী হবে। আপনি যদি এই চ্যানেলটির দ্বারা কিছুটা স্ট্রিম প্রেরণ করার চেষ্টা করেন তবে দেখতে পাবেন যে আপনার বিটগুলির তুলনায় এটি অবশ্যই আরও বেশি ফ্ল্যাশ সহ এনকোড করতে হবে (বাস্তবে 50% বেশি)। এবং যদি আপনি ঝলকগুলির ক্রম বর্ণনা করতে চান তবে আপনি কম বিট দিয়ে এটি করতে পারেন। প্রতিটি ফ্ল্যাশ স্বতন্ত্র (প্রসঙ্গ-মুক্ত) হলে একই প্রযোজ্য, তবে সবুজ ফ্ল্যাশগুলি লাল রঙের চেয়ে বেশি সাধারণ: ক্রমটি বর্ণনা করার জন্য আপনার যত কম বিট প্রয়োজন তত কম সম্ভাবনা এবং তত কম তথ্য, এতে সমস্ত উপায় সর্ব-সবুজ, বাল্ব-পোড়া-আউট সীমা।

এটি দেখা যাচ্ছে যে বিভিন্ন চিহ্নের সম্ভাবনার উপর ভিত্তি করে একটি সংকেত তথ্যের পরিমাণ পরিমাপ করার একটি উপায় রয়েছে। এক্স _i প্রতীক প্রাপ্তির সম্ভাবনা যদি p হয় _i তবে পরিমাণটি বিবেচনা করুন

-লগ পি i

ছোট পি _i , এই মানটি বৃহত্তর। যদি এক্স _i দ্বিগুণ সম্ভাবনা হয়ে যায় তবে এই মানটি একটি নির্দিষ্ট পরিমাণ (লগ (2)) দ্বারা বৃদ্ধি পায়। এটি আপনাকে বার্তায় একটি বিট যোগ করার স্মরণ করিয়ে দেওয়া উচিত।

প্রতীকটি কী হবে তা যদি আমরা না জানি (তবে আমরা সম্ভাব্যতাগুলি জানি) তবে বিভিন্ন সম্ভাবনার সংমিশ্রণের মাধ্যমে আমরা এই মানটির গড় গণনা করতে পারি, আমরা কতটা পাব:

আমি = -Σ পি আমি লগ (পি আই) )

এটি এক ফ্ল্যাশের তথ্য সামগ্রী।

লাল বাল্ব পুড়ে গেছে: পি লাল = 0, পি সবুজ = 1, আই = - (0 + 0) = 0
লাল এবং সবুজ সামঞ্জস্যযোগ্য: পি লাল = 1/2, পি সবুজ = 1/2 , আই = - (2 * 1/2 * লগ (1/2)) = লগ (2)
তিনটি রঙ, সমকক্ষ: p i = 1/3, আই = - (3 * 1/3 * লগ (1/3)) = লগ (3)
সবুজ এবং লাল, সম্ভাব্য দ্বিগুণ: সবুজ: পি লাল = 1/3 , পি সবুজ = 2/3, আই = - (1/3 লগ (1/3) + 2/3 লগ (2/3)) = লগ ( 3) - 2/3 লগ (2)

এই বার্তাটির তথ্য সামগ্রী বা এনট্রপি। এটি যখন সর্বাধিক হয় যখন বিভিন্ন প্রতীকগুলি সজ্জিত হয়। আপনি যদি পদার্থবিজ্ঞানী হন তবে আপনি প্রাকৃতিক লগ ব্যবহার করেন, আপনি যদি কম্পিউটার বিজ্ঞানী হন তবে আপনি লগ ₂ ব্যবহার করেন এবং বিট পান।

Answer 4

আমি আপনাকে সত্যিই তথ্য থিয়োরি, বায়সিয়ান পদ্ধতি এবং ম্যাকসেন্ট সম্পর্কে পড়ার পরামর্শ দিচ্ছি। শুরু করার জায়গাটি হ'ল ডেভিড ম্যাকেয়ের (বিনামূল্যে অনলাইন উপলব্ধ) বইটি:

http://www.inference.phy.cam.ac.uk/mackay/itila/

এই অনুমানের পদ্ধতিগুলি কেবলমাত্র পাঠ্য খনির চেয়ে অনেক বেশি সাধারণ এবং আমি কীভাবে এই বইটিতে থাকা কিছু সাধারণ বেসিক বা মেশিন লার্নিং এবং ম্যাক্সেন্ট বেয়েসিয়ান সম্পর্কিত প্রাথমিক বইগুলি না শিখলে এনএলপিতে কীভাবে এটি প্রয়োগ করা যায় তা আমি সত্যিই নির্ধারণ করতে পারি না one পদ্ধতি।

তথ্য প্রক্রিয়াকরণ এবং সংরক্ষণের জন্য এনট্রপি এবং সম্ভাব্যতা তত্ত্বের সংযোগটি সত্যই, সত্যই গভীর। এর স্বাদ দিতে, শ্যাননের কারণে একটি উপপাদ্য রয়েছে যা জানিয়েছে যে আপনি সর্বাধিক পরিমাণ গোলমাল যোগাযোগ চ্যানেলের মাধ্যমে ত্রুটি ছাড়াই পাস করতে পারবেন এমন শব্দটি প্রক্রিয়াটির এনট্রপির সমান। এমন একটি উপপাদ্যও রয়েছে যা সংযোগ দেয় যে আপনি আপনার কম্পিউটারে ন্যূনতম সম্ভাব্য মেমরিটি ডেটা তৈরি করার প্রক্রিয়াটির এনট্রোপিতে সংক্ষিপ্ত করতে কতটুকু ডেটা টুকরো করতে পারেন।

আমি মনে করি না যে আপনি যোগাযোগ তত্ত্বের সমস্ত উপপাদ্যগুলি সম্পর্কে শিখতে যাওয়া সত্যিই প্রয়োজনীয়, তবে এন্ট্রপি কী, এটি কীভাবে গণনা করা হয়, এটি তথ্য এবং অনুমানের সাথে সম্পর্ক কী ইত্যাদি সম্পর্কে বেসিকগুলি না শিখলে এটি শেখা সম্ভব নয় etc ...

Comments

রাফেলেরও একই চিন্তা ছিল। এটি স্ট্যাক ওভারফ্লোতে কোয়ান্টাম পদার্থবিজ্ঞানের কী জিজ্ঞাসার মতো, এটি একটি খুব বিস্তৃত অঞ্চল যা একটি একক উত্তরকে ভালভাবে ছড়িয়ে দেয় না।

— এস্কেল

Answer 5

আমি যখন একটি চিত্রের এনট্রপি গণনা করতে একটি অ্যালগরিদম বাস্তবায়ন করছিলাম তখন আমি এই লিঙ্কগুলি পেয়েছি, এখানে এবং এখানে দেখুন ।

এটি আমি ব্যবহার করে ছদ্ম-কোড, আপনার এটিকে চিত্রের চেয়ে পাঠ্যের সাথে কাজ করতে মানিয়ে নিতে হবে তবে নীতিগুলি একই হওয়া উচিত।

//Loop over image array elements and count occurrences of each possible
//pixel to pixel difference value. Store these values in prob_array
for j = 0, ysize-1 do $
    for i = 0, xsize-2 do begin
       diff = array(i+1,j) - array(i,j)
       if diff lt (array_size+1)/2 and diff gt -(array_size+1)/2 then begin
            prob_array(diff+(array_size-1)/2) = prob_array(diff+(array_size-1)/2) + 1
       endif
     endfor

//Convert values in prob_array to probabilities and compute entropy
n = total(prob_array)

entrop = 0
for i = 0, array_size-1 do begin
    prob_array(i) = prob_array(i)/n

    //Base 2 log of x is Ln(x)/Ln(2). Take Ln of array element
    //here and divide final sum by Ln(2)
    if prob_array(i) ne 0 then begin
        entrop = entrop - prob_array(i)*alog(prob_array(i))
    endif
endfor

entrop = entrop/alog(2)

আমি এই কোডটি কোথাও থেকে পেয়েছি তবে লিঙ্কটি আমি খুঁজে বের করতে পারি না।

Comments

চিত্রগুলির জন্য সেখানে অনেকগুলি আলাদা এনট্রপি () ফাংশন রয়েছে তবে ভাল প্রাকদর্শন ছাড়াই? আপনি কীভাবে আপনার কোডটিকে মাতালাবের নিজস্ব এনট্রপি () এবং এখানে কোডের সাথে mathworks.com/matlabcentral/fileexchange/28692-entropy এর সাথে তুলনা করতে পারেন পরবর্তীকালে, বিকাশকারী বলে যে এটি 1 ডি সংকেতের জন্য তবে ব্যবহারকারীরা এটি 2 ডি তে প্রসারিত করে রাখে। - - আপনার এন্ট্রপি ফাংশন ধরে নিচ্ছে যে মূল সংকেত 2 বিট এবং এটি বরং সরল istic ধরুন এটি এমআইটি-বিআইএইচ অ্যারিথমিয়া ইসিজি সিগন্যাল (১১ বিট) তবে 2 ডি চিত্রের জন্য উত্পন্ন। আমি মনে করি আপনি তখন এখানে সাধারণ 2-বিট বেস ব্যবহার করতে পারবেন না।

— লিও লোপল্ড হার্টজ 준영

Answer 6

অনানুষ্ঠানিকভাবে

এনট্রপি হ'ল তথ্য বা জ্ঞানের প্রাপ্যতা, তথ্যের অভাব ভবিষ্যতের ভবিষ্যদ্বাণীগুলিতে অসুবিধা সৃষ্টি করে যা উচ্চ এনট্রপি (টেক্সট মাইনিংয়ের পরবর্তী শব্দ ভবিষ্যদ্বাণী) এবং তথ্য / জ্ঞানের উপস্থিতি আমাদের ভবিষ্যতের আরও বাস্তব ভবিষ্যদ্বাণী (লো এনট্রপি) সহায়তা করবে।

যে কোনও প্রকারের প্রাসঙ্গিক তথ্য এন্ট্রপিকে হ্রাস করবে এবং আমাদের আরও বাস্তব ভবিষ্যতের ভবিষ্যদ্বাণী করতে সহায়তা করে, তথ্যটি হতে পারে "মাংস" শব্দটি বাক্যে উপস্থিত থাকে বা "মাংস" শব্দটি উপস্থিত নেই। একে ইনফরমেশন গেইন বলে

---

আনুষ্ঠানিকভাবে

এনট্রপি হ'ল পূর্বাভাসের ক্রমের অভাব

Answer 7

আপনি যখন এনএলটিকে নিয়ে একটি বই পড়ছেন তখন ম্যাক্সেন্ট ক্লাসিফায়ার মডিউল http://www.nltk.org/api/nltk.classify.html#module-nltk.classify.maxent

পাঠ্য খনির শ্রেণিবদ্ধকরণের জন্য পদক্ষেপগুলি হ'ল: প্রাক-প্রক্রিয়াজাতকরণ (টোকেনাইজেশন, স্টিমিং, তথ্য অর্জনের সাথে বৈশিষ্ট্য নির্বাচন ...), সংখ্যায় রূপান্তরকরণ (ফ্রিকোয়েন্সি বা টিএফ-আইডিএফ) (আমি মনে করি এটি ব্যবহার করার সময় বোঝার মূল পদক্ষেপ একটি অ্যালগরিদমের ইনপুট হিসাবে পাঠ্য যা কেবলমাত্র সংখ্যা গ্রহণ করে) এবং তারপরে ম্যাকসেন্টের সাথে শ্রেণিবদ্ধকরণ করুন, নিশ্চিত এটি কেবল একটি উদাহরণ।