Shannon Entropy
শ্যানন এনট্রপি
H(X) = −Σ p(x) log₂ p(x) — একটা random source-এর প্রতিটা আউটকাম গড়ে optimally এনকোড করতে কত bit লাগবে তার তাত্ত্বিক সর্বনিম্ন সীমা।
also: Entropy, Information Entropy
ফলাফল যত অনিশ্চিত (uniform distribution), entropy তত বেশি — fair
coin-এর H = 1 bit, বায়াসড coin-এর তার চেয়ে কম, সবসময়-একই-ফলাফলের
source-এর H = 0।
Source coding theorem (Shannon): কোনো lossless কোড গড়ে
entropy-এর নিচে কম্প্রেস করতে পারে না; Huffman coding এই সীমার
কাছাকাছি পৌঁছায় (entropy-achieving construction)।
computer-representation/serialization-binary-formats-এর প্রতিটা
compression scheme আসলে এই সীমার সাথে দর-কষাকষি।
Cross-entropy (-Σ p(x) log q(x)) — সত্যিকার distribution p আর
model-এর predicted distribution q-এর মধ্যে পার্থক্য মাপে — এটাই
neural network classifier-এর সবচেয়ে সাধারণ loss function,
cs-theory/ai-ml-foundations-from-first-principles-এ যার প্রয়োগ
দেখা যায়।