information-theoryমাঝারি⏱ 8 মিনিট

Entropy — অনিশ্চয়তার পরিমাপ

Entropy

🎲

কামরুলের গেসিং গেম

ধর তোর বন্ধু কামরুল গুলিস্তানে বইসা একটা গেম খেলতেছে। সে বলল 'মামা, আমি একটা জিনিস ভাবতেছি, গেস কর!' তুই জিজ্ঞেস করলি 'চা না কফি?' সে বলল 'সবসময় চা।' তাইলে surprise কই? কোনো surprise নাই! কিন্তু যদি বলে 'চা, কফি, লাচ্ছি, বোরহানি — যেকোনোটা হইতে পারে, সবগুলার chance সমান' — তাইলে? তুই গেস করতে করতে ঘামায়া যাবি! এই ঘামানোর পরিমাণই হইল uncertainty।

এই uncertainty বা অনিশ্চয়তার পরিমাপটাই হইল Entropy! যত বেশি সম্ভাবনা সমানভাবে ছড়ানো, তত বেশি entropy। গুরু বলে — 'surprise বেশি মানে entropy বেশি!'

সংজ্ঞা

Entropy হইল একটা probability distribution-এর average surprise বা uncertainty-এর পরিমাপ। Shannon entropy বলে একটা random variable-এর outcome জানতে গড়ে কত bit information লাগব।

Shannon Entropy — প্রতিটা outcome-এর surprise-এর weighted average

\[H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)\]

ব্যাখ্যা

Surprise কী জিনিস?

কোনো event-এর probability কম হইলে সেইটা ঘটলে surprise বেশি। রহিম রোজ বিরিয়ানি খায় — আজকেও খাইল, surprise নাই। কিন্তু রহিম আজকে সালাদ খাইল? মহা surprise! কম probable ঘটনায় বেশি information থাকে।

\[\text{Surprise}(x) = -\log_2 p(x)\]

Entropy = Average Surprise

এখন সব possible outcome-এর surprise-এর weighted average নিলে পাবি entropy। Fair coin-এ Head আর Tail সমান chance — entropy সবচেয়ে বেশি (1 bit)। Biased coin-এ একদিকে বেশি ঝুঁকলে entropy কমে।

\[H(\text{fair coin}) = -\frac{1}{2}\log_2\frac{1}{2} - \frac{1}{2}\log_2\frac{1}{2} = 1 \text{ bit}\]

Maximum Entropy কখন?

যখন সব outcome-এর probability সমান তখন entropy maximum। ঢাকায় ৪টা মৌসুম — যদি প্রতিটার chance সমান হইত (25%) তাইলে max entropy। কিন্তু গরমকাল বেশি থাকে, তাই entropy কম।

\[H_{max} = \log_2(n) \quad \text{যখন সব } p_i = \frac{1}{n}\]

ঢাকার আবহাওয়ার Entropy

ঢাকায় ৩টা আবহাওয়া: রোদ (50%), বৃষ্টি (30%), মেঘলা (20%)। এই distribution-এর entropy কত?

Step 1: Probabilities লেখ

p(রোদ) = 0.5, p(বৃষ্টি) = 0.3, p(মেঘলা) = 0.2

\[p_1 = 0.5, \quad p_2 = 0.3, \quad p_3 = 0.2\]

Step 2: প্রতিটার surprise বের কর

প্রতিটা outcome-এর -p·log₂(p) ক্যালকুলেট কর

\[-0.5 \log_2(0.5) = 0.5, \quad -0.3 \log_2(0.3) \approx 0.521, \quad -0.2 \log_2(0.2) \approx 0.464\]

Step 3: যোগ কর

তিনটা যোগ করলেই entropy পাবি

\[H = 0.5 + 0.521 + 0.464 = 1.485 \text{ bits}\]

উত্তর:

ঢাকার আবহাওয়ার entropy ≈ 1.485 bits। Max possible ছিল log₂(3) ≈ 1.585 bits। মানে distribution পুরা uniform না, কিন্তু বেশ spread out।

ML-এ কোথায় লাগে?

💡

মনে রাখার ট্রিক

Entropy = অনিশ্চয়তা = কামরুলের গেসিং গেমে ঘামানোর পরিমাণ। সব সমান chance হইলে সবচেয়ে বেশি ঘামাবি — max entropy!

#entropy#shannon#information#uncertainty#surprise#bits

আগের চ্যাপ্টার

central limit theorem

পরের চ্যাপ্টার

cross entropy