optimizationসহজ⏱ 8 মিনিট

Loss Functions — ভুলের হিসাব

Loss Functions

🎯

জামালের ডার্ট খেলা

ধর তোর বন্ধু জামাল গুলশান ক্লাবে ডার্ট খেলতেছে। সে ১০ বার ছুঁড়লো। কতটা ভুল করলো সেইটা measure করতে হইব। একটা উপায় — প্রতিটা ছোঁড়া bullseye থেকে কত দূরে গেছে সেইটা মাপো, তারপর average করো। কিন্তু কিভাবে মাপবি? শুধু দূরত্ব নাও (L1)? নাকি দূরত্বের বর্গ নাও (L2) — যাতে বড় ভুলের penalty বেশি হয়? নাকি 'লাগছে কি লাগে নাই' হ্যাঁ/না করবি (classification)?

এই 'কতটা ভুল' measure করার function-ই হইল Loss Function! গুরু বলে — 'Loss function ছাড়া ML model শিখবে কিভাবে? এইটা model-কে বলে তুমি কত ভুল করতেছো, আর gradient descent ওই ভুল কমায়!'

সংজ্ঞা

Loss function (বা cost function) measure করে model-এর prediction আর actual value-এর মধ্যে কতটুকু পার্থক্য। Training-এ এই loss minimize করাই main goal। Different problem-এ different loss function লাগে।

Average Loss — সব data point-এর loss-এর গড়

\[\mathcal{L}(\theta) = \frac{1}{N} \sum_{i=1}^{N} \ell(y_i, \hat{y}_i)\]

ব্যাখ্যা

Regression Loss Functions

Continuous value predict করতে — বাড়ির দাম, temperature, stock price। MSE (Mean Squared Error) সবচেয়ে common — বড় ভুলে penalty বেশি। MAE (Mean Absolute Error) outlier-এ robust।

\[\text{MSE} = \frac{1}{N}\sum(y - \hat{y})^2, \quad \text{MAE} = \frac{1}{N}\sum|y - \hat{y}|\]

Classification Loss Functions

Category predict করতে — spam/not-spam, বিড়াল/কুকুর। Cross-Entropy loss সবচেয়ে popular। Binary-তে BCE, multi-class-এ Categorical CE। Wrong prediction-এ logarithmic penalty।

\[\text{BCE} = -\frac{1}{N}\sum[y\log(\hat{y}) + (1-y)\log(1-\hat{y})]\]

Loss Function কেন এত Important?

Loss function ভুল choose করলে model ভুল জিনিস optimize করবে। জামাল যদি ডার্ট-এ শুধু 'লাগছে কি লাগে নাই' দেখে (0/1 loss), সে কখনো precise aim শিখবে না। MSE দেখলে কত দূরে লাগছে সেইটাও শিখবে।

জামালের ডার্ট-এর MSE

জামাল ৪ বার ডার্ট ছুঁড়লো। Target ছিল bullseye (0 cm)। ডার্ট পড়লো: 3cm, -1cm, 5cm, -2cm দূরে। MSE আর MAE কত?

Step 1: Errors লেখ

Errors: 3, -1, 5, -2 (positive/negative = দিক)

\[e_i = y_i - \hat{y}_i = [3, -1, 5, -2]\]

Step 2: MSE Calculate

Error-এর বর্গ করো, তারপর গড়

\[\text{MSE} = \frac{3^2 + (-1)^2 + 5^2 + (-2)^2}{4} = \frac{9+1+25+4}{4} = 9.75\]

Step 3: MAE Calculate

Error-এর absolute value নাও, তারপর গড়

\[\text{MAE} = \frac{|3| + |-1| + |5| + |-2|}{4} = \frac{3+1+5+2}{4} = 2.75\]

উত্তর:

MSE = 9.75, MAE = 2.75। MSE-তে 5cm ভুলটা (outlier) penalty বেশি পাইছে (25)। MAE-তে সব ভুলকে সমান treat করে। তাই outlier-sensitive problem-এ MAE ভালো!

ML-এ কোথায় লাগে?

💡

মনে রাখার ট্রিক

Loss Function = জামালের ডার্ট কত ভুল গেল সেইটার হিসাব। MSE = বড় ভুলে বেশি শাস্তি, MAE = সবাইকে সমান শাস্তি, Cross-Entropy = হ্যাঁ/না answer-এ কত confident ভুল করলি!

#loss-function#mse#mae#cross-entropy#huber#focal-loss