calculusমাঝারি⏱ 10 মিনিট

Local ও Global Minimum — স্থানীয় আর বৈশ্বিক সর্বনিম্ন

Local and Global Minimum

🍛

বিরিয়ানির সেরা দোকান খোঁজা

ধর তুই পুরান ঢাকায় সেরা বিরিয়ানি খুঁজতে গেছিস। চকবাজারে একটা দোকানে খাইলি — অসাধারণ! তুই ভাবলি এইটাই সেরা। কিন্তু তোর বন্ধু শাকিল বলল 'মামা, হাজী বিরিয়ানি ট্রাই করছিস? নাজিরা বাজারে!' সেইখানে গিয়া খাইলি — আরো ভালো! কিন্তু আসল কথা, তুই তো পুরা ঢাকা ঘুরিস নাই। হয়তো ওল্ড ঢাকার কোনো গলিতে কেউ আরো সেরা বিরিয়ানি বানায় যেইটা তুই জানিসই না।

চকবাজারেরটা হইল Local Minimum — আশেপাশে সেরা কিন্তু overall সেরা না। নাজিরা বাজারেরটা আরেকটা Local Minimum বা হয়তো Global Minimum — পুরা ঢাকায় সেরা! ML-এ আমরা চাই Global Minimum, কিন্তু পাই অনেকসময় Local Minimum। গুরু বলেছে 'একটা গলিতে থাইমা না, পুরা শহর ঘুরো!'

সংজ্ঞা

Local Minimum হইল এমন একটা point যেইখানে function value তার আশেপাশের সব point থেকে কম, কিন্তু পুরা domain-এ সবচেয়ে কম নাও হইতে পারে। Global Minimum হইল পুরা domain-এ সবচেয়ে কম value-র point।

Local vs Global Minimum-এর formal definition

\[\text{Local: } f(x^*) \leq f(x) \; \forall \; |x - x^*| < \delta \quad | \quad \text{Global: } f(x^*) \leq f(x) \; \forall \; x \in \text{domain}\]

ব্যাখ্যা

Local Minimum বুঝি

কোনো point x*-এ যদি তার চারপাশের সব point-এ function value বেশি হয়, তাহলে x* হইল local minimum। পাহাড়ি এলাকায় একটা ছোট গর্তের তলানি — সেই গর্তে তুমি সবচেয়ে নিচুতে, কিন্তু পাশের পাহাড়ের ওপারে আরো গভীর গর্ত থাকতে পারে।

\[\nabla f(x^*) = 0 \quad \text{and} \quad \nabla^2 f(x^*) > 0\]

Global Minimum বুঝি

পুরা function-এর domain-এ যেই point-এ value সবচেয়ে কম, সেইটা global minimum। পুরা ঢাকায় সবচেয়ে best বিরিয়ানি — কেউ beat করতে পারবে না!

\[x^*_{\text{global}} = \arg\min_{x \in \mathcal{D}} f(x)\]

Saddle Point — গাধার পিঠ

এমন point যেইখানে এক direction-এ minimum কিন্তু আরেক direction-এ maximum। গাধার পিঠে বসলে দুই পাশে নামতে পারো কিন্তু সামনে-পিছনে উঠতে হয়। High-dimensional space-এ এইগুলা local minimum-এর চেয়ে বেশি সমস্যা করে।

\[\nabla f = 0, \quad \text{but } \nabla^2 f \text{ has both +ve and -ve eigenvalues}\]

ML-এ কেন সমস্যা

Gradient descent hill-climbing-এর মতো — নিচের দিকে যায়। কিন্তু যদি local minimum-এ পড়ে, তাহলে আটকে যায় কারণ চারদিকে উপরে। ভালো খবর হইল deep learning-এ বেশিরভাগ local minima আসলে 'good enough' — global minimum-এর কাছাকাছি loss দেয়।

Local ও Global Minimum খোঁজা

f(x) = x⁴ - 8x² + 12 function-এর local ও global minimum বের করো।

Step 1: First derivative = 0

Critical points খুঁজতে f'(x) = 0 সমাধান করি

\[f'(x) = 4x^3 - 16x = 4x(x^2 - 4) = 0 \implies x = 0, \pm 2\]

Step 2: Second derivative test

প্রতিটা critical point-এ f''(x) check করি — positive হইলে minimum

\[f''(x) = 12x^2 - 16 \implies f''(0) = -16 \text{ (max)}, \; f''(\pm 2) = 32 \text{ (min)}\]

Step 3: Function values compare

দুইটা minimum-এ f(x) এর value বের করি

\[f(2) = 16 - 32 + 12 = -4, \quad f(-2) = 16 - 32 + 12 = -4\]

Step 4: সিদ্ধান্ত

দুইটা point-ই same value দেয়, তাই দুইটাই global minimum!

\[x^*_{\text{global}} = \pm 2, \quad f_{\min} = -4\]

উত্তর:

x = ±2 এ global minimum, f = -4। x = 0 একটা local maximum (f = 12)। দুইটা বিরিয়ানির দোকানই সমান সেরা, গুরু!

ML-এ কোথায় লাগে?

💡

মনে রাখার ট্রিক

Local Minimum = মহল্লার সেরা বিরিয়ানি, Global Minimum = পুরা ঢাকার সেরা বিরিয়ানি। Gradient descent হইল ক্ষুধার্ত মানুষ — সে নিচের দিকে যায়। প্রথম দোকানে ঢুকলে আর বের হয় না (local minima trap)। Momentum হইল বন্ধু যে টাইনা বাইর করে বলে 'চল আরো ঘুরি!'

#local-minimum#global-minimum#saddle-point#optimization#loss-landscape#momentum#convergence