calculusকঠিন⏱ 11 মিনিট

Taylor Series — অসীম যোগফলে আসল ফাংশন

Taylor Series

🍳

নানীর রেসিপি শেখা

ধর তোর নানী ঢাকার সেরা কাচ্চি বিরিয়ানি বানায়। তুই রেসিপি শিখতে চাস কিন্তু নানী বলে 'এইটা মাথায় আছে, লেখা নাই।' তুই বললি 'নানী, সংক্ষেপে বলো।' নানী বলল 'চাল আর মাংস রান্না করো' — এইটা zeroth approximation, মোটামুটি idea পাইলি কিন্তু taste আসবে না। তারপর বলল 'এলাচ, দারচিনি, তেজপাতা দাও' — first approximation, একটু ভালো হইল। তারপর 'জাফরান দুধে ভিজাইয়া দাও, পেঁয়াজ বেরেস্তা করো' — second approximation, এখন কাছাকাছি! যত বেশি detail যোগ করবা, তত আসল taste-এর কাছে যাইবা।

এইটাই Taylor Series, গুরু! যেকোনো complicated function-কে simple polynomial terms দিয়ে approximate করা — প্রথমে constant, তারপর linear, তারপর quadratic, তারপর cubic... যত বেশি term যোগ করবা, তত accurate! নানীর রেসিপির মতো — যত বেশি detail, তত আসল taste!

সংজ্ঞা

Taylor Series হইল একটা function-কে একটা point-এর আশেপাশে infinite polynomial series হিসেবে express করা। Function-এর সব derivative information use কইরা polynomial approximation বানানো হয়। a = 0 হইলে এইটাকে Maclaurin Series বলে।

Taylor Series of f(x) around point a

\[f(x) = \sum_{n=0}^{\infty} \frac{f^{(n)}(a)}{n!}(x - a)^n = f(a) + f'(a)(x-a) + \frac{f''(a)}{2!}(x-a)^2 + \cdots\]

ব্যাখ্যা

মূল Idea — Polynomial দিয়া Approximation

যেকোনো smooth function-কে তার এক point-এর value, slope, curvature, আর higher derivatives use কইরা polynomial হিসেবে লেখা যায়। যত বেশি term, তত accurate approximation — কিন্তু শুধু সেই point-এর কাছাকাছি। দূরে গেলে approximation খারাপ হইতে পারে।

\[f(x) \approx f(a) + f'(a)(x-a) + \frac{f''(a)}{2}(x-a)^2 \quad \text{(2nd order)}\]

প্রতিটা Term কী করে

0th term f(a): function-এর value (রেসিপির basic idea)। 1st term f'(a)(x-a): linear trend (মশলা)। 2nd term: curvature (texture)। 3rd term: rate of curvature change (subtlety)। প্রতিটা term আরো fine detail যোগ করে।

\[\underbrace{f(a)}_{\text{constant}} + \underbrace{f'(a)(x-a)}_{\text{linear}} + \underbrace{\frac{f''(a)}{2!}(x-a)^2}_{\text{quadratic}} + \cdots\]

বিখ্যাত Taylor Series

কিছু function-এর Taylor series মুখস্থ রাখা useful: e^x, sin(x), cos(x), ln(1+x)। এইগুলা ML-এ activation function approximation, numerical computation, আর theoretical analysis-এ বারবার আসে।

\[e^x = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \cdots, \quad \sin(x) = x - \frac{x^3}{3!} + \frac{x^5}{5!} - \cdots\]

Multivariate Taylor Series

Multiple variable-এর function-এ gradient (1st order) আর Hessian (2nd order) দিয়া Taylor expansion হয়। ML-এ loss function-কে current point-এর আশেপাশে quadratic approximation করা খুব common — Newton's method ঠিক এইটাই করে!

\[f(\mathbf{x} + \Delta\mathbf{x}) \approx f(\mathbf{x}) + \nabla f^T \Delta\mathbf{x} + \frac{1}{2} \Delta\mathbf{x}^T \mathbf{H} \Delta\mathbf{x}\]

e^x-এর Taylor Approximation

e^x function-কে x = 0 এর আশেপাশে 4th order পর্যন্ত Taylor expand করো। x = 1 এ actual value-র সাথে compare করো।

Step 1: Derivatives বের করি

e^x এর magic — সব derivative নিজেই! f(0) = f'(0) = f''(0) = ... = 1

\[f^{(n)}(x) = e^x \implies f^{(n)}(0) = 1 \; \forall n\]

Step 2: Taylor series লিখি

a = 0 বসাই (Maclaurin series)

\[e^x \approx 1 + x + \frac{x^2}{2} + \frac{x^3}{6} + \frac{x^4}{24}\]

Step 3: x = 1 এ evaluate করি

প্রতিটা term-এর value যোগ করি

\[e^1 \approx 1 + 1 + 0.5 + 0.167 + 0.042 = 2.708\]

Step 4: Actual value-র সাথে compare

e = 2.71828... আর আমাদের approximation 2.708

\[\text{Error} = |2.71828 - 2.708| = 0.01028 \approx 0.38\%\]

উত্তর:

মাত্র 5 term দিয়া e^x approximate করলে 0.38% error — নানীর রেসিপির ৫টা step ফলো করলেই কাচ্চির taste 99.6% accurate, গুরু!

ML-এ কোথায় লাগে?

💡

মনে রাখার ট্রিক

Taylor Series = নানীর রেসিপি শেখা। 0th term = 'চাল আর মাংস' (basic idea), 1st term = 'মশলা দাও' (direction/slope), 2nd term = 'জাফরান দুধে ভিজাও' (curvature/texture), 3rd term = 'ধীরে ধীরে dum দাও' (fine detail)। যত term, তত আসল taste-এর কাছে। গুরু বলে — 'রান্না আর math একই — patience রাখো, detail যোগ করো!'

#taylor-series#maclaurin#polynomial-approximation#quadratic-approximation#convergence#xgboost#activation-function