linear-algebraকঠিন⏱ 18 মিনিট

Eigenvalue ও Eigenvector — নিজস্ব মান ও দিক

Eigenvalue and Eigenvector

🌀

পুরান ঢাকার লাটিম

ধর তুই পুরান ঢাকায় গেছস, চকবাজারের গলিতে বাচ্চারা লাটিম ঘুরাইতেছে। লাটিম যখন spin করে, সব পয়েন্ট ঘুরে — কিন্তু একটা জায়গা আছে যেইটা স্থির থাকে: লাটিমের ঠিক মাঝের axis! মামা বলল 'দেখ, সব কিছু ঘুরতেছে কিন্তু এই axis-টা নিজের জায়গায় আছে। শুধু একটু লম্বা-খাটো হইতে পারে, কিন্তু দিক বদলায় না!' একটা পোলাপান জিজ্ঞেস করল 'মামা, axis-টা কতটুকু stretch হয়?' মামা বলল 'সেইটাই eigenvalue! আর axis-এর direction-টাই eigenvector! ঘুরাও যতই — এই direction special!'

এইটাই Eigenvalue আর Eigenvector! একটা matrix যখন কোনো vector-এর উপর কাজ করে, বেশিরভাগ vector দিক বদলায়। কিন্তু কিছু special vector আছে যারা শুধু scale হয়, দিক বদলায় না — এরাই eigenvector। কতটুকু scale হইল সেইটা eigenvalue!

সংজ্ঞা

Matrix A-র eigenvector হইল সেই non-zero vector v যেইটারে A দিয়া multiply করলে দিক বদলায় না, শুধু scale হয়। সেই scaling factor-ই eigenvalue (λ)। সোজা কথায়: Av = λv — matrix-এর action শুধু stretching, কোনো rotation না।

Eigen Equation: A × eigenvector = eigenvalue × eigenvector

\[A\mathbf{v} = \lambda \mathbf{v}\]

ব্যাখ্যা

Eigen Equation বোঝো

Av = λv মানে কি? বাম পাশে matrix A vector v-কে transform করতেছে। ডান পাশে v-কে শুধু λ দিয়া scale করতেছে। দুইটা same হইলে v হইল eigenvector আর λ হইল eigenvalue। মানে A-র transformation v-এর উপর শুধু stretching — কোনো direction change নাই!

\[A\mathbf{v} = \lambda \mathbf{v} \iff (A - \lambda I)\mathbf{v} = \mathbf{0}\]

Eigenvalue কিভাবে বাইর করবা

Characteristic equation solve করো! (A - λI)v = 0 এর non-trivial solution থাকতে হইলে det(A - λI) = 0 হইতে হইব। এই equation solve করলে λ (eigenvalue) পাইবা। তারপর প্রতিটা λ-এর জন্য (A - λI)v = 0 solve করলে eigenvector v পাইবা।

\[\det(A - \lambda I) = 0 \quad \text{(Characteristic Equation)}\]

2×2 Example

ধর A = [[2, 1], [1, 2]]। det(A - λI) = (2-λ)(2-λ) - 1 = λ² - 4λ + 3 = (λ-1)(λ-3) = 0। তাহলে λ₁ = 1, λ₂ = 3। λ₁ = 1 দিলে eigenvector v₁ = [1, -1], λ₂ = 3 দিলে v₂ = [1, 1]। দেখো — v₁ direction-এ stretch 1x (same), v₂ direction-এ stretch 3x!

\[A = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix}, \quad \lambda_1 = 1, \; \mathbf{v}_1 = \begin{bmatrix} 1 \\ -1 \end{bmatrix}, \quad \lambda_2 = 3, \; \mathbf{v}_2 = \begin{bmatrix} 1 \\ 1 \end{bmatrix}\]

Covariance Matrix-এর Eigen Decomposition

2D data-র covariance matrix C = [[4, 2], [2, 3]]। Principal directions আর তাদের variance বাইর করো।

Step 1: Characteristic Equation

det(C - λI) = 0 set করো

\[\det \begin{bmatrix} 4-\lambda & 2 \\ 2 & 3-\lambda \end{bmatrix} = (4-\lambda)(3-\lambda) - 4 = \lambda^2 - 7\lambda + 8 = 0\]

Step 2: Eigenvalue বাইর করো

Quadratic formula apply করো

\[\lambda = \frac{7 \pm \sqrt{49 - 32}}{2} = \frac{7 \pm \sqrt{17}}{2} \implies \lambda_1 \approx 5.56, \; \lambda_2 \approx 1.44\]

Step 3: Eigenvector বাইর করো

প্রতিটা λ-এর জন্য (C - λI)v = 0 solve করো। λ₁ = 5.56 দিলে v₁ ≈ [0.79, 0.62], λ₂ = 1.44 দিলে v₂ ≈ [-0.62, 0.79]।

\[\mathbf{v}_1 \approx \begin{bmatrix} 0.79 \\ 0.62 \end{bmatrix}, \quad \mathbf{v}_2 \approx \begin{bmatrix} -0.62 \\ 0.79 \end{bmatrix}\]

Step 4: Interpretation

v₁ direction-এ data সবচেয়ে বেশি vary করে (variance = 5.56), v₂ direction-এ কম vary করে (variance = 1.44)। v₁-ই principal component!

\[\text{Total variance} = \lambda_1 + \lambda_2 = 5.56 + 1.44 = 7\]

উত্তর:

λ₁ ≈ 5.56 (max variance direction), λ₂ ≈ 1.44 (min variance direction)। PCA-তে v₁ ধরলে 5.56/7 = 79.4% variance capture হইব! মামা বলে 'বড় eigenvalue-এর direction-ই বড় কথা বলে!'

ML-এ কোথায় লাগে?

💡

মনে রাখার ট্রিক

Eigen = নিজস্ব। Eigenvector = নিজস্ব দিক (matrix যেদিকে শুধু stretch করে), Eigenvalue = নিজস্ব মান (কতটুকু stretch)। লাটিমের axis মনে করো — সব ঘুরে কিন্তু axis স্থির!

#eigenvalue#eigenvector#characteristic-equation#pca#pagerank#spectral#decomposition