Собственные значения и собственные векторы

Специальные направления

Что происходит с большинством векторов при умножении на матрицу? Они меняют и длину, и направление. Но некоторые векторы меняют только длину — оставаясь на той же прямой. Эти особые векторы фундаментальны.

Собственный вектор матрицы A — ненулевой вектор v такой, что Av = λv, где λ — собственное значение.

Физически: собственный вектор — «инвариантное направление» преобразования. Масштабирование без поворота.

Характеристический многочлен

Av = λv ⟺ (A − λE)v = 0 ⟺ det(A − λE) = 0.

Характеристический многочлен: pₐ(λ) = det(A − λE) — многочлен степени n от λ.

Собственные значения — корни pₐ(λ). По основной теореме алгебры в ℂ их ровно n (с учётом кратностей).

Для вещественной симметричной матрицы все собственные значения вещественны.

Диагонализация

Матрица A диагонализируема, если существует обратимая матрица P такая, что P⁻¹AP = diag(λ₁, ..., λₙ). Столбцы P — собственные векторы, диагональные элементы — собственные значения.

A диагонализируема ⟺ A имеет n линейно независимых собственных векторов.

Достаточное условие: n различных собственных значений.

Приложения

Возведение в степень: если A = PDP⁻¹, то Aᵏ = PDᵏP⁻¹. Dᵏ — диагональная: просто возводим диагонали в степень.

Мощь: решение линейных рекуррентностей, систем ОДУ, марковских цепей.

Числа Фибоначчи: F(n+1) = F(n) + F(n−1). Матрица [[1,1],[1,0]]ⁿ даёт формулу Бине через собственные значения (золотое сечение φ = (1+√5)/2).

Принцип главных компонент (PCA): собственные векторы ковариационной матрицы — главные компоненты данных.