Евклидово пространство и ортогонализация

Скалярное произведение

Добавим к векторному пространству понятие длины и угла — скалярное произведение.

Евклидово пространство — вещественное векторное пространство V со скалярным произведением (·, ·): V×V → ℝ, удовлетворяющим:

• Симметричность: (u, v) = (v, u)
• Билинейность по обоим аргументам
• Положительная определённость: (v, v) ≥ 0 и (v, v) = 0 ⟺ v = 0

Норма: ‖v‖ = √(v, v). Угол: cos θ = (u, v)/(‖u‖·‖v‖).

Неравенство Коши–Буняковского: |(u, v)| ≤ ‖u‖·‖v‖.

Ортогональность

Векторы u, v ортогональны (u ⊥ v), если (u, v) = 0.

Теорема Пифагора: если u ⊥ v, то ‖u+v‖² = ‖u‖² + ‖v‖².

Ортонормированный базис: (eᵢ, eⱼ) = δᵢⱼ (дельта Кронекера). В ортонормированном базисе: (u, v) = Σᵢ uᵢvᵢ (стандартное скалярное произведение ℝⁿ).

Процесс ортогонализации Грама–Шмидта

По линейно независимым v₁, ..., vₙ строим ортонормированный базис e₁, ..., eₙ:

e₁ = v₁/‖v₁‖.

u₂ = v₂ − (v₂, e₁)e₁; e₂ = u₂/‖u₂‖.

uₖ = vₖ − Σᵢ₌₁^{k-1} (vₖ, eᵢ)eᵢ; eₖ = uₖ/‖uₖ‖.

Геометрически: каждый новый вектор — это исходный минус его проекция на уже построенное подпространство.

QR-разложение: V = QR, где Q — ортогональная матрица (столбцы eᵢ), R — верхнетреугольная. Это алгоритм Грама–Шмидта в матричном виде; используется в численных методах и МНК.

Ортогональные дополнения и проекция

Ортогональное дополнение подпространства U: U⊥ = {v: (v, u) = 0 ∀u ∈ U}.

V = U ⊕ U⊥ — прямая сумма (для конечномерных евклидовых пространств).

Проекция v на U: Pᵤv — единственный вектор в U, ближайший к v. ‖v − Pᵤv‖ = min{‖v − u‖: u ∈ U}.

Метод наименьших квадратов: Ax = b не имеет точного решения → ищем x*, минимизирующий ‖Ax−b‖². Решение: Aᵀ Ax* = Aᵀ b (нормальные уравнения). x* — проекция b на Im A.