Основы линейной алгебры: векторы, матрицы, преобразования

Линейная алгебра — это математика структурированных коллекций — векторов и матриц — и преобразований между ними. Если математический анализ занимается непрерывно изменяющимися величинами, то линейная алгебра имеет дело со структурированными системами. Эти две области глубоко связаны, и современная прикладная математика опирается на обе.

Наиболее важное, что нужно понять о линейной алгебре: матрицы представляют линейные преобразования. Матрица — это не просто таблица чисел, а функция, которая принимает векторы на вход и выдаёт векторы на выход. Как только это усвоено, остальная часть предмета становится гораздо понятнее.

В этой статье рассматривается, о чём на самом деле линейная алгебра, векторы (как нечто большее, чем стрелки), линейные преобразования, матрицы как представления преобразований, операции над матрицами, определители и то, что они измеряют, линейная независимость и порождение, векторные пространства и связи с машинным обучением, компьютерной графикой и физикой.

Что такое линейная алгебра на самом деле

Историческая мотивация для развития линейной алгебры заключалась в решении систем линейных уравнений. Система вида

$2x+3y=7$ $x-y=1$

имеет единственное решение: $x=2,y=1$. Для двух уравнений с двумя неизвестными можно решить задачу вручную. Для большого числа уравнений с большим числом неизвестных — как это бывает в реальных приложениях — нужны систематические методы.

Эти методы и составляют линейную алгебру. Приведённую выше систему можно записать так:

$\left(\begin{array}{cc}2& 3\\ 1& -1\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{c}7\\ 1\end{array}\right)$

или, более компактно, $A\mathbf{x}=\mathbf{b}$. Решить систему — значит найти вектор $\mathbf{x}$ такой, что при действии матрицы $A$ на $\mathbf{x}$ результатом будет $\mathbf{b}$.

Такое формулирование обобщается. Вместо двух уравнений с двумя неизвестными можно иметь 1000 уравнений с 1000 неизвестными или 1 000 000 с 1 000 000. Алгебра остаётся той же; меняется только размер.

Современная линейная алгебра гораздо шире исходной мотивации. Она включает векторные пространства, линейные преобразования, скалярные произведения, собственные значения, разложения и многие другие понятия. Но исходная мотивация — систематические методы для структурированных линейных задач — проходит через всё.

Векторы: больше, чем стрелки

При первом знакомстве векторы представляют как стрелки в пространстве — величины, обладающие длиной и направлением. Это полезный первый образ, но он слишком узок.

Вектор — это элемент векторного пространства. Эта фраза кажется круговой до тех пор, пока не определено само векторное пространство. Операционально: вектор — это структурированная коллекция чисел (его компоненты), подчиняющаяся определённым правилам сложения и умножения на число.

В двумерном случае вектор — это пара: $\mathbf{v}=(3,4)$. В трёхмерном — тройка: $\mathbf{v}=(3,4,5)$. В $n$ измерениях — $n$-ка. Число компонентов — это размерность вектора.

Можно складывать два вектора одной размерности по компонентам:

$\mathbf{u}+\mathbf{v}=(u_1,u_2)+(v_1,v_2)=(u_1+v_1,u_2+v_2)$

Можно умножать вектор на скаляр (число):

$c\mathbf{v}=c(v_1,v_2)=(c{v}_1,c{v}_2)$

Эти две операции — сложение векторов и умножение вектора на скаляр — являются определяющими.

Почему «больше, чем стрелки»? Потому что векторы могут представлять множество объектов, не являющихся пространственными:

• Список признаков, описывающих данные (рост, вес, возраст), — это вектор.
• Распределение вероятностей по $n$ исходам — это вектор.
• Значения функции в $n$ точках образуют вектор.
• Полином $3+2x+x^2$ можно закодировать как вектор $(3,2,1)$.

Геометрический образ (стрелки) полезен для двух и трёх измерений. Для более высоких размерностей и абстрактных приложений более общим является алгебраический образ (кортежи чисел).

Операции над векторами

Базовые операции над векторами:

Длина (норма):

$\Vert \mathbf{v}\Vert =\sqrt{v_1^2+v_2^2+\cdots +v_n^2}$

Для $\mathbf{v}=(3,4)$: $\Vert \mathbf{v}\Vert =\sqrt{9+16}=5$.

Единичный вектор:

$\hat{\mathbf{v}}=\frac{\mathbf{v}}{\Vert \mathbf{v}\Vert }$

Вектор длины 1, направленный в ту же сторону, что и $\mathbf{v}$.

Скалярное произведение (или внутреннее произведение):

$\mathbf{u}\cdot \mathbf{v}=u_1{v}_1+u_2{v}_2+\cdots +u_n{v}_n$

Скалярное произведение даёт скаляр. Геометрически, $\mathbf{u}\cdot \mathbf{v}=\Vert \mathbf{u}\Vert \Vert \mathbf{v}\Vert \cos \theta$, где $\theta$ — угол между векторами. Скалярное произведение измеряет, насколько два вектора «смотрят в одну сторону».

Особые случаи:

• $\mathbf{u}\cdot \mathbf{v}=0$ означает, что векторы ортогональны (перпендикулярны).
• $\mathbf{u}\cdot \mathbf{u}=\Vert \mathbf{u}{\Vert }^2$.

Пример 1: для $\mathbf{u}=(1,2,3)$ и $\mathbf{v}=(4,5,6)$:

$\mathbf{u}\cdot \mathbf{v}=1\cdot 4+2\cdot 5+3\cdot 6=4+10+18=32$

Векторное произведение (только в 3D):

$\mathbf{u}\times \mathbf{v}=(u_2{v}_3-u_3{v}_2,u_3{v}_1-u_1{v}_3,u_1{v}_2-u_2{v}_1)$

Даёт вектор, перпендикулярный и $\mathbf{u}$, и $\mathbf{v}$. Широко используется в физике (момент силы, магнитные силы) и компьютерной графике (нормали).

Линейные преобразования

Линейное преобразование — это функция $T$ из одного векторного пространства в другое, сохраняющая сложение векторов и умножение на скаляр:

$T(\mathbf{u}+\mathbf{v})=T(\mathbf{u})+T(\mathbf{v})$ $T(c\mathbf{u})=c\cdot T(\mathbf{u})$

Иными словами: если сложить два вектора и затем применить $T$, получится тот же результат, что и при применении $T$ к каждому вектору с последующим сложением результатов. Если домножить вектор на скаляр и затем применить $T$, результат совпадёт с тем, что получается при сначала применённом $T$, а затем домножении на тот же скаляр.

У линейных преобразований есть важнейшее следствие: линейное преобразование полностью определяется тем, что оно делает с базисом. Если известно, как $T$ преобразует каждый базисный вектор, то известно, как оно преобразует любой вектор — потому что любой вектор является линейной комбинацией базисных векторов, а $T$ сохраняет линейные комбинации.

Вот почему работают матрицы. Матрица — это компактный способ записать, что делает линейное преобразование с каждым базисным вектором.

Примеры линейных преобразований:

• Поворот в 2D: $T(x,y)=(x\cos \theta -y\sin \theta ,x\sin \theta +y\cos \theta )$.
• Отражение: $T(x,y)=(x,-y)$ — отражение относительно оси $x$.
• Масштабирование: $T(x,y)=(cx,cy)$ — масштабирует обе компоненты на $c$.
• Проекция: $T(x,y)=(x,0)$ — проекция на ось $x$.

Каждое из этих преобразований может быть представлено матрицей.

Матрицы: представление преобразований

Матрица — это прямоугольная таблица чисел. Матрицу с $m$ строками и $n$ столбцами записывают так:

$A=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)$

Каждый элемент $a_{ij}$ — это элемент в строке $i$, столбце $j$.

Умножение матрицы на вектор. Если $A$ — матрица размера $m\times n$, а $\mathbf{x}$ — $n$-мерный столбец-вектор, то $A\mathbf{x}$ — это $m$-мерный столбец-вектор, определяемый как

$(A\mathbf{x}{)}_i={\sum }_{j=1}^n{a}_{ij}{x}_j$

Иными словами: $i$-я компонента $A\mathbf{x}$ — это скалярное произведение $i$-й строки $A$ с вектором $\mathbf{x}$.

Пример 2: $A=\left(\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right)$, $\mathbf{x}=\left(\begin{array}{c}7\\ 8\end{array}\right)$.

$A\mathbf{x}=\left(\begin{array}{c}1\cdot 7+2\cdot 8\\ 3\cdot 7+4\cdot 8\\ 5\cdot 7+6\cdot 8\end{array}\right)=\left(\begin{array}{c}23\\ 53\\ 83\end{array}\right)$

Матрица 3×2 отображает 2-мерный вектор в 3-мерный. Размеры принципиальны — у матрицы должно быть столько же столбцов, сколько у вектора компонентов.

Связь с линейными преобразованиями. Столбцы матрицы $A$ — это именно образы базисных векторов. Первый столбец $(1,3,5)$ — это $A{\mathbf{e}}_1$, где ${\mathbf{e}}_1=(1,0)$. Второй столбец $(2,4,6)$ — это $A{\mathbf{e}}_2$, где ${\mathbf{e}}_2=(0,1)$. Матрица кодирует преобразование, фиксируя, куда переходит каждый базисный вектор.

Операции над матрицами

Сложение матриц. Складываем элементы по компонентам (только для матриц одинакового размера):

$A+B=\left(\begin{array}{cc}{a}_{11}+b_{11}& a_{12}+b_{12}\\ a_{21}+b_{21}& a_{22}+b_{22}\end{array}\right)$

Умножение матрицы на скаляр. Умножаем каждый элемент на скаляр:

$cA=\left(\begin{array}{cc}c{a}_{11}& c{a}_{12}\\ c{a}_{21}& c{a}_{22}\end{array}\right)$

Умножение матриц. Если $A$ имеет размер $m\times n$, а $B$ — $n\times p$, то $AB$ — матрица размера $m\times p$ с элементами

$(AB{)}_{ij}={\sum }_{k=1}^n{a}_{ik}{b}_{kj}$

Иными словами: $(i,j)$-й элемент $AB$ — это скалярное произведение $i$-й строки $A$ и $j$-го столбца $B$.

Пример 3:

$A=\left(\begin{array}{cc}1& 2\\ 3& 4\end{array}\right),B=\left(\begin{array}{cc}5& 6\\ 7& 8\end{array}\right)$

$AB=\left(\begin{array}{cc}1\cdot 5+2\cdot 7& 1\cdot 6+2\cdot 8\\ 3\cdot 5+4\cdot 7& 3\cdot 6+4\cdot 8\end{array}\right)=\left(\begin{array}{cc}19& 22\\ 43& 50\end{array}\right)$

Почему такое странное определение? Потому что умножение матриц соответствует композиции линейных преобразований. Если $A$ представляет преобразование $T_A$, а $B$ — $T_B$, то $AB$ представляет $T_A\circ T_B$ (сначала применяется $T_B$, затем $T_A$).

Умножение матриц некоммутативно. В общем случае $AB\ne BA$. Это фундаментальное свойство и отражает тот факт, что порядок важен при композиции преобразований.

Единичная матрица. Матрица $I$ с 1 на диагонали и 0 во всех остальных позициях действует как единичное преобразование: $AI=IA=A$.

$I_3=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)$

Обратная матрица. Для квадратной матрицы $A$ обратной $A^{-1}$ называется матрица, удовлетворяющая $A{A}^{-1}=A^{-1}A=I$. Не каждая матрица имеет обратную. Матрица обратима (или несингулярна) тогда и только тогда, когда её определитель отличен от нуля.

Транспонирование. Транспонированная матрица $A^T$ получается перестановкой строк и столбцов: $(A^T{)}_{ij}=A_{ji}$.

Определители

Определитель квадратной матрицы — это скаляр, который фиксирует ключевую информацию о соответствующем преобразовании.

Для матрицы 2×2:

$\det \left(\begin{array}{cc}a& b\\ c& d\end{array}\right)=ad-bc$

Для матрицы 3×3:

$\det \left(\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right)=a(ei-fh)-b(di-fg)+c(dh-eg)$

Для более крупных матриц определитель вычисляют рекурсивным разложением по минорам. (На практике вычислительные пакеты используют более эффективные методы.)

Что измеряет определитель?

Для матрицы 2×2: ориентированную площадь параллелограмма, натянутого на векторы-столбцы. Для матрицы 3×3: ориентированный объём параллелепипеда. В $n$ измерениях: ориентированный $n$-объём.

Знак показывает ориентацию: положительный — преобразование сохраняет ориентацию; отрицательный — меняет её (как отражение).

Ключевые факты:

• $\det A=0$ тогда и только тогда, когда $A$ не обратима. (Геометрически: преобразование схлопывает объём в ноль.)
• $\det (AB)=\det (A)\det (B)$ — определители перемножаются.
• $\det (A^T)=\det (A)$ — определитель сохраняется при транспонировании.

Линейная независимость, порождение, базис

Линейная комбинация. Линейной комбинацией векторов ${\mathbf{v}}_1,{\mathbf{v}}_2,\dots ,{\mathbf{v}}_k$ называется любой вектор вида

$c_1{\mathbf{v}}_1+c_2{\mathbf{v}}_2+\cdots +c_k{\mathbf{v}}_k$

где $c_1,\dots ,c_k$ — скаляры.

Порождение (span). Порождением набора векторов называется множество всех их линейных комбинаций. Геометрически: прямая, плоскость или более высокоразмерное подпространство, которое они «заполняют».

Линейная независимость. Набор векторов линейно независим, если ни один вектор из набора не может быть выражен как линейная комбинация остальных. Эквивалентно: единственный способ получить нулевой вектор как линейную комбинацию этих векторов — взять все коэффициенты равными нулю.

Базис. Базис векторного пространства $V$ — это линейно независимый набор, порождающий $V$. Любой вектор из $V$ может быть единственным образом записан как линейная комбинация базисных векторов.

Размерность. Размерность векторного пространства — это число векторов в любом базисе. (Она не зависит от выбора базиса.) Стандартное евклидово пространство размерности $n$ имеет размерность $n$.

Пример 4: в ${\mathbb{R}}^2$ векторы $(1,0)$ и $(0,1)$ линейно независимы и порождают ${\mathbb{R}}^2$. Значит, они образуют базис. Любой вектор $(a,b)$ можно записать как $a(1,0)+b(0,1)$.

Другой базис для ${\mathbb{R}}^2$: $(1,1)$ и $(1,-1)$. Они также порождают ${\mathbb{R}}^2$ и линейно независимы. Вектор $(3,1)$ можно представить как $2(1,1)+1(1,-1)$.

Векторные пространства (кратко)

Векторное пространство — это множество $V$, снабжённое двумя операциями (сложением векторов и умножением на скаляр), удовлетворяющими восьми аксиомам:

1. Замкнутость относительно сложения: $\mathbf{u}+\mathbf{v}\in V$.
2. Замкнутость относительно умножения на скаляр: $c\mathbf{u}\in V$.
3. Коммутативность сложения: $\mathbf{u}+\mathbf{v}=\mathbf{v}+\mathbf{u}$.
4. Ассоциативность сложения: $(\mathbf{u}+\mathbf{v})+\mathbf{w}=\mathbf{u}+(\mathbf{v}+\mathbf{w})$.
5. Нулевой вектор: $\exists 0$ такой, что $\mathbf{v}+0=\mathbf{v}$.
6. Добавление противоположного: для каждого $\mathbf{v}$ существует $-\mathbf{v}$ такой, что $\mathbf{v}+(-\mathbf{v})=0$.
7. Дистрибутивность: $c(\mathbf{u}+\mathbf{v})=c\mathbf{u}+c\mathbf{v}$, $(c+d)\mathbf{u}=c\mathbf{u}+d\mathbf{u}$.
8. Единичный скаляр: $1\mathbf{v}=\mathbf{v}$.

Эти аксиомы абстрагируют свойства стрелок в пространстве. Любой объект, удовлетворяющий им, является векторным пространством. Примеры: ${\mathbb{R}}^n$, пространство полиномов степени $\le n$, пространство непрерывных функций, пространство матриц $m\times n$.

В серьёзном курсе по математике вы бы работали с этими абстракциями. Для прикладных задач, как правило, достаточно ${\mathbb{R}}^n$.

Решение линейных систем

Для системы $A\mathbf{x}=\mathbf{b}$ возможны разные случаи:

• Единственное решение: $A$ — квадратная и обратима. Тогда решение $\mathbf{x}=A^{-1}\mathbf{b}$.
• Нет решения: $\mathbf{b}$ не лежит в столбцовом пространстве матрицы $A$. Система несовместна.
• Бесконечно много решений: у матрицы $A$ есть нетривиальное ядро (векторы, переходящие в нуль). Любое решение плюс любой вектор из ядра также является решением.

Гауссово исключение — стандартный алгоритм: с помощью строковых операций приводят $A$ к верхнетреугольному виду (так называемой ступенчатой форме), затем решают систему обратной подстановкой.

Пример 5: решить систему

$\left(\begin{array}{cc}1& 1\\ 2& -1\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{c}5\\ 1\end{array}\right)$

Вычтем из второй строки удвоенную первую:

$\left(\begin{array}{cc}1& 1\\ 0& -3\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{c}5\\ -9\end{array}\right)$

Из второй строки: $-3y=-9$, значит $y=3$. Подставляем в первую строку: $x+3=5$, значит $x=2$. Решение: $(2,3)$.

Приложения

Компьютерная графика. Любое 3D-преобразование (поворот, масштабирование, перенос) реализуется как умножение на матрицу. Графический конвейер применяет последовательность матриц к вершинам для получения итогового изображения. Графические процессоры по сути являются ускорителями умножения матриц.

Машинное обучение. Каждый слой нейронной сети — это умножение на матрицу с последующим применением нелинейной функции. Обученные «веса» сети — это элементы этих матриц. Операции над данными (PCA, embeddings, механизмы внимания) — это операции над матрицами.

Физика. Квантовые состояния — это векторы в комплексных векторных пространствах (гильбертовых пространствах). Наблюдаемые — это матрицы (операторы). Квантовая механика по сути представляет собой линейную алгебру над комплексными векторными пространствами.

Экономика. Анализ «затраты–выпуск» (модели Леонтьева) использует матрицы для отслеживания того, как выпуск в одном секторе зависит от ресурсов из других. Равновесия вычисляются через обращение матриц.

Статистика. Ковариационная матрица кодирует связи между переменными. Метод главных компонент (PCA) находит собственные векторы ковариационной матрицы.