Математический анализ и линейная алгебра: полное руководство

Высшая математика — самый часто гуглимый предмет в интернете, который почти никто не объясняет хорошо. Наберите в Google «how to solve an integral», и вы получите десять миллионов результатов, большинство из которых либо слишком абстрактны для начинающих, либо слишком поверхностны для серьёзных студентов. В итоге миллионы людей, которые могли бы освоить этот материал, сталкиваются с барьером в виде плохих объяснений.

Это руководство — введение. Оно очерчивает территорию математического анализа и линейной алгебры на уровне, полезном четырём аудиториям: студентам инженерных и естественнонаучных специальностей, которые впервые сталкиваются с этим материалом; практикующим специалистам, освежающим фундаментальные знания, к которым они в последний раз прикасались в университете; программистам, входящим в машинное обучение и нуждающимся в математическом фундаменте; и самоучкам, которые просто хотят понимать язык современной науки.

Руководство описывает, что на самом деле включает в себя математика на уровне старшей школы или первого курса университета, концептуальную карту математического анализа и линейной алгебры, порядок их изучения, рекомендуемые учебники, связь с машинным обучением и современными приложениями, методы обучения, которые действительно работают, а также восемь подробных сопутствующих статей этой серии.

What this guide assumes (and does not)

Это руководство предполагает знания алгебры школьного уровня и базовой геометрии — умение преобразовывать уравнения, работать с функциями, понимать координатные системы и следовать алгебраическим рассуждениям. Если вы можете решить квадратное уравнение и понимаете, что означает $f(x)=x^2+3x-1$, — у вас уже достаточно, чтобы начать.

Оно не предполагает знания математического анализа, линейной алгебры или какого-либо прежнего опыта с высшей математикой. Всё вводится с первых принципов.

Оно также не предполагает, что вы проходите формальный курс. Структура этого блока рассчитана на самообучение, последовательное прохождение статей в своём темпе.

The map: what mathematics actually contains

Две фундаментальные ветви современной прикладной математики — это математический анализ и линейная алгебра. Каждая прикладная научная дисциплина — физика, инженерное дело, экономика, информатика, статистика, машинное обучение — предполагает свободное владение обеими. Их освоение занимает примерно от шести до двенадцати месяцев целенаправленного обучения для мотивированного самоучки.

Математический анализ — это математика изменения и накопления. У него две тесно связанные ветви:

• Дифференциальное исчисление изучает, как изменяются величины. Центральный объект здесь — производная, она измеряет мгновенную скорость изменения функции.
• Интегральное исчисление изучает, как величины накапливаются. Центральный объект — интеграл, он измеряет общее количество чего-либо, распределённого по области.

Фундаментальная теорема математического анализа, независимо открытая Ньютоном и Лейбницем в 1670‑х годах, утверждает, что дифференцирование и интегрирование — взаимно обратные операции. Это один из важнейших результатов в истории человеческой мысли. Он говорит, что математика изменения и математика накопления — это две стороны одной медали.

Линейная алгебра — это математика структурированных наборов — векторов, матриц, преобразований. Если математический анализ имеет дело с непрерывно изменяющимися величинами, то линейная алгебра работает со структурированными дискретными наборами (или с непрерывными структурами, корректно дискретизированными).

Линейная алгебра и математический анализ совместно образуют три дальнейшие ветви, необходимые для приложений:

• Теория вероятностей — математика неопределённости, построенная на математическом анализе (непрерывные распределения) и линейной алгебре (ковариационные матрицы, цепи Маркова).
• Дифференциальные уравнения — математика эволюции систем во времени, построенная на математическом анализе.
• Оптимизация — математика нахождения наилучшего решения при заданных ограничениях, основанная на математическом анализе (градиенты) и линейной алгебре (матричные формы).

Эти пять областей — математический анализ, линейная алгебра, теория вероятностей, дифференциальные уравнения, оптимизация — составляют ядро того, чем ежедневно пользуются практики машинного обучения, специалисты по количественным финансам и инженерные учёные.

Это ядро материалов сосредоточено на математическом анализе и линейной алгебре как на фундаменте. Остальные три области кратко затронуты здесь и подробно — в продвинутых статьях этого цикла.

Limits and continuity: the foundation of calculus

Концептуальный шаг, делающий возможным математический анализ, — это предел.

Рассмотрим функцию $f(x)=\frac{x^2-1}{x-1}$. Если подставить $x=1$ напрямую, получится $\frac{0}{0}$ — неопределённость. Но если упростить выражение алгебраически, получим $f(x)=x+1$ всюду, кроме точки $x=1$. По мере того как $x$ становится сколь угодно близким к 1 (но не равным 1), $f(x)$ становится сколь угодно близким к 2.

Это и есть предел:

${\lim }_{x\to 1}\frac{x^2-1}{x-1}=2$

Предел позволяет говорить о том, к чему «стремится» функция в точке, даже если она в этой точке не определена. Каждый ключевой концепт математического анализа построен на пределах. Производная определяется через предел. Интеграл определяется через предел. Непрерывность определяется в терминах пределов.

Подробно: Limits and Continuity: The Foundation of Calculus.

Differential calculus: derivatives

Производная функции в точке — это предел среднего значения скорости изменения по мере того, как интервал сжимается до нуля:

$f^{\prime }(x)={\lim }_{h\to 0}\frac{f(x+h)-f(x)}{h}$

Интуитивно это значит: $f^{\prime }(x)$ показывает, насколько быстро $f$ изменяется в точке $x$. Если $f(x)=x^2$, то $f^{\prime }(x)=2x$. В точке $x=3$ функция изменяется со скоростью 6 единиц на единицу изменения $x$.

Производная имеет применения во всех науках:

• В физике производная положения — скорость; производная скорости — ускорение.
• В экономике производная функции затрат — предельные издержки; производная прибыли — предельная прибыль.
• В машинном обучении метод градиентного спуска — алгоритм, который обучает почти каждую нейронную сеть, — использует производную функции потерь, чтобы находить обновления параметров.

Правила дифференцирования (правило степени, произведения, частного, правило цепочки) позволяют вычислять производные почти любых функций алгебраически, не возвращаясь каждый раз к определению через предел.

Подробно: Derivatives Explained: From Definition to Application.

Integral calculus: integrals

Интеграл является обратной операцией к производной — и одновременно, что неожиданно, совпадает с площадью под кривой.

${\int }_a^{b}f(x)dx$

Это выражение представляет собой ориентированную (со знаком) площадь между графиком $f(x)$ и осью $x$, на отрезке от $x=a$ до $x=b$. Фундаментальная теорема математического анализа утверждает:

${\int }_a^{b}f(x)dx=F(b)-F(a)$

где $F$ — любая первообразная функции $f$, то есть функция, производная которой равна $f$.

Эта связь глубока. Она означает, что задача нахождения площади под кривой (геометрическая задача) может быть решена путём обращения операции дифференцирования (алгебраическая задача).

Методов интегрирования меньше, чем методов дифференцирования. Вы изучаете базовые первообразные (интеграл от $x^n$ равен $\frac{x^{n+1}}{n+1}$ при $n\ne -1$, интеграл от $\sin x$ равен $-\cos x$ и так далее), а затем небольшой набор приёмов — подстановку, интегрирование по частям, разложение на простейшие дроби, тригонометрические подстановки — которые позволяют справиться с большинством интегрируемых функций, с которыми вы столкнётесь.

Многие функции нельзя проинтегрировать в замкнутой форме (например, интеграл от $e^{-x^2}$, центральный в теории вероятностей, не имеет элементарной первообразной). Для таких случаев численные методы позволяют вычислять приближённые значения.

Подробно: How to Solve Integrals: Step-by-Step Methods.

Series and infinite processes

Последовательность — это упорядоченный список чисел, например $1,\frac{1}{2},\frac{1}{4},\frac{1}{8},\dots$ Ряд — это сумма членов последовательности: $1+\frac{1}{2}+\frac{1}{4}+\frac{1}{8}+\cdots$

На удивление, некоторые бесконечные ряды суммируются в конечные числа. Геометрический ряд выше суммируется ровно в 2. Другие ряды — например, гармонический ряд $1+\frac{1}{2}+\frac{1}{3}+\frac{1}{4}+\cdots$ — расходятся к бесконечности, хотя их члены становятся сколь угодно малыми.

Вопрос о том, какие бесконечные ряды сходятся (суммируются к конечному значению), а какие расходятся, — одна из самых красивых тем математического анализа. Признаки сходимости — признак Д'Аламбера (отношения), Коши (корня), сравнения, интегральный признак — дают инструменты, позволяющие ответить на этот вопрос почти для любого ряда.

У рядов есть одно особенно важное приложение: любую «достаточно хорошую» функцию можно аппроксимировать многочленом с помощью её ряда Тейлора:

$f(x)=f(a)+f^{\prime }(a)(x-a)+\frac{f^{\prime \prime }(a)}{2!}(x-a{)}^2+\frac{f^{\prime \prime \prime }(a)}{3!}(x-a{)}^3+\cdots$

Ряды Тейлора — это то, как калькуляторы вычисляют $\sin$, $\cos$ и $e^x$: они суммируют достаточно много членов ряда, чтобы получить нужную точность.

Подробно: Series and Sequences: Convergence Tests Explained.

Linear algebra: vectors and matrices

Линейная алгебра — это математика векторов и преобразований между векторными пространствами.

Вектор — это структурированный набор чисел. В двумерном случае $\mathbf{v}=(3,4)$ — вектор с компонентами 3 и 4. Геометрически его можно представить как стрелку от начала координат до точки $(3,4)$, но геометрический образ — лишь один из многих способов думать о векторах.

Матрица — это прямоугольная таблица чисел. Матрица

$A=\left(\begin{array}{cc}1& 2\\ 3& 4\end{array}\right)$

имеет две строки и два столбца. Матрицы представляют линейные преобразования — операции, которые берут один вектор и по структурированному правилу порождают другой.

Единственная важнейшая операция в линейной алгебре — это умножение матрицы на вектор:

$A\mathbf{v}=\left(\begin{array}{cc}1& 2\\ 3& 4\end{array}\right)\left(\begin{array}{c}5\\ 6\end{array}\right)=\left(\begin{array}{c}1\cdot 5+2\cdot 6\\ 3\cdot 5+4\cdot 6\end{array}\right)=\left(\begin{array}{c}17\\ 39\end{array}\right)$

Матрица $A$ берёт вектор $\mathbf{v}=(5,6)$ и превращает его в вектор $(17,39)$. Это простейший пример линейного преобразования.

Линейная алгебра имеет приложения повсюду:

• В компьютерной графике каждое 3D‑преобразование (поворот, масштабирование, перенос) реализуется как умножение на матрицу.
• В машинном обучении каждый слой нейронной сети по сути представляет собой умножение матрицы на вектор с последующей нелинейной функцией активации.
• В статистике многомерное нормальное распределение задаётся ковариационной матрицей.
• В экономике модели «затраты–выпуск» используют матрицы для отслеживания того, как отрасли экономики зависят друг от друга.

Подробно: Linear Algebra Basics: Vectors, Matrices, Transformations.

Eigenvalues and eigenvectors

В рамках линейной алгебры важнейшее понятие, выходящее за пределы базовых операций, — это разложение по собственным значениям и собственным векторам.

Собственный вектор матрицы $A$ — это такой вектор $\mathbf{v}$, что $A\mathbf{v}=\lambda \mathbf{v}$ для некоторого скаляра $\lambda$. Иными словами: когда $A$ действует на $\mathbf{v}$, она не поворачивает $\mathbf{v}$ — она лишь растягивает или сжимает его в $\lambda$ раз. Скаляр $\lambda$ — это собственное значение.

Собственные значения и собственные векторы раскрывают глубинную структуру матрицы. Они возникают в следующих контекстах:

• Principal component analysis (PCA) — стандартный инструмент понижения размерности в анализе данных и машинном обучении.
• Квантовая механика — наблюдаемые величины квантовой системы являются собственными значениями операторов.
• Алгоритм PageRank компании Google — исходный показатель PageRank является собственным вектором определённой матрицы.
• Анализ устойчивости — собственные значения якобиана динамической системы определяют, стабилен ли режим системы.

Подробно: Eigenvalues and Eigenvectors, Intuitively.

Probability and uncertainty

Теория вероятностей предоставляет математический каркас для рассуждений об неопределённости.

Случайная величина — это величина, значение которой зависит от исхода случайного процесса. Случайные величины имеют распределения — функции, описывающие вероятность каждого возможного значения.

Наиболее важное распределение — это нормальное распределение с функцией плотности вероятности:

$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$

Почему именно эта функция? Из‑за центральной предельной теоремы: среднее большое количество независимых случайных величин, независимо от их индивидуальных распределений, стремится к нормальному распределению. Нормальное распределение неизбежно.

Теория вероятностей связана с математическим анализом через непрерывные распределения (в которых для вычисления вероятностей используются интегралы) и с линейной алгеброй через ковариационные матрицы (описывающие, как совместно изменяются величины).

В современном машинном обучении теория вероятностей присутствует везде: выходы классификаторов — это распределения вероятностей; байесовские методы явно моделируют неопределённость; генеративные модели обучаются на распределениях данных.

Подробно: Probability Theory Basics for Engineers.

Differential equations

Дифференциальное уравнение — это уравнение, содержащее неизвестную функцию и её производные. Это естественный язык описания физических систем.

Простейший пример: если вы бросаете мяч, его положение $y(t)$ удовлетворяет уравнению $\frac{d^{2}y}{d{t}^2}=-g$, где $g$ — ускорение свободного падения. Решение этого дифференциального уравнения даёт положение как функцию времени.

Дифференциальные уравнения бывают разных типов. Обыкновенные дифференциальные уравнения (ОДУ) включают функцию одной переменной. Уравнения в частных производных (УЧП) включают функции нескольких переменных. Поведение жидкостей, электрических полей, распространение эпидемий, деформация материалов — всё это описывается дифференциальными уравнениями.

Подробно: Differential Equations: First-Order Methods.

The connection to machine learning

Современное машинное обучение — это в значительной степени прикладной математический анализ, линейная алгебра и теория вероятностей. Несколько конкретных связей:

Градиентный спуск — алгоритм оптимизации, который обучает почти каждую нейронную сеть, — это математический анализ, применённый к многомерным функциям. Градиент $\nabla f$ — это вектор частных производных; градиентный спуск обновляет параметры, двигаясь против этого градиента.

Обратное распространение ошибки (backpropagation) — алгоритм, который вычисляет градиенты в нейронных сетях, — это правило цепочки математического анализа, применённое рекурсивно.

Слои нейронной сети — это умножения матриц: $\mathbf{y}=W\mathbf{x}+\mathbf{b}$, где $W$ — матрица весов, а $\mathbf{b}$ — вектор смещений. Эти матрицы обычно очень велики — тысячи или миллионы строк и столбцов.

Функции потерь — величины, минимизируемые в процессе обучения, — это скалярные функции высокоразмерных входов. Кросс‑энтропия, среднеквадратичная ошибка и подобные величины — это область математического анализа и теории вероятностей.

Словарные встраивания (word embeddings) и другие представления — это векторы в пространствах высокой размерности. Сходство между встраиваниями измеряется с помощью скалярного произведения (линейная алгебра).

Механизмы внимания в трансформерах формируются из матричных операций: запросов, ключей, значений и softmax от скалярных произведений.

Для всех, кто входит в машинное обучение, математический анализ и линейная алгебра не являются опцией. Это язык, на котором написана эта область.

How to study mathematics: methods that actually work

Большинство людей, которым не удаётся освоить математический анализ, терпят неудачу не потому, что предмет слишком сложен, а потому, что они применяют неверные методы обучения.

Метод 1: Активное решение задач, а не пассивное чтение.

Математика осваивается через решение задач, а не через чтение объяснений. Типичный хороший учебник (Стюарт, Спивак, Странг) содержит сотни упражнений. Проработка этих упражнений и есть настоящее обучение. Чтение текста между упражнениями — подготовка. Ошибка большинства студентов — считать текст содержанием курса, а упражнения — домашним заданием. На самом деле именно упражнения и есть содержание.

Реалистичное соотношение: на каждый час чтения планируйте три часа решения задач.

Метод 2: Медленное, длительное повторение вместо сжатого «зубрёжного» марафона.

Математика опирается на долговременную память базовых результатов. Правило произведения, правило цепочки, стандартные первообразные — всё это должно быть доступно моментально в процессе решения задач. Зубрёжка перед экзаменом позволяет его сдать, но не создаёт устойчивых знаний.

Метод интервальных повторений хорошо работает для математических фактов. Anki или похожие системы карточек могут хранить таблицы производных, методы интегрирования и основные теоремы для повторения с увеличивающимися интервалами.

Метод 3: Стройте интуицию до формализма.

У любой математической идеи есть интуитивная картинка и формальное определение. Большинство преподавателей сначала дают формальное определение, а затем картинку. Для большинства учащихся это ровно обратный правильному порядок.

Правильный порядок: увидеть картинку, почувствовать интуицию, затем формализовать. Серия 3Blue1Brown на YouTube ("Essence of Calculus" и "Essence of Linear Algebra") выдающаяся именно тем, что следует этому порядку. Посмотрите эти серии. Потом откройте учебник.

Метод 4: Решайте задачи до лёгкости, а не до правильности.

Задача, которую вы один раз решили правильно, ещё не выучена. Задача, которую вы можете решить за пять минут, не задумываясь, — выучена. Промежуток между «я могу сделать это, если сильно подумаю» и «я делаю это, не задумываясь» — это и есть область математической компетентности. Закрыть этот промежуток можно только повторением.

Метод 5: Считайте понимание проверкой, а не финишной чертой.

Когда вам кажется, что вы поняли концепцию, проверьте себя: можете ли вы объяснить её человеку, который никогда о ней не слышал? Можете ли вывести ключевые результаты с нуля? Можете ли привести три разных примера? Понимание, не проходящее эти проверки, — это ещё не понимание, а лишь узнавание названия концепции.

Recommended textbooks

По каждой теме — один рекомендуемый учебник. Если вы прочитаете только по одному на каждую тему, вы освоите больше математики, чем 99% самоучек.

Математический анализ (однопеременный и многопеременный).

Для первого знакомства: James Stewart, Calculus: Early Transcendentals (Cengage, 9th edition). Это стандартный учебник, используемый в большинстве инженерных программ США. Полный, хорошо организованный, с хорошими упражнениями. Аудиоверсия объяснений на YouTube ("Stewart Calculus") покрывает весь материал.

Для более глубокого и строгого изучения: Michael Spivak, Calculus (Publish or Perish, 4th edition). Книга, соединяющая математический анализ и математический анализ в строгом смысле (real analysis). Трудная, но очень плодотворная. Выбор почётных (honors) математических программ.

Линейная алгебра.

Для первого знакомства: Gilbert Strang, Introduction to Linear Algebra (Wellesley-Cambridge, 5th edition). Сопровождающие лекции Странга на MIT OpenCourseWare — выдающиеся. Бесплатно в сети. Возможно, лучший ресурс для самообучения математике.

Для более глубокого изучения: Sheldon Axler, Linear Algebra Done Right (Springer). Излагает линейную алгебру, в значительной степени обходясь без определителя до большей части книги. Радикально расширяет взгляд при втором подходе к предмету.

Теория вероятностей и статистика.

Joseph Blitzstein and Jessica Hwang, Introduction to Probability (Chapman & Hall). Построена вокруг знаменитого курса Harvard Stat 110. Имеется в сопровождении полного курса лекций на YouTube.

Дифференциальные уравнения.

Steven Strogatz, Nonlinear Dynamics and Chaos (Westview, 2nd edition). Это не стандартный учебник по ОДУ — он охватывает более интересные темы. Стандартные введения (Boyce and DiPrima) добротны, но лишены вдохновения. Лучше прочитать Строгаца.

Бесплатные ресурсы, дополняющие учебники.

• 3Blue1Brown на YouTube — серии "Essence of Calculus" и "Essence of Linear Algebra". Смотреть в первую очередь.
• MIT OpenCourseWare — курсы 18.01 (Single Variable Calculus), 18.06 (Linear Algebra by Strang). Бесплатно, с полными наборами задач и экзаменами.
• Khan Academy — силён в основах, слабее в теоретической глубине. Полезен для закрытия конкретных пробелов.
• Paul's Online Math Notes — справочник в формате поиска. Отличен для быстрого освежения конкретных приёмов.

A 12-month roadmap for self-study

Для человека, начинающего с уровня школьной алгебры, реалистичная последовательность выглядит так.

Месяцы 1–3: Математический анализ одной переменной

• Пределы и непрерывность (1 неделя)
• Производные и правила дифференцирования (3 недели)
• Применения производных (оптимизация, связанные скорости) (2 недели)
• Интегралы и фундаментальная теорема (3 недели)
• Методы интегрирования (3 недели)
• Применения интегралов (1 неделя)

Месяцы 4–5: Многомерный анализ

• Функции нескольких переменных, частные производные (2 недели)
• Градиенты, направленные производные (1 неделя)
• Множественные интегралы (2 недели)
• Введение в векторный анализ (2 недели)

Месяцы 6–8: Линейная алгебра

• Векторы и векторные пространства (2 недели)
• Матрицы и линейные преобразования (3 недели)
• Определители (1 неделя)
• Собственные значения и собственные векторы (3 недели)
• Евклидовы пространства (inner product spaces), ортогональность (2 недели)
• Применения (PCA, проекции) (1 неделя)

Месяцы 9–10: Теория вероятностей и статистика

• Дискретная вероятность (2 недели)
• Случайные величины и распределения (3 недели)
• Совместные распределения, условная вероятность, Байес (2 недели)
• Статистический вывод (1 неделя)

Месяцы 11–12: Дифференциальные уравнения и оптимизация

• ОДУ первого порядка (2 недели)
• Линейные ОДУ второго порядка (2 недели)
• Основы оптимизации (2 недели)
• Обзор численных методов (1 неделя)
• Повторение и консолидация (1 неделя)

Этот план амбициозен, но достижим для мотивированного учащегося, уделяющего 10–15 часов в неделю. Более медленный темп тоже нормален. Порядок важнее скорости.