Производные: от определения до применения

Производная измеряет, насколько быстро функция меняется в одной точке. Если $f(x)$ описывает положение автомобиля в момент времени $x$, то $f^{\prime }(x)$ — это скорость автомобиля в момент $x$. Если $f(x)$ — это стоимость производства $x$ единиц товара, то $f^{\prime }(x)$ — это предельные издержки, то есть стоимость производства ещё одной единицы при уже существующем объёме $x$. Если $f$ — это функция потерь нейронной сети как функция её параметров, то производная показывает, как нужно изменить параметры, чтобы уменьшить потери.

В этой статье разбирается, что именно измеряет производная, формальное определение через предел с подробным примером, все правила дифференцирования, которые вы будете использовать ежедневно (степенное, правило произведения, частное, цепное), таблица производных распространённых функций, неявное дифференцирование, производные высших порядков и применения в физике, экономике и машинном обучении.

Что именно измеряет производная

Интуитивная картина: в любой точке графика функции проведите касательную — прямую, которая касается кривой ровно в этой точке. Наклон этой касательной и есть значение производной в данной точке.

Почему это важно. Наклон показывает, насколько круто меняется функция. Большой положительный наклон означает, что функция быстро возрастает. Отрицательный наклон означает убывание. Наклон, равный нулю, означает, что функция на мгновение выровнена — максимум, минимум или точка перегиба.

Конкретно: если $f(x)=x^2$, то $f^{\prime }(x)=2x$. При $x=3$ наклон равен 6. Это означает: в окрестности $x=3$, когда $x$ увеличивается на малую величину $\Delta x$, функция увеличивается примерно на $6\Delta x$. Производная — это скорость изменения, и она локально предсказывает поведение функции.

Производная — фундамент почти каждой количественной дисциплины. Она схватывает идею изменения в данный момент, лежащую в основе физики (движение), экономики (предельные величины), инженерии (скорости процессов), биологии (рост) и машинного обучения (оптимизация функции потерь).

Формальное определение через предел

Наклон прямой, проходящей через две точки $(x,f(x))$ и $(x+h,f(x+h))$, равен:

$\frac{f(x+h)-f(x)}{h}$

Это средняя скорость изменения $f$ на интервале от $x$ до $x+h$. Это наклон секущей — прямой, проходящей через две точки кривой.

Производная — это то, что получается, когда $h$ стремится к нулю, а секущая превращается в касательную:

$f^{\prime }(x)={\lim }_{h\to 0}\frac{f(x+h)-f(x)}{h}$

Это формальное определение. Все остальные формулы для производных выводятся из него.

Пример 1. Найдите $f^{\prime }(x)$ по определению, если $f(x)=x^2$.

$f^{\prime }(x)={\lim }_{h\to 0}\frac{(x+h{)}^2-x^2}{h}={\lim }_{h\to 0}\frac{x^2+2xh+h^2-x^2}{h}={\lim }_{h\to 0}\frac{2xh+h^2}{h}={\lim }_{h\to 0}(2x+h)=2x$

Итак, $f^{\prime }(x)=2x$, что подтверждает правило.

Пример 2. Найдите $f^{\prime }(x)$ по определению, если $f(x)=\frac{1}{x}$.

$f^{\prime }(x)={\lim }_{h\to 0}\frac{\frac{1}{x+h}-\frac{1}{x}}{h}={\lim }_{h\to 0}\frac{x-(x+h)}{h\cdot x(x+h)}={\lim }_{h\to 0}\frac{-h}{h\cdot x(x+h)}={\lim }_{h\to 0}\frac{-1}{x(x+h)}=-\frac{1}{x^2}$

Следовательно, $\frac{d}{dx}\left(\frac{1}{x}\right)=-\frac{1}{x^2}$.

Работа напрямую с определением трудоёмка. На практике вы используете приведённые ниже правила.

Правила дифференцирования

Эти правила позволяют вычислять производные почти любых функций алгебраически, не возвращаясь к определению через предел.

Степенное правило:

$\frac{d}{dx}(x^n)=n{x}^{n-1}$

для любого действительного числа $n$.

Правила суммы и умножения на константу:

$\frac{d}{dx}(f+g)=f^{\prime }+g^{\prime }$ $\frac{d}{dx}(cf)=c{f}^{\prime }$

для любой константы $c$.

Правило произведения:

$\frac{d}{dx}(fg)=f^{\prime }g+f{g}^{\prime }$

Правило частного:

$\frac{d}{dx}\left(\frac{f}{g}\right)=\frac{f^{\prime }g-f{g}^{\prime }}{g^2}$

Цепное правило:

$\frac{d}{dx}(f(g(x)))=f^{\prime }(g(x))\cdot g^{\prime }(x)$

Цепное правило — важнейшее. Оно говорит, как дифференцировать суперпозиции функций. В машинном обучении цепное правило, применённое рекурсивно, и есть алгоритм обратного распространения ошибки (backpropagation).

Пример 3. Найдите производную $f(x)=(3x^2+1{)}^5$.

Применим цепное правило. Пусть $u=3x^2+1$, тогда $f=u^5$. Тогда $f^{\prime }=5u^4\cdot u^{\prime }=5(3x^2+1{)}^4\cdot 6x=30x(3x^2+1{)}^4$.

Пример 4. Найдите производную $f(x)=x^3\sin x$.

Применяем правило произведения:

$f^{\prime }(x)=3x^2\sin x+x^3\cos x$

Пример 5. Найдите производную $f(x)=\frac{e^x}{x^2+1}$.

Применяем правило частного:

$f^{\prime }(x)=\frac{e^x(x^2+1)-e^x\cdot 2x}{(x^2+1{)}^2}=\frac{e^x(x^2-2x+1)}{(x^2+1{)}^2}=\frac{e^x(x-1{)}^2}{(x^2+1{)}^2}$

Пример 6 — несколько правил. Найдите производную $f(x)=\sin (x^2)\cdot e^{3x}$.

Снаружи — правило произведения, к каждому множителю — цепное правило:

$f^{\prime }(x)=\cos (x^2)\cdot 2x\cdot e^{3x}+\sin (x^2)\cdot 3e^{3x}=e^{3x}(2x\cos (x^2)+3\sin (x^2))$

Таблица распространённых производных

Эти формулы следует выучить наизусть.

Неявное дифференцирование

Иногда функция задаётся неявно уравнением, из которого нельзя выразить $y$ явно через $x$. Пример: $x^2+y^2=25$ (окружность увеличенного радиуса).

Чтобы найти $\frac{dy}{dx}$ в точке этой кривой, продифференцируйте обе части по $x$, считая $y$ функцией от $x$:

$2x+2y\frac{dy}{dx}=0$

Решите относительно $\frac{dy}{dx}$:

$\frac{dy}{dx}=-\frac{x}{y}$

В точке $(3,4)$: $\frac{dy}{dx}=-\frac{3}{4}$. (Можно проверить, что это наклон касательной к окружности $x^2+y^2=25$ в этой точке.)

Неявное дифференцирование незаменимо в задачах, где $y$ «заперт» внутри уравнения — типичная ситуация в физике (связи и ограничения) и экономике (кривые безразличия, кривые полезности).

Производные высших порядков

Производная от производной — это вторая производная: $f^{\prime \prime }(x)=\frac{d}{dx}(f^{\prime }(x))$. Геометрически она измеряет, как меняется сам наклон — кривизну функции.

В физике: положение $\to$ скорость (первая производная) $\to$ ускорение (вторая производная).

В задачах оптимизации вторая производная показывает, является ли критическая точка (где $f^{\prime }=0$) минимумом (где $f^{\prime \prime }>0$), максимумом (где $f^{\prime \prime }<0$) или точкой перегиба (где $f^{\prime \prime }=0$).

Производные высших порядков появляются в разложениях в ряд Тейлора, в физике (рывок — третья производная положения) и в численных методах (метод Ньютона использует и первую, и вторую производные).

Применения

Физика

Самое прямое применение. Второй закон Ньютона: $F=ma$, где $a=\frac{d^{2}x}{d{t}^2}$. Любое уравнение движения — это дифференциальное уравнение, в котором участвуют производные положения по времени.

Экономика

Предельные величины. Если $C(q)$ — это общие издержки производства количества $q$, то $C^{\prime }(q)$ — это предельные издержки, то есть стоимость производства ещё одной единицы при текущем уровне выпуска. Предельная выручка, предельная полезность, предельный продукт труда — всё это производные.

Оптимизация

Чтобы найти максимум или минимум функции, нужно приравнять производную к нулю и решить уравнение. Затем с помощью второй производной определить, является ли критическая точка максимумом, минимумом или седловой точкой.

Пример 7. Открытая коробка (без крышки) должна быть изготовлена из квадратного листа картона со стороной 12 дюймов путём вырезания квадратов со стороной $x$ в каждом углу и подгибания сторон. При каком значении $x$ объём будет максимальным?

Объём равен $V(x)=x(12-2x{)}^2$. Приравняем $V^{\prime }(x)=0$:

$V^{\prime }(x)=(12-2x{)}^2+x\cdot 2(12-2x)(-2)=(12-2x)((12-2x)-4x)=(12-2x)(12-6x)$

Приравняв к нулю, получаем $x=6$ или $x=2$. В первом случае объём коробки равен нулю; во втором — объём максимален. Значит, $x=2$ дюйма.

Машинное обучение

Градиентный спуск. Алгоритм оптимизации, который обучает почти каждую нейронную сеть. Имея функцию потерь $L(\mathbf{\theta })$ как функцию параметров модели $\mathbf{\theta }$, градиентный спуск обновляет параметры по правилу

$\mathbf{\theta }\leftarrow \mathbf{\theta }-\alpha \nabla L(\mathbf{\theta })$

где $\alpha$ — скорость обучения, а $\nabla L$ — градиент, то есть вектор частных производных $L$ по каждому параметру.

Обратное распространение ошибки (backpropagation). Алгоритм, вычисляющий градиент функции потерь по всем параметрам нейронной сети. Это цепное правило математического анализа, применённое рекурсивно, слой за слоем, от выхода к входу. Каждое обновление параметров в глубоком обучении — это вычисление по цепному правилу.

Типичные ошибки

Ошибка 1 — путаница $f(x)$ и $f^{\prime }(x)$ в цепном правиле. При вычислении $\frac{d}{dx}(f(g(x)))$ правильное правило — $f^{\prime }(g(x))\cdot g^{\prime }(x)$, а не $f^{\prime }(g^{\prime }(x))$. Внешняя производная вычисляется в точке $g(x)$, а не в $g^{\prime }(x)$.

Ошибка 2 — забывание про правило произведения, когда оба множителя зависят от $x$. $\frac{d}{dx}(x\cdot \sin x)$ — это не $\sin x$. Нужно использовать правило произведения: $\sin x+x\cos x$.

Ошибка 3 — трактовка $\frac{dy}{dx}$ как обыкновенной дроби. В строгом смысле это не дробь. Нельзя просто сократить $dx$ в знаменателе с каким-то $dx$ в другом месте. (Существует более продвинутая трактовка через дифференциальные формы, но на рассматриваемом уровне следует воспринимать $\frac{dy}{dx}$ как единый символ.)

Ошибка 4 — применение степенного правила к $\frac{d}{dx}(x^x)$. Степенное правило применяется к $x^n$, где $n$ — константа. Для $x^x$ сначала нужно взять логарифм: $\ln (x^x)=x\ln x$, а затем дифференцировать неявно.