Основы теории вероятностей для инженеров

Теория вероятностей — это математический каркас рассуждений об неопределённости. Любой прогноз, любое решение в условиях риска, любая модель машинного обучения опирается на вероятность. Тем не менее большинство инженеров и учёных, использующих вероятности, имеют лишь смутную интуицию относительно того, что они означают: они помнят формулы, не понимая структуры.

Эта статья рассматривает, что такое вероятность, формальную структуру (вероятностные пространства), случайные величины, важнейшие распределения, условную вероятность и теорему Байеса, математическое ожидание и дисперсию, центральную предельную теорему и применения в инженерии и машинном обучении.

Что такое вероятность

Вероятность — это мера степени возможности наступления события. Мы приписываем каждому событию число между 0 и 1:

• 0 означает, что событие невозможно.
• 1 означает, что событие наверняка произойдёт.
• 0.5 означает, что событие столь же вероятно, как и невероятно.

Это интуитивное представление. Формальное определение более аккуратно.

Вероятностное пространство — это тройка $(\Omega ,\mathcal{F},P)$, где:

• $\Omega$ — пространство элементарных исходов, множество всех возможных исходов.
• $\mathcal{F}$ — семейство событий, подмножеств $\Omega$, которым мы можем приписывать вероятности.
• $P$ — вероятностная мера, функция из $\mathcal{F}$ в $[0,1]$, удовлетворяющая:
  • $P(\Omega )=1$.
  • $P(A)\ge 0$ для любого события $A$.
  • Для несовместимых событий $A_1,A_2,\dots$: $P(A_1\cup A_2\cup \cdots )=P(A_1)+P(A_2)+\cdots$.

Это аксиоматизация Колмогорова (1933), давшая теории вероятностей её современное строгое основание.

На практике вы редко думаете о вероятностных пространствах явно. Вы работаете со случайными величинами, распределениями и вероятностями событий.

Дискретные и непрерывные вероятности

Дискретная вероятность описывает ситуации с счётным набором исходов. Подбрасывание монеты, броски кубика, число клиентов, число просмотров страниц.

Непрерывная вероятность описывает ситуации с несчётным множеством исходов. Измерения, времена, веса, длины.

Различие важно, потому что дискретные распределения приписывают отдельным исходам положительную вероятность (например, $P(\text{монета = орёл})=0.5$), тогда как непрерывные распределения приписывают нулевую вероятность любому отдельному исходу. Для непрерывных величин говорят о вероятностях диапазонов: $P(X<5)$ или $P(2\le X\le 5)$.

Непрерывные вероятности описываются функцией плотности вероятности (PDF). Плотность $f(x)$ обладает свойством

$P(a\le X\le b)={\int }_a^{b}f(x)dx$

Сама функция плотности не является вероятностью — это плотность. Интеграл плотности по интервалу даёт вероятность попасть в этот интервал.

Случайные величины

Случайная величина — это функция из пространства элементарных исходов в множество действительных чисел. По-русски: величина, значение которой зависит от случайного исхода.

Примеры:

• $X$ = число орлов в 10 подбрасываниях монеты (дискретная, принимает значения от 0 до 10).
• $Y$ = рост случайно выбранного взрослого человека (непрерывная, принимает значения примерно в диапазоне 50–250 см).
• $Z$ = время до отказа сервера (непрерывная, принимает положительные действительные значения).

Случайные величины обычно обозначаются заглавными буквами ($X$, $Y$, $Z$). Конкретные реализации (наблюдаемые значения) обозначаются строчными буквами ($x$, $y$, $z$).

Типичные распределения

Небольшое число распределений постоянно встречается в приложениях. Имеет смысл запомнить их формы и свойства.

Дискретные распределения:

Bernoulli$(p)$ — один эксперимент с двумя исходами. $P(X=1)=p$, $P(X=0)=1-p$. Пример: одно подбрасывание монеты.

Binomial$(n,p)$ — число успехов в $n$ независимых испытаниях Bernoulli$(p)$. $P(X=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}$. Пример: число орлов в 10 подбрасываниях монеты.

Poisson$(\lambda )$ — число событий в фиксированном интервале, когда события происходят независимо с интенсивностью $\lambda$. $P(X=k)=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$. Пример: число клиентов, пришедших за час.

Geometric$(p)$ — число испытаний до первого успеха. $P(X=k)=(1-p{)}^{k-1}p$. Пример: число подбрасываний монеты до первого орла.

Непрерывные распределения:

Uniform$(a,b)$ — одинаково вероятно оказаться где угодно в $[a,b]$. Плотность: $f(x)=\frac{1}{b-a}$ для $x\in [a,b]$, ноль вне этого интервала.

Normal (Gaussian) $\mathcal{N}(\mu ,{\sigma }^2)$ — колоколообразная кривая. Плотность: $f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-(x-\mu {)}^2/(2{\sigma }^2)}$. Среднее $\mu$, дисперсия ${\sigma }^2$. Это наиболее важное распределение в теории вероятностей и статистике.

Exponential$(\lambda )$ — время ожидания между событиями пуассоновского процесса. Плотность: $f(x)=\lambda e^{-\lambda x}$ для $x\ge 0$. Обладает свойством отсутствия памяти.

Beta$(\alpha ,\beta )$ — распределение на $[0,1]$, полезное для моделирования вероятностей. Плотность: $f(x)=\frac{x^{\alpha -1}(1-x{)}^{\beta -1}}{B(\alpha ,\beta )}$.

Каждое распределение имеет параметры, определяющие его форму. Для каждого можно вычислить математическое ожидание, дисперсию и другие моменты по параметрам.

Условная вероятность и теорема Байеса

Условная вероятность события $A$ при условии $B$ задаётся как

$P(A|B)=\frac{P(A\cap B)}{P(B)}$

при условии, что $P(B)>0$. Иными словами: вероятность $A$, если мы знаем, что произошло $B$.

Теорема Байеса переписывает это так:

$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$

Почему это важно: теорема позволяет инвертировать условные вероятности. Если вам известно $P(B|A)$, а нужно $P(A|B)$, теорема Байеса даёт нужное выражение.

Пример 1 — классический пример с медицинским тестом: Болезнью страдает 1 из 1000 человек. Тест на болезнь имеет точность 99% (и по чувствительности, и по специфичности). Если человек получил положительный результат, какова вероятность, что у него действительно есть болезнь?

Интуиция подсказывает: около 99%, раз тест точен на 99%. Теорема Байеса показывает иное.

Пусть $D$ = «болен», $T$ = «тест положителен».

$P(D)=0.001$. $P(T|D)=0.99$ (доля истинно положительных результатов). $P(T|\neg D)=0.01$ (доля ложноположительных результатов).

По закону полной вероятности: $P(T)=P(T|D)P(D)+P(T|\neg D)P(\neg D)=0.99\cdot 0.001+0.01\cdot 0.999=0.00099+0.00999=0.01098$.

По Байесу: $P(D|T)=\frac{P(T|D)P(D)}{P(T)}=\frac{0.99\cdot 0.001}{0.01098}\approx 0.090$.

Таким образом, если вы получили положительный результат, вероятность того, что вы действительно больны, составляет около 9%, а не 99%. Высокая (99%) точность теста перекрывается очень низкой априорной вероятностью болезни.

Это ошибка игнорирования базовой частоты (base rate fallacy), одна из самых значимых когнитивных ошибок в медицине, судебной практике и сфере безопасности.

Математическое ожидание и дисперсия

Математическое ожидание (или среднее) случайной величины — это взвешенное среднее:

Дискретный случай: $E[X]={\sum }_{x}x\cdot P(X=x)$. Непрерывный случай: $E[X]={\int }_{-\infty }^{\infty }x\cdot f(x)dx$.

Пример 2: Математическое ожидание броска игрального кубика.

$E[X]=1\cdot \frac{1}{6}+2\cdot \frac{1}{6}+\cdots +6\cdot \frac{1}{6}=\frac{1+2+3+4+5+6}{6}=3.5$.

(Замечание: 3.5 не является возможным исходом. Математическое ожидание — это среднее, а не типичное значение.)

Дисперсия измеряет разброс распределения:

$\text{Var}(X)=E[(X-E[X]{)}^2]=E[X^2]-E[X{]}^2$

Среднеквадратическое отклонение — это квадратный корень из дисперсии: ${\sigma }_X=\sqrt{\text{Var}(X)}$.

Линейность математического ожидания: $E[aX+bY]=aE[X]+bE[Y]$ для любых случайных величин $X$, $Y$ и констант $a$, $b$. Это верно независимо от того, независимы ли $X$ и $Y$.

Дисперсия нелинейна: $\text{Var}(X+Y)=\text{Var}(X)+\text{Var}(Y)+2\text{Cov}(X,Y)$. Для независимых величин ковариация равна нулю, и дисперсии складываются.

Центральная предельная теорема

Это самая важная теорема в теории вероятностей. Неформулированно:

Сумма (или среднее) большого числа независимых случайных величин, независимо от их индивидуальных распределений, приближается нормальным распределением.

Формально: если $X_1,X_2,\dots ,X_n$ — независимые и одинаково распределённые (i.i.d.) случайные величины с математическим ожиданием $\mu$ и дисперсией ${\sigma }^2$, то при большом $n$:

$\frac{{\bar{X}}_n-\mu }{\sigma /\sqrt{n}}\to \mathcal{N}(0,1)$

по распределению, где ${\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$ — выборочное среднее.

Почему это важно. Большинство реальных величин являются суммами или средними многих малых случайных влияний — ошибки измерения, финансовые доходности, биологические признаки, отклонения в производстве. Центральная предельная теорема объясняет, почему нормальное распределение встречается повсюду: не потому, что вселенная «любит» его, а потому, что суммы независимых случайных величин к нему стремятся.

Центральная предельная теорема также лежит в основе статистического вывода. Доверительные интервалы, проверка гипотез и большая часть практической статистики опираются на асимптотическую нормальность, которую она гарантирует.

Применения

Надёжность инженерных систем. Экспоненциальное распределение моделирует время до отказа элементов с постоянной интенсивностью отказов. Для составных систем (несколько элементов последовательно или параллельно) распределения времени до отказа можно вычислить из распределений отказов компонентов.

Теория связи. Информационная теория Шеннона использует вероятности для количественного описания информации. Пропускная способность канала, частоты ошибок и сжатие данных — всё это задачи теории вероятностей.

Машинное обучение. Выходы классификаторов представляют собой распределения вероятностей. Байесовские методы моделируют неопределённость в параметрах и предсказаниях. Генеративные модели обучаются вероятностным распределениям данных.

Финансы. Доходности активов моделируются как случайные величины. Дисперсия портфеля вычисляется по ковариационной матрице доходностей. Формула оценки опционов Блэка—Шоулза предполагает, что доходности распределены нормально (а цены логнормально).

Контроль качества. Статистический контроль процессов использует распределения вероятностей измерений в производстве для обнаружения дрейфа процесса до того, как проблемы с качеством станут серьёзными.