Производящие функции и характеристические функции

Производящие функции — мощный инструмент для работы с распределениями суммы независимых случайных величин. Характеристическая функция существует всегда и единственно определяет распределение.

Производящая функция моментов (МГФ)

Определение: M_X(t) = E[e^{tX}] = Σ E[Xⁿ]tⁿ/n! (ряд Тейлора). При существовании в окрестности t=0: E[Xⁿ] = M_X^{(n)}(0). МГФ единственно определяет распределение.

Для суммы независимых: M_{X+Y}(t) = M_X(t)·M_Y(t). Это превращает свёртки в умножения.

Примеры: Poisson(λ): M(t) = exp(λ(eᵗ-1)). N(μ,σ²): M(t) = exp(μt + σ²t²/2). Сумма нормальных: M_{X+Y} = exp((μ₁+μ₂)t + (σ₁²+σ₂²)t²/2) → N(μ₁+μ₂, σ₁²+σ₂²). ✓

Производящая функция вероятностей (ПФВ)

Для дискретных X ≥ 0: G_X(z) = E[z^X] = Σ_k P(X=k)z^k. P(X=k) = G^{(k)}(0)/k!. E[X] = G'(1), Var[X] = G''(1) + G'(1) - (G'(1))².

Сумма случайного числа: N ~ PMF, X₁,X₂,... i.i.d. S_N = X₁+...+X_N. G_{S_N}(z) = G_N(G_X(z)). Мощная формула — «полная вероятность через ПФВ».

Характеристическая функция

Определение: φ_X(t) = E[e^{itX}] = ∫ e^{itx}f(x)dx (преобразование Фурье плотности). Всегда существует, |φ(t)| ≤ 1.

Единственность: φ_X ≡ φ_Y ⟺ X и Y имеют одинаковое распределение. Теорема обращения: f(x) = (1/2π)∫ e^{-itx}φ(t)dt (обратное Фурье).

Теорема непрерывности (Lévy): X_n → X по распределению ⟺ φ_{X_n}(t) → φ_X(t) точечно.

Задание: (а) МГФ для U[0,1]: M(t) = (e^t - 1)/t. Вычислите E[X] и E[X²] через производные. (б) Сумма n i.i.d. Poisson(λ): покажите через МГФ, что сумма ~ Poisson(nλ). (в) Что такое характеристическая функция распределения Коши? Почему у Коши нет МГФ?

МГФ и вычисление моментов распределений

МГФ — систематический инструмент для вычисления моментов всех порядков. Для нормального N(μ,σ²): M(t) = exp(μt + σ²t²/2). Тогда M'(0) = μ = E[X], M''(0) = σ² + μ² = E[X²], откуда Var[X] = σ². Для гамма Γ(α,β): M(t) = (β/(β−t))^α при t < β. E[X] = α/β, E[X²] = α(α+1)/β².

Кумулянты: Логарифм МГФ K(t) = ln M(t) — производящая функция кумулянтов. K^{(n)}(0) = κₙ — n-й кумулянт. Первые кумулянты: κ₁ = E[X] (среднее), κ₂ = Var[X] (дисперсия), κ₃ = μ₃ (третий центральный момент), κ₄ = μ₄ − 3σ⁴ (эксцесс). Ключевое свойство: кумулянты суммы независимых СВ складываются: κₙ(X+Y) = κₙ(X) + κₙ(Y).

Тяжёлые хвосты и отсутствие МГФ

У распределений с тяжёлыми хвостами МГФ не существует ни при каком t > 0. Распределение Коши: f(x) = 1/(π(1+x²)) — симметричное, но E[|X|] = ∞. МГФ не существует. Характеристическая функция: φ(t) = e^{−|t|}. Сумма n i.i.d. Коши имеет то же распределение с масштабом n — «ЗБЧ не работает»!

Распределение Парето: P(X>x) = (x₀/x)^α при x ≥ x₀. При α ≤ 1: E[X] = ∞. При α ≤ 2: Var[X] = ∞. Моделирует богатство (α ≈ 1.5 для Forbes 400), размер городов (закон Ципфа), объём интернет-трафика. МГФ не существует. Для тяжёлых хвостов используют преобразование Лапласа или функцию выживания.

Производящие функции и рекуррентные цепи событий

Производящие функции вероятностей особенно мощны при анализе ветвящихся процессов. Процесс Гальтона-Уотсона: Каждый индивид производит X потомков (i.i.d.). Zₙ — численность n-го поколения. G_{Zₙ}(z) = G_{n-кратная суперпозиция}(z). Вероятность вырождения q = P(Zₙ→0) — наименьший неотрицательный корень q = G(q). При E[X] ≤ 1: q = 1 (вырождение неизбежно). При E[X] > 1: q < 1. Это математическая модель распространения генов, эпидемий, ядерных цепных реакций.

Характеристическая функция: применения и теоремы

Характеристическая функция φ_X(t) = E[e^{itX}] существует для любого распределения. Для нормального N(μ,σ²): φ(t) = exp(iμt − σ²t²/2). Для Пуассона Poisson(λ): φ(t) = exp(λ(e^{it}−1)). Для Коши Cauchy(0,1): φ(t) = e^{−|t|}.

Теорема непрерывности Леви: X_n → X по распределению ⟺ φ_{X_n}(t) → φ_X(t) для каждого t. Это позволяет доказывать ЦПТ и другие предельные теоремы через характеристические функции. Метод характеристических функций: «зафиксировать t, вычислить φ_X(t) для суммы, взять предел, опознать распределение».

Доказательство ЦПТ через характеристические функции: Пусть Xᵢ i.i.d. с E[X]=0, Var[X]=σ². Тогда φ_{Xᵢ}(t) = 1 − σ²t²/2 + o(t²). Для стандартизированной суммы Sₙ = (X₁+...+Xₙ)/(σ√n): φ_{Sₙ}(t) = (1 − t²/2n + o(t²/n))ⁿ → e^{−t²/2} = φ_{N(0,1)}(t). ЭК.

МГФ для оценки рисков: Value-at-Risk и CVaR

В риск-менеджменте Value-at-Risk (VaR) на уровне α: квантиль Q(α) потерь. Conditional Value-at-Risk (CVaR, или Expected Shortfall): E[X|X ≥ VaR(α)] — ожидаемые потери при превышении порога. CVaR связан с хвостом распределения и вычисляется через Лапласово преобразование/МГФ для субэкспоненциальных распределений. В страховании: чистая нетто-премия = E[X], стандартное отклонение нагрузка = λ·σ(X). Оба вычисляются через МГФ.

Численный пример: моменты через МГФ

Задача: X ~ Exp(λ=3). Найти E[X] и Var[X] через производящую функцию моментов.

Шаг 1: МГФ показательного распределения: M(t) = λ/(λ−t) = 3/(3−t), определена при t < 3.

Шаг 2: E[X] = M'(0). Дифференцируем: M'(t) = 3·1/(3−t)² → M'(0) = 3/9 = 1/3 ≈ 0.333.

Шаг 3: E[X²] = M''(0). Дифференцируем ещё раз: M''(t) = 6/(3−t)³ → M''(0) = 6/27 = 2/9 ≈ 0.222.

Шаг 4: Var[X] = E[X²] − (E[X])² = 2/9 − 1/9 = 1/9 ≈ 0.111, σ = 1/3. Совпадает с формулой: Exp(λ) имеет E[X]=1/λ=1/3 и Var[X]=1/λ²=1/9. ✓ VaR₀.₉₅ = −ln(0.05)/3 ≈ 1.0 — квантиль хвоста, оцениваемый через интеграл МГФ.