Непараметрические методы и бутстрэп

Непараметрические методы не предполагают конкретной формы распределения. Они применяются, когда предположения параметрических методов нарушены. Бутстрэп — универсальная техника оценки погрешностей.

Непараметрические критерии

Знаковый критерий: H₀: медиана = m₀. Статистика: число наблюдений > m₀. При H₀: ~ Bin(n, 0.5). Не зависит от формы распределения, но малоэффективен.

Критерий знаковых рангов Вилкоксона: Учитывает размер отклонений. Вычисляем dᵢ = xᵢ - m₀, ранжируем |dᵢ|, W⁺ = сумма рангов с dᵢ > 0. При H₀: E[W⁺] = n(n+1)/4, Var[W⁺] = n(n+1)(2n+1)/24.

Критерий Манна-Уитни: Непараметрический двухвыборочный. U = #{(xᵢ,yⱼ): xᵢ>yⱼ}. При H₀: E[U] = n₁n₂/2. Аналог двухвыборочного t-теста без нормальности.

Оценка функции плотности

Гистограмма: Делим область на K бинов. Ширина бина h = (max-min)/K. P(bin k) = n_k/n. Смещение O(h²), дисперсия O(1/(nh)) — компромисс.

Kernel Density Estimation (KDE): f̂(x) = (1/(nh))Σᵢ K((x-xᵢ)/h). K — ядро (Гауссово, Epanechnikov). Оптимальная ширина полосы h* = 1.06σn^{-1/5} (для гауссового K).

Бутстрэп

Идея (Эфрон, 1979): Эмпирическое распределение F̂ₙ → использовать выборку с возвращением как «эмпирическую вселенную».

Алгоритм: Из оригинальной выборки x₁,...,xₙ → B бутстрэп-выборок x₁*,...,xₙ* (с возвращением). Для каждой: вычислить статистику θ̂*. Бутстрэп SE = std(θ̂*), Bутстрэп CI = [2θ̂ - θ̂_{0.975}, 2θ̂ - θ̂_{0.025}].

Когда работает: При «разумно» гладкой θ̂. Сходимость O(1/n) — лучше, чем нормальное приближение O(1/√n).

Задание: (а) 10 наблюдений: 2,3,4,5,5,6,7,8,10,12. Знаковый тест H₀: медиана=5. Вилкоксона тест. (б) KDE: Гауссовское ядро с h=1 для тех же данных. Нарисуйте f̂(x). (в) Бутстрэп CI для медианы: B=1000 выборок. Сравните с ассимптотическим CI.

Непараметрическая статистика: подробности

Тест Колмогорова-Смирнова: Для H₀: F = F₀, статистика Dₙ = sup_x |F̂ₙ(x) − F₀(x)|. При H₀: √n·Dₙ → Kolmogorov distribution. Таблицы критических значений или точная формула через ряд. Для двухвыборочного KS-теста: Dₙₘ = sup_x |F̂₁(x) − F̂₂(x)| — тест однородности.

Ядерная оценка плотности: Выбор ширины полосы h — ключевой вопрос. Правило большого пальца Сильвермана: h = 1.06·σ̂·n^{−1/5} (оптимально для нормальных данных). Кросс-валидация с исключением: MISE минимизируется перебором h. Адаптивная KDE: h зависит от xᵢ (шире в хвостах).

Бутстрэп: теория и варианты

Нерепараметрический бутстрэп: Для оценки SE(θ̂): генерируем B выборок с возвратом, вычисляем θ̂* каждый раз. SE_boot = sd(θ̂₁,...,θ̂_B). ДИ: percentile (квантили бутстрэп-распределения), BCa (bias-corrected accelerated — поправки на смещение и асимметрию), studentized (через бутстрэп SE).

Параметрический бутстрэп: Оцениваем θ̂ из данных, генерируем из F(θ̂). Точнее непараметрического, если модель верна. Бутстрэп для зависимых данных: блочный бутстрэп (block bootstrap), circular block bootstrap — сохраняют структуру зависимости.

Ранговые тесты и их мощность

Тест Вилкоксона-Манна-Уитни (двухвыборочный): H₀: F₁ = F₂. Статистика U = #{ (i,j): X₁ᵢ > X₂ⱼ }. Асимптотически нормальна. Мощность против сдвиговой альтернативы: ARE(Уилкоксон, t-тест) = 3/π ≈ 0.955 для нормальных данных — почти столь же мощен! Для t(3): ARE = 1.5 > 1 — ранговый тест мощнее. Для тяжёлых хвостов ранговые тесты значительно лучше.

Методы повторных выборок: jackknife и permutation tests

Jackknife: θ̂_{(i)} — оценка без i-го наблюдения. SE_jack = √[(n-1)/n·Σ(θ̂_{(i)} − θ̂_{.})²], θ̂_{.} = среднее θ̂_{(i)}. Корректировка смещения: θ̂_bias_corrected = nθ̂ − (n-1)θ̂_{.}. Jackknife менее компьютерно-ёмок, чем bootstrap, но менее гибок.

Тест перестановок: H₀: X и Y из одного распределения. Статистика T = X̄−Ȳ. Точное распределение при H₀: перебрать все C(n₁+n₂,n₁) перестановок. p-value = #{Tᵢ ≥ T_obs}/n_perms. Не требует нормальности. Для n=10+10: C(20,10)=184756 — точный тест; для больших n — рандомизованный (10000 случайных перестановок).

Байесовские непараметрические методы

Процесс Дирихле (DP): случайное дискретное распределение P ~ DP(α, G₀). α — концентрация, G₀ — базовое. Реализации — взвешенные суммы точечных масс. Используется в Dirichlet Process Mixture: P ~ DP, Xᵢ|μᵢ ~ N(μᵢ, σ²), μᵢ|P ~ P. Автоматически подбирает число компонент — непараметрическая смесь. Китайский ресторанный процесс: образное описание DP-prior на разбиениях.

Гауссовские процессы в регрессии

Гауссовский процесс (GP): f ~ GP(m, k), где m(x) — функция среднего, k(x,x') — ядерная функция (ковариация). Апостериорное предсказание: f*|X,y,X* ~ N(μ*, Σ*), μ* = KK⁻¹y, Σ = K** − KK⁻¹Kᵀ. Ядро определяет сглаженность: SE (RBF), Matérn, периодическое. GP регрессия — Байесовский непараметрический аналог кридинга. Сложность O(n³) — ограничивает масштабируемость; приближения: sparse GP, inducing points.

Численный пример: бутстрэп-оценка стандартной ошибки

Задача: Данные n=5: x={1,3,5,7,9}. Оценить SE среднего бутстрэп-методом (B=4 выборки для иллюстрации).

Шаг 1: Исходное среднее: x̄=(1+3+5+7+9)/5=5.0.

Шаг 2: Четыре бутстрэп-выборки с возвращением и их средние:

• {1,1,5,9,7} → x̄*=23/5=4.6;
• {3,5,5,9,9} → x̄*=31/5=6.2;
• {7,7,3,1,5} → x̄*=23/5=4.6;
• {9,5,7,5,3} → x̄*=29/5=5.8.

Шаг 3: SE_boot = std{4.6, 6.2, 4.6, 5.8}. Среднее: 5.3. Дисперсия: ((−0.7)²+(0.9)²+(−0.7)²+(0.5)²)/4=(0.49+0.81+0.49+0.25)/4=0.51. SE_boot=√0.51≈0.714.

Шаг 4: Теоретически SE = σ/√n = √Var{1,3,5,7,9}/√5 = √10/√5 = √2 ≈ 1.414. При B→1000 бутстрэп-SE сойдётся к этому значению. GP предсказывает SE апостериорно через матрицу Σ*.