Граница Крамера-Рао и асимптотическая эффективность

Граница Крамера-Рао и асимптотическая эффективность

Граница Крамера-Рао устанавливает нижний предел дисперсии несмещённых оценок. Асимптотически эффективная оценка достигает этой границы при n → ∞.

Информация Фишера

Определение: I(θ) = E[(∂ log f(X;θ)/∂θ)²] = -E[∂² log f(X;θ)/∂θ²]. Информация Фишера измеряет «крутизну» функции правдоподобия — чем она выше, тем точнее можно оценить θ.

Аддитивность: Для n i.i.d. наблюдений: Iₙ(θ) = n·I(θ). Матричная форма: I(θ)ᵢⱼ = -E[∂² log f/∂θᵢ∂θⱼ] — информационная матрица Фишера.

Примеры: N(μ,σ²) при σ² известной: I(μ)=1/σ². Poisson(λ): I(λ)=1/λ. Bernoulli(p): I(p)=1/(p(1-p)). Exp(λ): I(λ)=1/λ².

Неравенство Крамера-Рао

Формулировка: Для несмещённой оценки θ̂ при регулярных условиях: Var[θ̂] ≥ 1/(n·I(θ)). Нижняя граница дисперсии CRB = 1/(nI(θ)).

Условие достижения CRB: Граница достигается тогда и только тогда, когда: ∂ log L/∂θ = c(θ)·(θ̂-θ) для некоторой функции c(θ). Для экспоненциального семейства натуральная достаточная статистика всегда достигает CRB.

Матричный вариант: Для вектора θ: Cov[θ̂] - I(θ)⁻¹ ≥ 0 (неотрицательно определённая разность). Дисперсия любой линейной комбинации aᵀθ̂ не меньше aᵀI(θ)⁻¹a.

Асимптотическая эффективность

Определение: Оценка θ̂ₙ асимптотически эффективна, если √n(θ̂ₙ - θ₀) →_d N(0, I(θ₀)⁻¹). Асимптотическая дисперсия = CRB — нельзя сделать лучше при n→∞.

Теорема Ле Кама: ОМП асимптотически эффективен в широком классе регулярных моделей. «Супер-эффективность» Ходжеса: существует оценка, лучшая в одной точке, но хуже в остальных.

Относительная эффективность (ARE): ARE(θ̂₁, θ̂₂) = AsyVar(θ̂₂)/AsyVar(θ̂₁). ARE(медиана, среднее) для N(0,1) = 2/π ≈ 0.637. Для Laplace(0,b): ARE = 2 — медиана эффективнее при тяжёлых хвостах.

Задание: (а) Exp(λ): CRB для оценки λ и 1/λ. Достигает ли X̄ CRB для 1/λ? А 1/X̄ для λ? (б) ARE(медиана, среднее) для t(ν) при ν=3,5,10. При каком ν медиана предпочтительнее? (в) Логистическая регрессия с n=200: оцените I(β) через гессиан и как 1/Var[β̂] из симуляции — сравните.

Относительная эффективность оценок

ARE (Asymptotic Relative Efficiency) оценок T₁ и T₂: ARE(T₁,T₂) = lim_{n→∞} Var(T₂)/Var(T₁) = lim nVar(T₂)/(nVar(T₁)) — отношение дисперсий при одинаковом n. ARE > 1 ⟹ T₁ эффективнее.

ARE среднего vs. медианы: Для симметричного распределения F с плотностью f: ARE(медиана, среднее) = 4f(0)²σ². Для нормального: 2/π ≈ 0.637 (медиана теряет 36% эффективности). Для Лапласа: 2 > 1 (медиана в 2 раза эффективнее среднего!). Для Коши: ARE = ∞ (среднее бесконечной дисперсии бесполезно).

Выпуклость и оценка из семейства экспонент

Для экспоненциального семейства f(x|θ) = h(x)exp{η(θ)T(x) − A(θ)}: MLE = θ̂: E_θ[T(X)] = T̄. Информация Фишера I(θ) = A''(θ) (вторая производная log-разбиение). Матрица: I(η) = Var_η[T(X)]. Проверка достижимости CRB: MLE достигает CRB тогда и только тогда, когда T — минимальная достаточная для θ (экспоненциальное семейство!).

Пример Бернулли(p): A(p) = ln(1/(1−p)), A''(p) = 1/(p(1−p)) = I(p). CRB для p: 1/(nI(p)) = p(1−p)/n. X̄ имеет Var = p(1−p)/n = CRB — достигает!

Оценки методом моментов и их эффективность

Метод моментов (MoM): Решить систему E[Xᵢ] = μᵢ(θ) относительно θ. Проще вычислять, чем MLE, но обычно менее эффективен. Обобщённый метод моментов (GMM): минимизировать ||n⁻¹Σg(Xᵢ,θ)||²_{W⁻¹} по θ, где W = Var[g]. Оптимальный вес W = Var[g(X,θ)] → асимптотически эффективен в классе MM-оценок.

Тест Хаусмана: эффективность vs. состоятельность

Тест Хаусмана: Сравнить две оценки θ̂₁ (эффективная, но несостоятельная при нарушении условий) и θ̂₂ (состоятельная, но неэффективная). Статистика: H = (θ̂₂−θ̂₁)ᵀ(Var(θ̂₂)−Var(θ̂₁))⁻¹(θ̂₂−θ̂₁) ~ χ²(k). Если H большой → θ̂₁ несостоятелен (нарушены условия). Применяется в эконометрике: тест эндогенности (OLS vs. IV), тест случайных vs. фиксированных эффектов.

Инструментальные переменные и двухшаговый МНК

Проблема эндогенности: Cov(X,ε) ≠ 0 → OLS смещён. Инструментальная переменная Z: Cov(Z,X) ≠ 0 (значим), Cov(Z,ε) = 0 (экзогенен). 2SLS: 1-й шаг: регрессия X на Z → Xhat. 2-й шаг: регрессия Y на Xhat. Оценка состоятельна при слабых инструментах (F-stat 1-го шага > 10 — практическое правило). Слабые инструменты: 2SLS сильно смещён в сторону OLS.

Экспоненциальные неравенства Беннетта и Бернштейна

Для независимых центрированных X с |Xᵢ| ≤ M и Var(Xᵢ) = σᵢ²: Неравенство Беннетта: P(Σ(Xᵢ − EXᵢ) ≥ t) ≤ exp(−σ²/M²·h(tM/σ²)), h(u) = (1+u)ln(1+u)−u. Неравенство Бернштейна: P(|X̄ − μ| ≥ t) ≤ 2exp(−nt²/(2(σ²+Mt/3))). При t мало → Гауссовская хвостовая граница; при t велико → экспоненциальная. Стандартно в ML-теории для оценки скорости сходимости эмпирического риска.

Сверхэффективность и теорема Ле Кама

Сверхэффективное оценивание: Оценка θ̂ называется сверхэффективной в θ₀, если √n(θ̂−θ₀)/√I(θ₀)⁻¹ → 0 в точке θ₀. Пример: θ̂ = I(|X̄|<n^{-1/4})·0 + I(|X̄|≥n^{-1/4})·X̄. В θ₀=0 это эффективнее CRB! Теорема Ле Кама: сверхэффективность возможна лишь на множестве меры 0 — нельзя быть лучше MLE везде одновременно.

Численный пример: информация Фишера и граница Крамера-Рао

Задача: X₁,...,X₁₀₀ ~ Bernoulli(p). Найти I(p), нижнюю границу Var[p̂] при p=0.4. Сравнить с Var[X̄].

Шаг 1: ℓ(p;x)=x·ln(p)+(1−x)·ln(1−p). ∂ℓ/∂p=x/p−(1−x)/(1−p). Информация Фишера одного наблюдения: I(p)=E[(∂ℓ/∂p)²].

Шаг 2: E[(x/p−(1−x)/(1−p))²]=p/p²+(1−p)/(1−p)²=1/p+1/(1−p)=1/(p(1−p)).

Шаг 3: При p=0.4: I(0.4)=1/(0.4·0.6)=1/0.24≈4.167. Граница КР для n=100: Var[p̂]≥1/(n·I(p))=1/(100·4.167)=0.0024. SE≥√0.0024≈0.049.

Шаг 4: MLE p̂=x̄: Var[p̂]=p(1−p)/n=0.24/100=0.0024 — точно равно нижней границе! MLE эффективна (достигает границы Рао-Крамера) для одномерных экспоненциальных семейств. Относительная эффективность оценки медианы: 2p(1−p)·(2f(μ)²)⁻¹·n=π/2≈1.57 — медиана в 1.57 раза хуже среднего для нормального распределения.