ДП в экономике: накопление, ресурсы, рост

Динамическое программирование — стандартный язык современной макроэкономики и бизнес-стратегии. Модели Рамсея, Стокли-Лукаса, RBC, Бьюлеа, Айягари — все формулируются через рекурсивную задачу. Численные методы (value function iteration, policy function iteration, Endogenous Grid Method) позволяют получать количественные предсказания, проверяемые на данных. Без ДП невозможно представить ни современный учебник Sargent-Ljungqvist, ни статьи Нобелевских лауреатов Прескотта, Сарджента, Лукаса.

Базовая модель накопления капитала (стохастический Рамсей)

Рекурсивная задача: V(k) = max_{c ∈ [0, f(k)]} [u(c) + β·V(f(k) − c + k·(1 − δ))],

где k — капитал, c — потребление, f(k) = k^α — производство (функция Кобба-Дугласа), δ — норма амортизации, β = 1/(1 + ρ) — коэффициент дисконтирования (ρ — норма временного предпочтения), u(c) = c^{1−σ}/(1 − σ) — функция полезности с эластичностью замещения 1/σ.

Метод итерации функции ценности (Value Function Iteration, VFI):

1. Дискретизуем k на сетку {k_1, ..., k_N}, например N = 500 точек.
2. Инициализация: V_0(k_i) = 0 для всех i.
3. На итерации n+1: V_{n+1}(k_i) = max_{c} [u(c) + β·V_n(k')], где k' = f(k_i) − c + k_i·(1 − δ). Интерполируем V_n между точками сетки (линейно).
4. Повторяем до ||V_{n+1} − V_n||_∞ < ε.

Сходимость: β-сжатие. ||V_{n+1} − V_n||∞ ≤ β·||V_n − V{n−1}||_∞. Число итераций для точности ε: n ≈ log(ε(1−β)/||V_0 − V*||) / log(β). При β = 0.96, ε = 10⁻⁶ — ~300 итераций.

Метод итерации политики (PFI). Альтернатива VFI:

1. Стартовая политика g₀(k) (например, 10% дохода — потребление).
2. Оценка политики: решить линейную систему для V^g (фиксированная g).
3. Улучшение политики: g_{n+1}(k) = argmax_c [u(c) + β·V^{g_n}(k')].
4. Конечная сходимость за конечное число итераций (быстрее VFI).

Endogenous Grid Method (EGM, Carroll 2006). Самый быстрый: вместо сетки по k делаем сетку по будущему капиталу k', считаем потребление через FOC и восстанавливаем k. Ускорение в 10-100 раз.

Численный пример: модель Рамсея

Параметры: α = 0.36, β = 0.96, δ = 0.10, σ = 1 (логарифмическая полезность u = ln c).

Стационарное состояние из FOC: f'(k*) = 1/β − 1 + δ → α·k*^{α−1} = 1/0.96 − 1 + 0.1 → k* = (α·β/(1 − β·(1 − δ)))^{1/(1−α)} ≈ 3.16. c* = f(k*) − δ·k* ≈ 1.10.

Численно VFI (Python, N = 500, ε = 10⁻⁶): сходимость за ~280 итераций. Политика c*(k) — гладкая возрастающая функция, при k > k* потребление превышает производство, при k < k* — наоборот, идёт накопление.

Задача исчерпаемых ресурсов (правило Хотеллинга)

Задача: max Σ_{t=0}^T β^t·u(q_t) при s_{t+1} = s_t − q_t, s_0 = S, s_t ≥ 0.

Запас s — невозобновляемый ресурс (нефть, газ). Добыча q_t = потребление.

Решение через ДП. V(s) = max_{q ≤ s} [u(q) + β·V(s − q)]. При u(c) = ln c пробный вид: V(s) = A + B·ln(s).

Подставляя: A + B·ln(s) = max_q [ln(q) + β·(A + B·ln(s − q))]. FOC по q: 1/q = β·B/(s − q) → q = s/(1 + β·B). Подставляя обратно и сравнивая коэффициенты при ln(s): B = 1/(1 − β). Откуда q*(s) = s·(1 − β).

Правило Хотеллинга. Предельная стоимость ресурса (royalty) растёт с темпом 1/β − 1 = ρ. Это объясняет долгосрочный рост цены сырья: владелец недр держит ресурс, пока он не подорожает достаточно.

Эмпирически правило выполняется для серебра, меди (после поправок на технологию), но плохо для нефти (открытие новых месторождений и ОПЕК искажают картину).

Неоклассическая модель роста: количественный анализ (RBC)

Кюдланд и Прескотт (1982) добавили в Рамсея случайные шоки производительности z_t: f(k_t, z_t) = z_t·k_t^α·n_t^{1−α}, плюс эндогенный труд n.

Калибровка: α = 0.36, β = 0.99 (квартальная), δ = 0.025, σ = 1, шок z_{t+1} = ρ·z_t + ε_t, ρ = 0.95, σ_ε = 0.007.

Решение через VFI или линеаризацию вокруг стационарного состояния.

Предсказания vs. данные (США 1947-2007):

• Дисперсия лог-ВВП: модель 1.7%, данные 1.7%. ✓
• Дисперсия инвестиций / дисперсия потребления: ~10, данные ~6. Близко.
• Корреляция выпуска и труда: 0.97, данные 0.86. Завышена.

«Успех» RBC: модель воспроизводит первые и вторые моменты бизнес-цикла из единственного источника — шоков производительности. Это породило огромную литературу (DSGE, New Keynesian модели).

Реальные применения

• Центральные банки. ФРС, ЕЦБ, Банк России используют DSGE-модели (среднемасштабные — 30-100 переменных), решаемые через VFI или линеаризацию, для прогнозирования и оценки политики (Smets-Wouters, FRB/US, R-Quest).
• Страховые компании и пенсионные фонды. Долгосрочные модели asset-liability management — стохастическое ДП с экономическими сценариями. Аналог задачи Мертона на 20-50 лет.
• Корпоративные финансы. Решения о капитальных инвестициях с необратимостью — задача оптимальной остановки, классический пример ДП (Dixit-Pindyck «Investment Under Uncertainty»).
• Налоговая политика. Оптимальное налогообложение в моделях Айягари с гетерогенными агентами — гигантское ДП с распределением по богатству, решается приближёнными методами (perturbation, EGM).

Задание. Численно решите базовую задачу Рамсея: u(c) = ln c, f(k) = k^0.36, β = 0.96, δ = 0.10. Сетка k ∈ [0.05, 5] с N = 500 точками. (а) Реализуйте VFI до ε = 10⁻⁶, запишите число итераций. (б) Постройте функцию ценности V(k). (в) Найдите политику потребления c*(k), сравните с аналитическим решением для log-utility (известное точное: c*(k) = (1 − αβ)·f(k)). (г) Симулируйте 100 периодов от k_0 = 1: как сходится к стационарному k*? (д) Эксперимент: измените β = 0.90 — как изменится k* и скорость сходимости?