Дифференциальные игры

Определения

Динамика

— ẋ = f(x, u, v), x ∈ ℝⁿ (состояние), u ∈ U (управление игрока P, минимизатора), v ∈ V (управление игрока E, максимизатора).

Функционал

— J = g(x(T)) + ∫₀ᵀ F(x(t), u(t), v(t)) dt.

Разомкнутая стратегия

— u = u(t) — управление как функция только времени. Планируется заранее, не реагирует на состояние системы. Математически проще, но нереалистична для практики.

Стратегия в форме обратной связи

— u = α(x, t) — управление как функция текущего состояния. Каждый игрок «видит» x и реагирует. Это реалистичная модель для реальных систем.

Стратегия обратной связи по выходу

— u = α(y, t), где y = h(x) — неполное наблюдение. Наиболее сложный случай.

Важный факт

— для нулевых игр при условии Айзекса значение игры одинаково для разомкнутых и обратносвязанных стратегий!

По сумме

— нулевая сумма (J₁ + J₂ = 0 — интересы полностью противоположны), ненулевая сумма (у каждого свой J), кооперативные (игроки могут договариваться).

По информации

— полная информация (оба видят x), неполная (x частично скрыто).

По горизонту

— конечный (T < ∞), бесконечный (T = ∞, задача преследования до захвата).

По динамике

— линейные (f = Ax + Bu + Cv), нелинейные, стохастические (с шумом).

Авиация

— перехватчик (P) и цель (E). Перехватчик хочет минимизировать расстояние к цели. Цель — максимизировать. Оптимальная стратегия P: лететь к «упреждающей точке», а не напрямую.

Экономика

— две компании устанавливают цены на конкурирующие товары. Цена первой влияет на спрос второй и наоборот. Динамическая модель → дифференциальная игра.

Автономные автомобили

— два автомобиля на перекрёстке. Каждый хочет проехать, не столкнувшись. Это задача Stackelberg или Nash-равновесия в дифференциальной игре.

Биология

— хищник и жертва в трёхмерном пространстве. Стратегически оптимальная «погоня» не всегда — «напрямую».

В 1950-е годы холодная война поставила военных аналитиков перед новой задачей: как перехватить высокоманёвренную ракету? Как уйти от перехватчика? Это не задача оптимального управления в обычном смысле — у «цели» есть собственная воля и она активно противодействует. Руфус Айзекс, работая в RAND C...

В задаче оптимального управления: один игрок управляет системой, минимизируя стоимость. Природа «не против» — нет противника. В дифференциальной игре: два (или более) игрока управляют совместно используемой системой, и их цели конфликтуют.

Это делает задачу принципиально сложнее: оптимальная стратегия одного игрока зависит от стратегии другого, и та — от стратегии первого. Это «петля»: нужно найти стратегии, которые одновременно оптимальны при заданных стратегиях противника.

Динамика: ẋ = f(x, u, v), x ∈ ℝⁿ (состояние), u ∈ U (управление игрока P, минимизатора), v ∈ V (управление игрока E, максимизатора).

Определения

Определение

— V(x, t) = min_{u(·)} max_{v(·)} J(x, t; u(·), v(·)) — значение игры, начатой из состояния x в момент t.

Терминальное условие

— V(x, T) = g(x) — стоимость конечного состояния.

Уравнение HJI

— ∂V/∂t + H*(x, t, ∇V) = 0

Условие Айзекса

— min_{u∈U} max_{v∈V} H(x,u,v,p) = max_{v∈V} min_{u∈U} H(x,u,v,p)

Смысл

— «игровой гамильтониан» одинаков при перестановке min и max. Это аналог условия «равновесия» в статических играх.

Когда выполнено

— при компактных U, V и непрерывном H — всегда (теорема минимакса Неймана). При несвязных управлениях могут быть проблемы.

Если нарушено

— значение игры может зависеть от порядка ходов (кто первый «объявляет» стратегию). Нужно различать «нижнее значение» V⁻ = max_v min_u J и «верхнее» V⁺ = min_u max_v J.

Численные методы

— конечные разности с монотонными схемами (Osher-Shu upwind), level-set методы (Osher-Sethian). Эти методы точно аппроксимируют вязкостное решение.

Динамика

— ẋ = u − v, x ∈ ℝ, u ∈ [−1,1] (P), v ∈ [−a,a] (E, a < 1).

Функционал

— J = x(T)² (минимизируем удалённость при T).

HJI

— ∂V/∂t + min_{|u|≤1} max_{|v|≤a} [(u−v) ∂V/∂x] = 0.

В теории оптимального управления ценовая функция V(x,t) удовлетворяет уравнению Гамильтона-Якоби-Беллмана (HJB). Когда появляется второй игрок с противоположными интересами, уравнение модифицируется: вместо min по u появляется min по u и max по v одновременно. Это уравнение Гамильтона-Якоби-Айзек...

Определение: V(x, t) = min_{u(·)} max_{v(·)} J(x, t; u(·), v(·)) — значение игры, начатой из состояния x в момент t.

где игровой гамильтониан: H*(x, t, p) = min_{u∈U} max_{v∈V} {F(x, u, v, t) + pᵀ f(x, u, v, t)}

Условие Айзекса: min_{u∈U} max_{v∈V} H(x,u,v,p) = max_{v∈V} min_{u∈U} H(x,u,v,p)

Определения

Расстояние

— r(t) = |xP(t) − xE(t)|.

Захват

— r(t) ≤ l (захватывающий радиус). P хочет достигнуть захвата, E — избежать.

Барьерная поверхность

— Айзекс нашёл геометрию области начальных условий, из которых захват гарантирован (Capture Zone) и из которых уклонение гарантировано (Escape Zone). Граница — «барьер» — является особым решением HJI.

Оптимальность

— при линейной динамике и малом угле PN с N → ∞ оптимальна. При N = 4-5 практически близка к оптимуму.

Почему PN работает

— цель перехвата — точка в будущем («упреждающая точка»), а не текущее положение цели. PN автоматически вычисляет упреждение через угловую скорость.

Параметры

— P и E в ℝ², α = 2, β = 1, l = 0 (точечный захват). Начальные позиции: xP = (0,0), xE = (10, 0).

Беспилотники

— задача безопасного избегания столкновений — реверс задачи преследования. Автомобиль A хочет «убежать» от B, чтобы не столкнуться. Оптимальный «убегающий» алгоритм минимизирует риск.

Multi-UAV захват

— группа преследователей против одного убегающего. Результат: достаточно 2 скоординированных преследователя для гарантированного захвата даже более быстрого E в ограниченном пространстве.

Роботы

— patrol-evader задача для автономных охранных роботов. Библиотека SafeRL использует HJI для вычисления «безопасных» управлений в реальном времени.

Формулы

Охотник преследует зайца. Лиса гонится за кроликом. Военный перехватчик — за целью. Задача преследования-уклонения (Pursuit-Evasion, PE) — одна из древнейших прикладных математических задач. Айзекс придал ей строгую математическую форму и открыл первые удивительные результаты: оптимальная стратег...

Два игрока в ℝ². Преследователь P с позицией xP ∈ ℝ², скорость |u| ≤ α. Убегающий E с позицией xE ∈ ℝ², скорость |v| ≤ β.

Захват: r(t) ≤ l (захватывающий радиус). P хочет достигнуть захвата, E — избежать.

Захват гарантирован при любой стратегии E. Оптимальная стратегия P: Pure Pursuit (просто лети к E) — обеспечивает захват за конечное время.

Определения

Смысл

— максимальный «гарантированный» выигрыш игрока 1 = минимальный «гарантированный» проигрыш игрока 2. Это значение называется ценой игры.

Доказательство через ЛП

— задача max_x min_y xᵀAy — это ЛП (можно ввести переменную v = min_y xᵀAy). Сильная двойственность ЛП → равенство min = max.

Алгоритм нахождения

— записываем как ЛП. Обе задачи — ЛП, сильная двойственность.

Важный факт

— для нулевых игр с фиксированными стратегиями — разница!

Разомкнутые стратегии

— u = u(t), v = v(t) (до игры фиксируются). «Открытый» порядок ходов:

Стратегии обратной связи

— u = α(x,t), v = β(x,t). При условии Айзекса: min max = max min = V(x₀). Стратегии обратной связи «обходят» проблему порядка ходов.

Решение

— оптимальные стратегии линейны:

Задача

— ẋ = u + v, x(0) = 1, J = x(T)² + ∫₀ᵀ [u² − v²] dt (T = 1).

В 1928 году Джон фон Нейман доказал поразительный факт: в любой матричной игре с нулевой суммой есть «равновесие». Минимизатор не может «ухудшить» результат ниже некоторого значения V, а максимизатор не может поднять его выше того же V. Это значение V — «цена игры». Теорема минимакса — это матема...

где Δₖ — стандартный симплекс смешанных стратегий (вероятностное распределение на k чистых стратегиях).

Смысл: максимальный «гарантированный» выигрыш игрока 1 = минимальный «гарантированный» проигрыш игрока 2. Это значение называется ценой игры.

Доказательство через ЛП: задача max_x min_y xᵀAy — это ЛП (можно ввести переменную v = min_y xᵀAy). Сильная двойственность ЛП → равенство min = max.

Определения

Система

— ẋ = Ax + Bu + Dw (w — неизвестное возмущение), выход z = Cx + Eu.

Задача H∞

— найти управление u = K(x), минимизирующее «коэффициент усиления» от w к z в наихудшем случае:

Как дифференциальная игра

— управление u — минимизатор, возмущение w — максимизатор:

Связь с устойчивостью

— если H∞-норма конечна — система устойчива. Минимальная γ, при которой задача решаема — «запас устойчивости» системы.

Модель

— ẋ₁ = x₂ (скорость кузова), mẋ₂ = −k(x₁−x₃) − c(x₂−x₄) + u (амортизатор), Mẋ₃ = x₄, Mẋ₄ = k(x₁−x₃) + c(x₂−x₄) − kₜ(x₃−w). Здесь w — неровности дороги, u — активная подвеска.

Цель

— минимизировать ‖ускорение кузова ẍ₁‖ при ограниченном ‖u‖ и худших ‖w‖.

Результат

— H∞-регулятор уменьшает ускорение кузова на 30-40% по сравнению с пассивной подвеской при тех же ограничениях на ход подвески.

В реальных системах управления — самолётах, энергосистемах, химических реакторах — всегда есть неизвестные возмущения: турбулентность, изменения нагрузки, параметрическая неопределённость. Классическое управление (LQR) оптимально при известной модели, но может «сломаться» при возмущениях. H∞-упра...

Задача H∞: найти управление u = K(x), минимизирующее «коэффициент усиления» от w к z в наихудшем случае:

‖T_{zw}‖_∞ — H∞-норма передаточной функции от w к z. Это «усиление наихудшего сигнала».

Как дифференциальная игра: управление u — минимизатор, возмущение w — максимизатор:

Определения

Для LQ-игр

— V(x,t) = xᵀP(t)x (квадратичная по x), P(t) — матрица Риккати-Айзекса, удовлетворяющая ОДУ.

Условие разрешимости

— уравнение Риккати должно иметь решение на всём [0,T]. При больших T (или больших C) решение может «взорваться» — значение игры не ограничено.

Reach-Avoid множество

— начальные условия x₀, из которых P может гарантировать захват. Граница = барьерная поверхность.

Вычисление

— level-set метод (Hamilton-Jacobi toolbox). V(x,t) = 0 — граница. V(x,t) < 0 — зона P, V(x,t) > 0 — зона E.

Система

— ẋP = uP, ẋE = uE, |uP| ≤ αP, |uE| ≤ αE. Захват: |xP − xE| ≤ l.

Заменим переменную

— r = xP − xE (относительное положение). ṙ = uP − uE.

Метод конечных разностей

— дискретизация по x на сетке, интегрирование HJI назад по t.

Проклятие размерности

— для n=4 и шаге h=0.1: 10⁴ = 10,000 точек — выполнимо. Для n=6: 10⁶ — сложно. Для n=10: невозможно.

Формулы

В задачах с конечным горизонтом [0, T] состояние системы x(T) имеет особый статус: функция g(x(T)) задаёт «терминальный выигрыш». Это определяет «границы» — наборы начальных состояний x₀, из которых P или E могут гарантировать нужный исход. Математически: функция ценности определяется из HJI с те...

Принцип оптимальности даёт: V(x,t) = min_u max_v {F(x,u,v,t)dt + V(x+f·dt, t+dt)}.

Это «уравнение Беллмана» в обратном времени: зная V при t+dt, вычисляем V при t. Начинаем от T (где V(x,T) = g(x)) и «идём назад».

Для LQ-игр: V(x,t) = xᵀP(t)x (квадратичная по x), P(t) — матрица Риккати-Айзекса, удовлетворяющая ОДУ.

Определения

Динамика

— ẋ = f(x, u₁, u₂, ..., uN, t).

Функционал игрока i

— Jᵢ(u₁,...,uN) = gᵢ(x(T)) + ∫₀ᵀ Fᵢ(x, u₁,...,uN, t) dt.

Ключевое отличие от нулевой суммы

— Σᵢ Jᵢ ≠ const в общем случае. Можно выиграть «сообща», или наоборот — все проигрывают.

Смысл

— ни один игрок не может улучшить свой результат, в одностороннем порядке изменив свою стратегию (при фиксированных стратегиях остальных).

Существование

— при разумных условиях (компактные Uᵢ, непрерывные Jᵢ) NE в смешанных стратегиях существует (теорема Нэша, 1950).

Уникальность

— в общем случае NE может быть несколько или единственным. Для LQ-игр с «диагональной» структурой — единственное.

Двухуровневая игра

— лидер знает функцию реакции последователя R(uL) = argmin_{uF} JF(uL, uF). Лидер минимизирует JL(uL, R(uL)) — «решает сначала».

Равновесие Штакельберга

— набор (uL*, uF*) с uF* = R(uL*), uL* = argmin_uL JL(uL, R(uL)).

Свойство

— лидер всегда не хуже, чем в NE (имеет «advantage от первого хода»).

Статическое NE

— ∂π₁/∂p₁ = 0 и ∂π₂/∂p₂ = 0 → p₁* = p₂* = (a + bk)/(2b − c).

Nash-равновесие

— через уравнения Риккати. Траектории цен: p₁(t), p₂(t) сходятся к статическому NE — «динамика ценовой конкуренции».

Best Response Dynamics

— каждый игрок по очереди оптимизирует свою стратегию при фиксированных стратегиях остальных. Сходимость к NE не гарантирована, но часто работает.

Deep Nash

— явная формулировка Nash-условий как системы уравнений + нейросеть для совместного решения.

Формулы

Реальная конкуренция редко бывает дуэлью. Три компании делят рынок. Пять государств управляют рыболовством. Сотня трейдеров торгуют на рынке. В таких ситуациях структура стратегического взаимодействия принципиально сложнее: каждый игрок оптимизирует против «всех остальных сразу», а не против одно...

Ключевое отличие от нулевой суммы: Σᵢ Jᵢ ≠ const в общем случае. Можно выиграть «сообща», или наоборот — все проигрывают.

Смысл: ни один игрок не может улучшить свой результат, в одностороннем порядке изменив свою стратегию (при фиксированных стратегиях остальных).

Существование: при разумных условиях (компактные Uᵢ, непрерывные Jᵢ) NE в смешанных стратегиях существует (теорема Нэша, 1950).

Определения

Супераддитивность

— v(S ∪ T) ≥ v(S) + v(T) при S ∩ T = ∅. Если есть «синергия» от кооперации — объединяться выгодно.

Аксиоматизация

— единственное распределение, удовлетворяющее:

Ядро

— набор распределений (x₁,...,xN) с:

Пример

— государства договорились в начале игры об ограничениях по CO₂. Через 10 лет страна A обнаруживает, что ей выгоднее «выйти» из соглашения. Договорённость «нестабильна» — не является динамически согласованной.

Модель

— N государств рыбачат в общем океане. Биомасса рыбы: ẋ = r x(1 − x/K) − Σᵢ uᵢ (логистический рост − суммарный вылов).

Выигрыш i

— Jᵢ = ∫₀^∞ e^{−ρt} (uᵢ − c uᵢ²/(2x)) dt (прибыль от вылова с учётом издержек).

Nash (не кооперативное)

— каждый государство вылавливает слишком много → «трагедия общего» (Hardin). Ресурс истощается.

Кооперативное решение

— максимизируем Σᵢ Jᵢ → меньший суммарный вылов → больший суммарный выигрыш! Шепли-значение распределяет его справедливо.

Динамическая согласованность

— IDP обеспечивает, что каждое государство получает выплаты так, что «уход» из соглашения никогда не выгоден.

Задача

— v({1}) = 2, v({2}) = 3, v({3}) = 4, v({1,2}) = 7, v({1,3}) = 8, v({2,3}) = 9, v({1,2,3}) = 12.

Формулы

Nash-равновесие описывает «ситуацию без договорённостей»: каждый за себя. Но в реальности игроки часто могут договариваться о совместных стратегиях и делить выигрыш. Рыболовные государства договариваются об ограничении вылова. Страны создают климатические соглашения. Компании объединяются в консо...

v(S) = максимальный суммарный выигрыш, который S может гарантировать себе совместными действиями

Супераддитивность: v(S ∪ T) ≥ v(S) + v(T) при S ∩ T = ∅. Если есть «синергия» от кооперации — объединяться выгодно.

При супераддитивности: v(N) ≥ Σᵢ v({i}) — объединяться всем вместе выгоднее, чем действовать поодиночке.

Определения

Предположение однородности

— все агенты одинаковые (i.i.d. — независимые одинаково распределённые начальные состояния).

NE в пределе N → ∞

— типичный агент оптимизирует свою стратегию, считая m(x,t) «данным» (не зависящим от его действий). В равновесии m(x,t) порождается именно этой оптимальной стратегией типичного агента — самосогласованность!

HJB (назад по времени)

— оптимальное управление типичного агента u*(x,t) при данном m:

FPK (вперёд по времени)

— эволюция распределения m при оптимальной стратегии u*(x,t):

Самосогласованность

— V зависит от m (агент адаптируется к толпе), m зависит от V (толпа движется оптимально). Это нелинейная система!

Существование решения

— при разумных условиях на H существует решение (V,m) системы MFG. Для монотонных игр (где «больше агентов → менее привлекательно») — единственность.

Crowd dynamics (динамика толпы)

— m(x,t) — плотность пешеходов. Каждый выбирает путь, минимизируя время + дискомфорт от скученности. H = |u|²/2 + αm (штраф за плотную толпу). Решение MFG воспроизводит «образование полос» движения в коридоре — наблюдаемый физический эффект!

Финансовые рынки

— «Торговля с ценовым воздействием». N трейдеров продают актив, каждая продажа снижает цену. MFG даёт «оптимальный» торговый алгоритм для каждого трейдера, учитывающий агрегированное влияние всей группы.

Телекоммуникации

— пользователи распределённой сети выбирают ресурсы (каналы, серверы). MFG описывает «равновесие распределения» при большом числе пользователей.

Эпидемиология

— агенты выбирают уровень «социального дистанцирования». MFG описывает «рациональное» поведение при пандемии — может не совпадать с «общественно оптимальным»!

Deep MFG (Carmona-Lauriere, 2021)

— аппроксимируем V(x,t) и m(x,t) нейросетями. Масштабируется до высоких размерностей (50+ переменных).

Задача

— N → ∞ частиц хотят достичь мишени в x=0. Динамика: dX = u dt + σ dW. Стоимость: J = E[∫(|u|²/2 + αm(X,t)) dt + |X(T)|²].

MFG-система

— HJB: −∂V/∂t − (σ²/2)∆V + |∇V|²/2 + αm = 0. FPK: ∂m/∂t + div(m∇V) − (σ²/2)∆m = 0.

Представьте тысячи трейдеров на финансовом рынке. Каждый рационален и влияет на цену, но каждый «мал» по сравнению с рынком в целом. Или тысячи пешеходов в узком коридоре — каждый оптимально выбирает путь, но взаимодействует со «средней плотностью» толпы, а не с каждым человеком индивидуально. Me...

При N → ∞ «типичный» агент взаимодействует не с конкретными другими агентами, а с «распределением» всей популяции m(x, t) — плотностью агентов в состоянии x в момент t.

Предположение однородности: все агенты одинаковые (i.i.d. — независимые одинаково распределённые начальные состояния).

NE в пределе N → ∞: типичный агент оптимизирует свою стратегию, считая m(x,t) «данным» (не зависящим от его действий). В равновесии m(x,t) порождается именно этой оптимальной стратегией типичного агента — самосогласованность!

Определения

Функционал

— J = E[g(X(T)) + ∫₀ᵀ F(X, u, v, t) dt] — ожидаемая стоимость.

Цель

— min_u max_v J (или наоборот).

Связь BSDE с принципом Понтрягина

— сопряжённая переменная p(t) в стохастическом случае — это не просто ОДУ, а СДУ для (p, q), где q — дополнительный мартингальный член.

Задача

— dX = (u+v)dt + σ dW, X(0) = 1, J = E[X(T)² + ∫₀ᵀ (u² − v²)dt].

Стохастическое уравнение Риккати-Айзекса

— (та же форма, что и детерминированном случае):

Замкнутая система

— dX = (−X+X)dt + σ dW = σ dW → X(t) = 1 + σW(t).

Значение игры

— V = E[X(T)²] + ∫₀ᵀ E[u*² − v*²]dt = E[(1+σW(T))²] = 1 + σ²T.

Физический смысл

— шум «увеличивает» значение игры. Это интуитивно: при случайном блуждании X, квадратичный функционал больше из-за «разброса» X.

Уравнение Блэка-Шоулза

— это частный случай! dS = μS dt + σS dW (цена акции). Цена опциона V удовлетворяет: ∂V/∂t + (1/2)σ²S²∂²V/∂S² + rS ∂V/∂S − rV = 0. Это HJB без управления (u = 0) + граничное условие. Вся финансовая теория опционов — частный случай стохастического оп...

В детерминированных играх будущее предопределено: зная начальное состояние и стратегии обоих игроков, можно точно предсказать траекторию. В реальных системах всегда есть шум: рыночная волатильность, турбулентность, тепловые флуктуации. Стохастические дифференциальные игры (СДИ) расширяют детермин...

Дополнительный член (1/2)tr(σσᵀ ∇²V) — «итовский» член (следствие формулы Ито для стохастического дифференциала).

Стохастичность добавляет лапласиан ∆V = tr(∇²V), который «сглаживает» функцию ценности.

Оптимальный игровой гамильтониан: H*(x,t,p,Q) = min_{u∈U} max_{v∈V} [F + pᵀf + (1/2)tr(σσᵀQ)]

Определения

Проблема нестационарности

— если агент 1 обновляет свою политику, среда с точки зрения агента 2 меняется. «Цель» движется — сходимость Q-learning не гарантирована!

Преимущества

— простота, масштабируемость на много агентов.

Недостатки

— нет теоретических гарантий сходимости. Среда нестационарна. На практике часто работает!

Во время обучения

— критик Qᵢ(x, a₁,...,aN) видит все состояния и действия. Актор μᵢ(oᵢ) видит только своё наблюдение. Критик обеспечивает «стабильную» оценку качества.

Во время исполнения

— каждый агент действует только на основе своего oᵢ — децентрализованно.

Обновление критика

— Lᵢ = E[(Qᵢ(x,a) − yᵢ)²], yᵢ = rᵢ + γ Qᵢ'(x', a₁',...,aN')|_{aⱼ'=μⱼ'(oⱼ')}.

Обновление актора

— ∇_θᵢ J = E[∇_{aᵢ} Qᵢ · ∇_θᵢ μᵢ(oᵢ)].

Преимущество

— критик «видит» полную картину → стабильное обучение. В NE: Qᵢ(x, a*) точно оценивает равновесную стоимость.

Self-play

— агент играет против копии себя. При правильной реализации сходится к NE для двухигровых нулевых игр (например, шахматы, го).

AlphaGo/AlphaZero

— pure self-play + MCTS (Monte Carlo Tree Search) + глубокие нейросети. Достигает сверхчеловеческого уровня в го и шахматах — фактически решая огромную дискретную «дифференциальную» игру.

League Training (AlphaStar)

— для StarCraft II — игра с большой неопределённостью. Набор «лиги» — разнородных прошлых версий агента, избегает «цикличности» (A бьёт B, B бьёт C, C бьёт A).

Policy gradient для игр

— ∇_θ E[J] = E[Σₜ ∇_θ log π_θ(aᵢₜ|oᵢₜ) · Aᵢₜ], где Aᵢₜ = Qᵢ(s,a) − Vᵢ(s) — advantage.

MAPPO (Multi-Agent PPO)

— расширение PPO на N агентов с разделёнными критиками. Стандарт в современных MARL-задачах (StarCraft, Google Football, оптимизация трафика).

Задача

— 2 агента, цель — встретиться в точке (5, 5). Джoint-reward: r = −|x₁ − goal| − |x₂ − goal|.

Nash-интерпретация

— в NE оба агента двигаются напрямую к (5,5) — ни один не может улучшить свой результат в одностороннем порядке. MADDPG находит это NE через взаимодействие.

Дифференциальные игры обеспечивают красивую теорию, но на практике аналитическое решение HJI возможно лишь в немногих специальных случаях (LQ-игры, задачи с простой динамикой). В реальных задачах — нелинейная динамика, высокая размерность, неизвестная модель системы. Здесь на помощь приходит обуч...

Проблема нестационарности: если агент 1 обновляет свою политику, среда с точки зрения агента 2 меняется. «Цель» движется — сходимость Q-learning не гарантирована!

Каждый агент i учит свою Q-функцию Qᵢ(s, aᵢ) независимо, не учитывая действия других.

Недостатки: нет теоретических гарантий сходимости. Среда нестационарна. На практике часто работает!

Определения

Модель

— два производителя выпускают qᵢ(t) единиц товара. Цена зависит от суммарного выпуска: P(t) = a − b(q₁(t) + q₂(t)).

Динамика капитала

— K̇ᵢ = uᵢ − δKᵢ (инвестиции uᵢ, амортизация δ). qᵢ = αKᵢ.

Функционал

— Jᵢ = ∫₀^∞ e^{−ρt} [P(t)qᵢ(t) − c uᵢ(t)] dt.

Nash-равновесие

— через уравнения Гамильтона или DP. Оптимальные инвестиции u*ᵢ(t) зависят от собственного капитала и капитала конкурента.

Сравнение с кооперативным

— кооперативные игроки производят меньше (монопольный выпуск), зарабатывают больше суммарно. Nash — больше совокупного выпуска, ниже цена, «потери общества» меньше. Дилемма заключённого в динамике!

Равновесие

— ẋ = ẏ = 0 → x* = (an+g₂b+g₁n)/(mn−ab), аналогично y*.

Устойчивость

— mn > ab → стабильное равновесие. mn < ab → нестабильная гонка (вооружения растут до войны или разоружения). Это классическая модель Холодной войны!

Игровое обобщение

— каждое государство оптимально выбирает уᵢ (скорость прироста вооружений). Jᵢ = ∫ e^{−ρt} [−c uᵢ² + πᵢ(x,y)] dt. Nash-равновесие через уравнения Риккати — даёт «оптимальную» гонку вооружений.

Вывод

— Nash-равновесие «гонки» неэффективно — суммарные затраты на вооружения в NE выше, чем при кооперативном соглашении. Это математическое обоснование, почему контроль над вооружениями выгоден обеим сторонам.

Эффект на общество

— Nash-инвестиции в НИОКР vs оптимальные? При спилловерах (α > 0 — одна фирма «учится» у другой): Nash-инвестиции могут быть ниже или выше социально оптимальных. Патентная система влияет на этот баланс.

Задача

— N трейдеров хотят продать свои позиции xᵢ(0) за время T. Продажи воздействуют на цену: P(t) = P₀ − λ Σᵢ q̇ᵢ(t) (агрегированный «price impact»).

MFG-уравнения

— HJB: −∂V/∂t + λQ ∂V/∂x + (∂V/∂x)²/(2λ) = 0. FPK: ∂m/∂t + ∂[m · HₚV]/∂x = 0.

Nash без соглашения

— каждая страна максимизирует ∫ e^{−ρt}[bᵢ(eᵢ) − dᵢ(S)] dt. Внешний эффект выбросов (ущерб другим) не учитывается → «трагедия атмосферы». Выбросы выше оптимума.

Кооперативное соглашение

— максимизировать Σᵢ Jᵢ → снизить выбросы до социального оптимума. «Выигрыш» от кооперации нужно распределить через трансфертные платежи.

Стабильность

— малая коалиция «выйдет», если выгода от невыполнения > штрафа. Динамически согласованное распределение (Yeung-Petrosyan) обеспечивает стабильность. Это математическая основа дискуссии о климатических соглашениях Парижа.

Формулы

Финансовые рынки, олигополистическая конкуренция, переговоры о климате — это всё задачи стратегического взаимодействия в динамической среде. Дифференциальные игры дают строгий математический аппарат для их анализа. Ключевое преимущество перед статическими теориями игр: учёт динамики накопления ка...

Модель: два производителя выпускают qᵢ(t) единиц товара. Цена зависит от суммарного выпуска: P(t) = a − b(q₁(t) + q₂(t)).

Nash-равновесие: через уравнения Гамильтона или DP. Оптимальные инвестиции u*ᵢ(t) зависят от собственного капитала и капитала конкурента.

Стационарное Nash-состояние (при t → ∞): каждый производитель достигает стабильного уровня капитала K̄ᵢ* = argmax прибыли при равновесных ценах.