Оптимальное управление

Представьте, что вы натягиваете верёвку между двумя гвоздями: какую форму она примет? Или: по какой кривой шарик скатится за минимальное время? В обычном дифференциальном исчислении мы ищем число x, минимизирующее функцию f(x). Здесь же неизвестное — целая функция y(x), а минимизировать надо «сум...

Задача: Найти функцию y(x) на отрезке [a, b], минимизирующую функционал J[y] = ∫_a^b F(x, y, y') dx при граничных условиях y(a) = y_a, y(b) = y_b.

Расшифруем символы. F(x, y, y') — лагранжиан, «плотность» интересующей нас величины: например, длины дуги, времени проезда, действия. x — независимая переменная (часто координата или время), y — искомая функция, y' = dy/dx — её производная. Интеграл J[y] суммирует вклад каждой точки траектории.

В физике обычно F = T − V (кинетическая энергия минус потенциальная), и J называют действием. В оптике F = n(x, y)·√(1 + y'²), где n — показатель преломления, а J — оптический путь.

Уравнение Эйлера-Лагранжа — это лишь необходимое условие, аналог равенства f'(x) = 0 в обычном анализе. Но f'(x) = 0 одинаково обнуляется и в минимуме, и в максимуме, и в седле. Чтобы отличить настоящий минимум, нужны условия второго порядка. В вариационном исчислении ситуация ещё тоньше: мало то...

Аналогично разложению Тейлора f(x + ε) ≈ f(x) + εf'(x) + (ε²/2)f''(x), для функционала J[y + εη] раскладывается:

Формула для второй вариации: δ²J[y, η] = ∫_a^b [P(x)·η'² + Q(x)·η²] dx, где P = ∂²F/∂y'², Q = ∂²F/∂y² − d/dx(∂²F/∂y∂y').

Расшифровка: P — «коэффициент при квадрате производной возмущения», своего рода «эффективная масса». Q — «коэффициент при квадрате самого возмущения», эффективная упругость.

«Природа предпочитает простоту» — этот афоризм воплощается в принципе наименьшего действия, одном из самых глубоких принципов физики. Вместо того чтобы шаг за шагом «решать» уравнения движения для каждой точки траектории, природа «выбирает» всю траекторию сразу — ту, на которой действие минимальн...

Действие: S[q] = ∫_{t₁}^{t₂} L(q, q̇, t) dt, где L = T − V — лагранжиан системы (кинетическая энергия минус потенциальная). q = (q₁, ..., qₙ) — обобщённые координаты (например, углы, длины), q̇ — обобщённые скорости.

Принцип Гамильтона: Реальная траектория системы между фиксированными состояниями q(t₁) и q(t₂) — стационарная точка действия: δS = 0.

Здесь ∂L/∂q̇ᵢ = pᵢ — обобщённый импульс, ∂L/∂qᵢ — обобщённая сила. Уравнение читается «изменение импульса равно силе» — это абстрактное обобщение второго закона Ньютона.

В вариационном исчислении искомая функция y(x) гладкая и без ограничений. Но представьте космический корабль с тягой двигателя u(t): её величина не может превышать максимальной тяги, она может включаться-выключаться скачком. Классическое исчисление здесь бессильно — нужен новый аппарат. Теория оп...

Расшифровка. x(t) ∈ ℝⁿ — состояние системы (положение, скорость, остаток топлива). u(t) — управление (тяга, угол поворота руля, ставка налога). L — мгновенная полезность/затраты, φ — терминальный приз/штраф, f — закон эволюции системы.

В отличие от вариационного исчисления, u(t) может иметь разрывы и принимать значения только из U. При U = [u_min, u_max] оптимум часто лежит на границе — это даёт характерное «bang-bang» управление.

ψ ∈ ℝⁿ — вектор сопряжённых переменных, по смыслу — «теневая цена» состояния (ср. множители Лагранжа: ψᵢ показывает, насколько вырастет J, если бесплатно прибавить единицу к xᵢ).

ПМП — нетривиальный результат: его доказательство не сводится к простому интегрированию по частям, как для EL. Понтрягин и его ученики (Болтянский, Гамкрелидзе, Мищенко) построили доказательство через «игольчатые вариации» и теорему отделимости выпуклых множеств. Применения охватывают экономику, ...

Игольчатые вариации (needle variations). Вместо гладких возмущений (как в EL) рассматриваем «иглу»: на коротком интервале [t₀, t₀ + ε] заменяем u*(t) на произвольное допустимое v ∈ U, в остальное время оставляем u*. Это порождает скачкообразное изменение состояния x(t) и, соответственно, целевой ...

Конус вариаций. Совокупность всех таких возмущений в пределе ε → 0 даёт конус достижимости в пространстве состояний. Если u* оптимально, конус достижимости и направление улучшения J должны быть «по разные стороны» некоторой гиперплоскости — иначе найдётся возмущение, улучшающее J.

Разделение конусов. Нормаль к разделяющей гиперплоскости — вектор ψ(t₀). Условие, что игольчатая вариация не улучшает J, эквивалентно H(x*(t₀), v, ψ(t₀), t₀) ≤ H(x*(t₀), u*(t₀), ψ(t₀), t₀) для всех v ∈ U. Это и есть условие максимума.

Инженерные задачи (посадка ракеты, маневр спутника) обычно имеют конечный горизонт — критерий привязан к моменту окончания. Экономические задачи (потребление, рост) часто бесконечны — мы хотим оптимизировать благосостояние «навсегда». Эти два класса требуют различных условий трансверсальности и п...

Условие трансверсальности зависит от того, как заданы граничные условия в момент T.

Случай 1: фиксированы x(0) и x(T). Сопряжённые переменные ψ(0), ψ(T) определяются из решения краевой задачи (x, ψ).

Случай 2: x(T) свободно, T фиксировано. Дополнительное условие: ψ(T) = ∂φ/∂x(x(T), T). Если терминального штрафа нет (φ = 0), то ψ(T) = 0.

Ричард Беллман в 1950-х предложил радикально иной взгляд на оптимизацию: не «найти всю траекторию сразу» (как в ПМП), а «решать задачу рекурсивно — справа налево». В основе лежит один глубокий принцип: оптимальный план «запоминает» только текущее состояние, а не как мы в него пришли. Это принцип ...

Формулировка: «Оптимальная политика обладает тем свойством, что какие бы ни были начальное состояние и начальное решение, последующие решения должны составлять оптимальную политику относительно состояния, возникшего в результате первого решения.»

Проще: любая «хвостовая часть» оптимальной траектории сама оптимальна для соответствующей подзадачи.

Формально. Определим оптимальную функцию ценности: V*(x, t) = max_{u(·) на [t,T]} [∫_t^T L(x, u, s) ds + φ(x(T))], где x(t) = x.

Определения

Это «curse of dimensionality»

— фундаментальный барьер для табличного ДП. Преодоление — ключевая тема современных методов (приближённое ДП, обучение с подкреплением).

Аналитические решения задач оптимального управления возможны лишь для специальных структур (LQR, задача Рамсея с Кобб-Дугласом, задача Мертона). Большинство практических задач — нелинейные, многомерные, с дискретными решениями — приходится решать численно. Существует два больших семейства методов...

Задача: max Σ_{t=0}^{T−1} r(x_t, u_t) + V_T(x_T) при x_{t+1} = f(x_t, u_t), x_t ∈ S, u_t ∈ U.

Здесь S — множество состояний (например, |S| = 100), U — множество действий, r — мгновенная награда.

Алгоритм обратной индукции. 1. Инициализация: V_T(x) задано для всех x ∈ S (терминальная ценность). 2. Для t = T−1, T−2, ..., 0 и каждого x ∈ S: V_t(x) = max_{u ∈ U} [r(x, u) + V_{t+1}(f(x, u))]. 3. Оптимальная политика: u*(t, x) = argmax_u [r(x, u) + V_{t+1}(f(x, u))].

Динамическое программирование — стандартный язык современной макроэкономики и бизнес-стратегии. Модели Рамсея, Стокли-Лукаса, RBC, Бьюлеа, Айягари — все формулируются через рекурсивную задачу. Численные методы (value function iteration, policy function iteration, Endogenous Grid Method) позволяют...

Рекурсивная задача: V(k) = max_{c ∈ [0, f(k)]} [u(c) + β·V(f(k) − c + k·(1 − δ))],

где k — капитал, c — потребление, f(k) = k^α — производство (функция Кобба-Дугласа), δ — норма амортизации, β = 1/(1 + ρ) — коэффициент дисконтирования (ρ — норма временного предпочтения), u(c) = c^{1−σ}/(1 − σ) — функция полезности с эластичностью замещения 1/σ.

Метод итерации функции ценности (Value Function Iteration, VFI): 1. Дискретизуем k на сетку {k_1, ..., k_N}, например N = 500 точек. 2. Инициализация: V_0(k_i) = 0 для всех i. 3. На итерации n+1: V_{n+1}(k_i) = max_{c} [u(c) + β·V_n(k')], где k' = f(k_i) − c + k_i·(1 − δ). Интерполируем V_n между...

Прежде чем «оптимально» управлять системой, нужно ответить на два фундаментальных вопроса: можно ли вообще привести её в нужное состояние? И можно ли понять, в каком состоянии она находится, по доступным измерениям? Эти вопросы — управляемости и наблюдаемости — решаются классическими критериями К...

Стандартная форма (state-space representation): ẋ = A·x + B·u, y = C·x + D·u.

Здесь x ∈ ℝⁿ — вектор состояния (положение, скорость, температуры, токи), u ∈ ℝᵐ — вход (управление), y ∈ ℝᵖ — выход (измерения). Матрицы A (n×n), B (n×m), C (p×n), D (p×m) описывают физику системы. Часто D = 0.

Матричная экспонента: e^{At} = Σ_{k=0}^∞ (At)^k/k! — фундаментальная матрица. Вычисляется через собственное разложение A = V·Λ·V⁻¹: e^{At} = V·diag(e^{λ_i·t})·V⁻¹.

ПИД-регулятор — самый распространённый промышленный регулятор: по разным оценкам, более 90% контуров регулирования в индустрии используют ПИД или его модификации. Он прост, требует минимальных знаний о модели объекта, и при правильной настройке обеспечивает приемлемое качество для большинства зад...

где e(t) = r(t) − y(t) — ошибка слежения (разность между уставкой r и фактическим выходом y), а K_P, K_I, K_D — коэффициенты регулятора.

Метод Зиглера-Никольса (1942), вариант 1 — реакция на ступеньку. 1. Подайте u(t) = 1 (ступенька), запишите y(t). 2. По графику оцените L (запаздывание — время до начала реакции) и T (постоянная времени — время до 63% установившегося значения). 3. Установите: K_P = 1.2·T/L, T_I = 2·L (T_I = K_P/K_...

Метод Зиглера-Никольса, вариант 2 — предельный цикл. 1. Установите K_I = K_D = 0, увеличивайте K_P до тех пор, пока система не войдёт в незатухающие колебания. 2. Запомните K_cr (критическое усиление) и T_cr (период колебаний). 3. Для ПИД: K_P = 0.6·K_cr, T_I = 0.5·T_cr, T_D = 0.125·T_cr.

Линейные системы устойчивы, если все собственные значения матрицы A лежат в левой полуплоскости — простой и удобный критерий. Но реальные системы часто нелинейны: маятник, химический реактор, электрическая сеть, нейронная сеть. Александр Ляпунов в 1892 году предложил универсальный метод анализа у...

Система: ẋ = f(x), f(0) = 0 (начало координат — точка равновесия). Без потери общности рассматриваем устойчивость нуля — другие равновесия сводятся к нулю заменой переменных.

Устойчивость по Ляпунову. Равновесие x = 0 устойчиво, если для любого ε > 0 существует δ > 0: ||x(0)|| < δ → ||x(t)|| < ε для всех t ≥ 0. Малые возмущения остаются малыми.

Асимптотическая устойчивость. Устойчиво И x(t) → 0 при t → ∞. Возмущения не только остаются малыми, но и затухают.

Реальные системы подвержены случайным возмущениям (порывы ветра, тепловой шум, неучтённая динамика), а измерения — шуму датчиков. Детерминированные модели и наблюдатели Люенбергера здесь недостаточны: нужно явно учитывать вероятностную природу неопределённости. Фильтр Калмана, опубликованный Рудо...

Дискретная модель: x_{t+1} = A·x_t + B·u_t + w_t (системный шум), y_t = C·x_t + v_t (шум измерений).

Шумы: w_t ~ N(0, Q), v_t ~ N(0, R), независимы между собой и от x_t. Q (n×n), R (p×p) — ковариационные матрицы.

Задача: на основе всех измерений y_0, y_1, ..., y_t восстановить наилучшую оценку x̂_{t|t} = E[x_t | y_0, ..., y_t].

Когда система случайна, оптимальное управление само становится «функцией от случайной истории». Стохастическое ДП обобщает уравнение Беллмана для случая случайных переходов и дисконтированных ожидаемых наград — это математический фундамент обучения с подкреплением (RL). Особый случай — LQG (Linea...

Задача: max E[Σ_{t=0}^T β^t·r(x_t, u_t)] при x_{t+1} = f(x_t, u_t, w_t), w_t ~ p(w).

Стохастическое уравнение Беллмана: V_t(x) = max_{u ∈ U} [r(x, u) + β·E_{w}[V_{t+1}(f(x, u, w))]].

Обратная индукция: V_T(x) = r_T(x) (терминальный). Для t = T−1, ..., 0: V_t(x) = max_u [r(x, u) + β·Σ_{x'} P(x' | x, u)·V_{t+1}(x')].

LQR/LQG предполагают, что мы знаем точную модель системы. Но реальные параметры (масса, жёсткость, сопротивление) известны лишь приблизительно: производственные допуски, износ, температурные колебания. Кроме того, реальные системы имеют невоспринятую динамику (например, гибкость металла, которую ...

Параметрические. Конкретные параметры модели неточны: масса m ∈ [0.9, 1.1] кг, жёсткость пружины k ∈ [k₀(1 − 0.2), k₀(1 + 0.2)]. Описывается интервалами или вероятностно.

Структурные (немоделированная динамика). Действительная передаточная функция G_real(s) = G_nominal(s)·(1 + Δ(s)), где Δ — неизвестное «возмущение», обычно ограниченное по норме ||Δ||_∞ < γ. Например, гибкие моды конструкции, которые проявляются на высоких частотах.

Возмущения и шумы. Внешние силы (порывы ветра, неровности дороги), шумы датчиков. Описываются как стохастические процессы или ограниченные сигналы (||d||₂ ≤ D).