Байесовский метод: обновление убеждений

Теорема Байеса: формула рационального обновления

Томас Байес (XVIII в.) сформулировал теорему, ставшую основой байесовской статистики и рационального мышления: P(H|E) = P(E|H) × P(H) / P(E).

P(H) — «априорная» вероятность гипотезы до получения доказательства. P(E|H) — вероятность наблюдать доказательство E, если гипотеза H верна (правдоподобие). P(H|E) — «апостериорная» вероятность гипотезы после получения доказательства. P(E) — вероятность доказательства (нормировочный множитель).

Это формула рационального обновления убеждений. Байесовское мышление: у вас есть «априорная» уверенность в гипотезе. Вы наблюдаете новое доказательство. Апостериорная уверенность = функция вашей априорной уверенности и силы доказательства.

Байесовское мышление на практике

Применения байесовского метода распространились далеко за пределы академической статистики. Спам-фильтры (Байесовский классификатор): вероятность того, что письмо — спам, обновляется при каждом новом слове.

Медицинская диагностика: по симптомам обновляем вероятности разных диагнозов. Машинное обучение (наивный байесовский классификатор). Поиск подводных лодок и самолётов (поиск MH370 использовал байесовские методы для обновления зон поиска).

«Сверхпредсказатели» (Тетлок, «Superforecasting»): люди, которые систематически делают более точные прогнозы, — это, как правило, байесовские мыслители: они начинают с базовой ставки, обновляют при новых данных, избегают «мышления желаемым», готовы менять мнение.

Противоположность: «подтверждение смещения» — мы ищем доказательства, подтверждающие уже имеющиеся убеждения, и игнорируем противоречащие. Это не байесовское обновление, это байесовская ошибка.

Вопрос для размышления: Когда вы последний раз значимо изменили своё мнение на основе новых доказательств? Есть ли профессиональные убеждения, которые вы «не обновляете», несмотря на поступающие противоречивые данные?