Глава 2. ПРИНЦИПЫ БАЙЕСОВСКОГО АНАЛИЗА С КОНКРЕТНЫМИ ПРИМЕРАМИ ПРИЛОЖЕНИЙ

В этой главе мы рассмотрим некоторые основные принципы и понятия байесовского анализа и приведем в целях иллюстрации несколько относительно простых, но важных моделей и задач.

2.1. ТЕОРЕМА БАЙЕСА

Важнейшим элементом байесовского подхода является теорема Байеса, известная в литературе также под названием принципа обратной вероятности. Здесь мы сформулируем теорему для непрерывных случайных переменных. Обозначим через совместную функцию плотности распределения вероятностей (ФПВ) для вектора случайных наблюдений у и вектора параметров который тоже считается случайным. Компонентами вектора могут быть коэффициенты модели, дисперсии и ковариации возмущений и т. п. Тогда в соответствии с обычными операциями над ФПВ мы запишем

и, таким образом,

где . Мы можем переписать последнее выражение в следующем виде:

где обозначает пропорциональность, есть апостериорная ФПВ вектора параметров при условии заданной выборочной

информации априорная ФПВ для вектора параметров рассмотренная как функция от 0, есть хорошо известная функция правдоподобия. Выражение (2.3) есть формулировка теоремы Байеса, простой математический результат в теории вероятностей.

Заметим, что апостериорная совместная ФПВ содержит в себе всю априорную и выборочную информацию. Априорная информация входит в апостериорную ФПВ через априорную ФПВ, в то время как вся выборочная информация входит через функцию правдоподобия. При этом «принцип правдоподобия» утверждает, что рассмотренная как функция от 0, «полностью представляет все свидетельство эксперимента, т. е. рассказывает обо всем, о чем может рассказать эксперимент». Апостериорная ФПВ используется в байесовском подходе для получения выводов относительно параметров.

Пример 2.1. Допустим, что мы располагаем независимыми наблюдениями представляющими собой выборку из нормально распределенной генеральной совокупности с неизвестным математическим ожиданием и известной дисперсией ста Мы хотим получить апостериорную ФПВ для Используя (2.3) для решения этой конкретной задачи, имеем

где апостериорная ФПВ для параметра при данной выборочной информации у и допущении о том, что значение дисперсии известно и равно априорная ФПВ для рассматриваемая как функция от неизвестного параметра , есть функция правдоподобия. Функция правдоподобия задается как или

где и т. е. представляет собой выборочную

среднюю, а

есть выборочная дисперсия.

Что же касается априорной ФПВ для , то предположим, что наша априорная информация об этом параметре может быть представлена в виде следующей нормальной одномерной ФПВ:

где есть априорное математическое ожидание, априорная дисперсия, т. е. параметры, значения которых устанавливаются исследователем на основании его первоначальной информации. Теперь, используя теорему Байеса, объединим функцию правдоподобия (2.5) с априорной ФПВ (2.6) и получим такую апостериорную ФПВ для

откуда следует, что , апостериорно нормально распределено с математическим ожиданием, равным

и дисперсией

Заметим, что апостериорное математическое ожидание (2.8) есть взвешенная средняя выборочной средней и априорного математического ожидания взятых с весами, обратными к Если мы введем обозначения то причем параметры h часто называют параметрами «точности». Мы также получаем из (2.9), что и, таким

образом, параметр точности, связанный с апостериорным математическим ожиданием, есть просто т. е. сумма априорного и выборочного параметров точности.

Проиллюстрируем вышеизложенное на числовом примере. Пусть наша выборка в примере 2.1 состоит из наблюдений и представлена нижеследующей таблицей:

Выборочная средняя

причем значения отбираются независимо из нормальной генеральной совокупности с неизвестным математическим ожиданием и известной дисперсией Допустим, что наша априорная информация может быть представлена нормальной ФПВ с априорным математическим ожиданием и априорной дисперсией Эта априорная ФПВ, представленная на рис. 2.1, выражает наши первоначальные предположения относительно значений неизвестного параметра Объединяя эту априорную ФПВ с функцией правдоподобия, получаем апостериорную ФПВ в виде выражения (2.7). Для данной конкретной выборки, представленной выше в таблице, с математическим ожиданием при априорных значениях параметров математическое ожидание апостериорной ФПВ, рассчитанное по формуле (2.8), составляет

а его дисперсия, рассчитанная по формуле (2.9),

Для сопоставления с априорной ФПВ апостериорная ФПВ также нанесена на рис. 2.1. Можно убедиться в том, что объединение информации, содержавшейся всего только в 10 независимых наблюдениях, с нашей априорной информацией привело к значительному снижению неопределенности наших предположений относительно параметра

иными словами, наша априорная дисперсия составляла в то время как дисперсия апостериорной ФПВ составляет 0,0952. В дополнение нужно сказать, что наше апостериорное математическое ожидание не очень значительно отличается выборочной средней, но гораздо больше по модулю нашего априорного математического ожидания Заметим, однако, что наша априорная ФПВ имеет значительную дисперсию и поэтому достаточно велика первоначальная плотность распределения вероятностей в окрестности — 0,0730.

Рис. 2.1. Графики априорной и апостериорной ФПВ для

Априорная и апостериорная ФПВ представлены соответственно выражениями (2.6) и (2.7)

Таким образом, в этом случае наша априорная информация носит несколько «неясный», или «расплывчатый», характер по сравнению с информацией выборки.