6.4. Оценка параметров на основе эмпирического байесова метода

В предыдущих параграфах этой главы байесовы методы оценки применялись для оценки неизвестных параметров функции распределения вероятностей в предположении о том, что априорное распределение имеет определенный вид, удобный с точки зрения воспроизводимости. Если само является случайной величиной и ее априорное распределение неизвестно, то для этого случая предложен [17, 18] более общий подход, основанный на эмпирическом байесовом методе. В этом параграфе рассматривается вопрос об оценке неизвестных параметров распределения вероятностей на основе эмпирического байесова метода.

Известно, что безусловная функция распределения может быть представлена в виде

где - условное распределение X при данном . Допустим, что оценка имеет вид Тогда

Эта величина минимальна, когда

Случайная величина определенная из (6.58), есть байесова оценка 9, соответствующая априорному распределению Выражение (6.58) представляет собой не что иное, как среднее значение апостериорного распределения 9 при данном Если известно, то (6.58) является вычислимой функцией. Если неизвестно, то последовательность обучающих наблюдений порождает соответствующую последовательность Предположим, что независимы и имеют одинаковое распределение и что распределение зависит только от На -ном шаге процесса оценки, т. е. после обучающих наблюдений если предыдущие значения уже известны, можно образовать эмпирическую функцию распределения :

Тогда оценку параметра можно получить из (6.58), заменив на

Так как с вероятностью единица при то в пределе

Во многих практических случаях последовательность неизвестна. Из последовательности обучающих наблюдений можно вывести приближенный вид неизвестной функции или по крайней мере приближенное значение функционала от определяемого выражением (6.58). Рассмотрим для любого заданного X эмпирическое отношение частот

которое с вероятностью единица стремится к при Для определенных классов функции и ядра можно из (6.56) получить аппроксимацию для Для иллюстрации этой процедуры выбраны следующие примеры.

Пример является распределением Пауссона, т. е.

принадлежит к классу всех функций распределения на положительной числовой полуоси. В этом случае, согласно (6.56),

Тогда из (6.58) находим

Из (6.63) и (6.64) вытекает следующее соотношение:

Положим

тогда при независимо от неизвестной функции имеем

Это наводит на мысль использовать в качестве оценки неизвестной величины вычисленную величину в надежде на то, что при

Если имеет совершенно определенное значение , т. е. , то байесова оценка

и

не содержит х вообще. Следовательно,

Пример является биномиальным распределением

где общее число испытаний, число успешных исходов и неизвестная вероятность успеха в каждом испытании. может рассматриваться как принадлежащая к классу всех функций распределения на интервале В этом случае

и

Из (6.73) и (6.74) можно написать

Положим

тогда с вероятностью единица при Теперь рассмотрим последовательность обучающих наблюдений где обозначает число успешных исходов в первых из испытаний, давших успешных исходов. Положим

Тогда при

с вероятностью единица. Определим

тогда при

с вероятностью единица. Это означает, что если использовать в качестве оценки то при большом эта оценка будет близка к тому, что получилось бы при известном априорном распределении

Следует заметить, что если (6.56) рассматривать как совместное распределение, то задача оценки и по последовательности обучающих наблюдений относится непосредственно к задаче обучения без поощрения, рассмотренной в § 6.2. Условие идентифицируемости совместного распределения будет играть важную роль и в этом классе задач [8, 18].