ГЛАВА 6. БАЙЕСОВО ОБУЧЕНИЕ В СИСТЕМАХ ПОСЛЕДОВАТЕЛЬНОГО РАСПОЗНАВАНИЯ ОБРАЗОВ

6.1. Обучение с поощрением на основе байесовых методов оценки

Как указывалось в § 1.6, при отсутствии полной априорной информации систему распознавания образов можно построить так, чтобы она обучалась необходимой информации по входным наблюдениям. В зависимости от наличия или отсутствия правильной классификации входных наблюдений различают два вида схем обучения: обучение с поощрением и обучение без поощрения. Для построения обучающихся систем предложены различные методы. В последовательном распознавании образов интерес в первую очередь представляют две задачи: задача обучения при неизвестной функции плотности распределения и задача обучения при неизвестной вероятностной мере. В этом параграфе рассматриваются схемы обучения с поощрением, использующие байесовы методы оценки [1-3].

Когда вид функции плотности распределения известен, но неизвестны некоторые ее параметры эти неизвестные параметры могут быть оценены (изучены) путем итерационного применения теоремы Байеса. Предположим, что существует априорная функция плотности с неизвестным параметром (в общем случае векторная) которая отражает первоначальную информацию о 0. Рассмотрим, что произойдет с этой информацией о 0, когда наблюдается последовательность независимых и одинаково распределенных векторов признаков относящихся к одному и тому же классу образов. Согласно теореме Байеса функция стремится к апостериорной функции плотности Например, апостериорная функция плотности, получаемая после первого наблюдения

Поскольку все обучающие наблюдения взяты из одного класса, символ в каждом члене здесь опущен. После наблюдений апостериорная функция плотности станет равной

В общем случае

Искомая функция плотности может быть вычислена следующим образом:

где первый член

в правой части (6.4) известен, а второй член

получается из (6.3). Центральная идея байесовой оценки состоит в получении информации о неизвестном параметре из наблюдений путем последовательного применения рекуррентной формулы Байеса. Известно [1], что в среднем апостериорная функция плотности все более улучшает оценку параметра, которая сходится к истинному значению, если только оно не исключено из априорной функции плотности. В каждой из схем обучения с поощрением, которые мы рассмотрим, итерационное применение теоремы Байеса может выполняться по фиксированному вычислительному алгоритму. Это возможно путем тщательного выбора воспроизводящейся априорной функции плотности для неизвестного параметра так, чтобы апостериорные функции плотности после каждой итерации были бы того же семейства, что и априорная функция (т. е. вид

функции сохраняется, а изменяются только ее параметры). Тогда схемы обучения сводятся к последовательным оценкам значений параметра.

В заключение заметим, что некоторые важные результаты, касающиеся необходимых и достаточных условий для воспроизводящейся функции плотности, можно найти в работе Спрегинса [4].

6.1.1. Оценка параметров гауссова распределения.

А. Оценка среднего вектора при известной ковариационной матрице К. В этом случае неизвестным параметром который подлежит оценке, является вектор Задачу оценки этого параметра можно сформулировать, используя воспроизводящуюся функцию априорной плотности вероятности Пусть

и примем

где есть начальная оценка среднего вектора и начальная ковариационная матрица. Из свойств гауссовой функции плотности следует что в результате последовательного применения формулы Байеса апостериорная функция плотности при данных обучающих наблюдениях также является гауссовой функцией, в которой заменены новыми оценками и Эти новые оценки являются соответственно условным средним и ковариацией после обучающих наблюдений т. е.

и

Равенства (6.5) и (6.6) можно записать в виде рекуррентных соотношений

и

Уравнение (6.5) показывает, что может рассматриваться как взвешенное среднее априорного среднего вектора и выборочной информации с весами

соответственно. Сущность этой интерпретации становится более ясной в частном случае, когда

Тогда (6.5) и (6.6) примут вид

и

При . Это означает, что в среднем оценка приближается к истинному среднему вектору гауссовой функции плотности, поскольку выборочное среднее является несмещенной оценкой истинного среднего вектора

В. Оценка ковариационной матрицы К при нулевом (или неизвестном) среднем векторе. В этом случае оценке подлежит К. Пусть и в качестве априорной функции плотности для возьмем функцию плотности Вишарта с параметрами [22], т. е.

где обозначает подмножество евклидова пространства размерностью в котором является положительно определенной матрицей, а -нормировочный множитель:

Ко есть положительно определенная матрица, отражающая начальную информацию скаляр, отражающий степень доверия к начальной оценке К. Можно показать, что в результате последовательного применения формулы Байеса апостериорная функция плотности также будет функцией Вишарта с параметрами и вместо Ко и где

и

Уравнение (6.14) опять-таки можно интерпретировать как взвешенное среднее априорной информации и выборочной информации, содержащейся в

С. Оценка среднего вектора и ковариационной матрицы К. В этом случае где Найдено, что подходящей априорной функцией плотности для неизвестного параметра является функция Гаусса — Вишарта, т. е. имеет гауссово распределение со средним вектором и ковариационной матрицей распределено в соответствии с функцией плотности Вишарта с параметрами и К. Можно показать, что, применяя последовательно формулу Байеса, для апостериорной функции плотности получим опять же функцию Гаусса — Вишарта, параметры и К

которой заменяется соответственно на где

и

Уравнение (6.19) такое же, как и (6.10), если а заменить на Уравнение (6.20) можно трактовать следующим образом. Первые два члена справа представляют собой взвешенные оценки нецентральных моментов член представляет априорную информацию; член представляет выборочную информацию. Последний член происходит от новой оценки среднего

6.1.2. Оценка параметров биномиального распределения.

В случае гауссова распределения представляется довольно очевидным и обоснованным рассматривать новые оценки параметров в форме взвешенных средних от априорной и выборочной информации. К сожалению, такая интерпретация становится гораздо менее очевидной для распределений, отличных от гауссова. Возникающие при этом трудности можно показать на примере биномиального распределения с параметрами [5, 6].

Рассмотрим процесс Бернулли с параметром Пусть обозначают наблюденные выборки для процесса, где каждое х (1 или 0) подчиняется распределению Сумма представляет собой число единиц (успешных исходов) на наблюдении и имеет биномиальное распределение Таким образом, условная функция плотности

для при даннном будет

Заметим, что выборка является достаточной статистикой с размерностью два для параметра Допустим, что неизвестно и должно быть оценено с помощью выборки Подходящей априорной функцией плотности для будет функция плотности бета-распределения [22]

где есть бета-функция с параметрами которые являются положительными константами, отражающими начальную информацию о неизвестном параметре. С помощью теоремы Байеса можно легко проверить, что апостериорная плотность при данном будет снова бета-функцией плотности с параметрами

где

и

С первого взгляда на (6.25) и (6.26) кажется вполне естественным рассматривать как выборочную информацию для коррекции начальной информации соответственно. Однако при этом будет невозможна интерпретация (6.24) в смысле взвешенного среднего начальной и выборочной информации, как в случае гауссова распределения. Трудность заключается в том, что ни одна из компонент статистики не может расматриваться в качестве меры информации для выборки процесса Бернулли и, следовательно, неправомерно считать компоненты параметра мерой информации, лежащей в основе априорного распределения.

Чтобы исправить ситуацию, положим

Поскольку при заданном увеличение влечет возрастание выборочная информация оказывается однозначно определенной через Подставляя вместо в (6.23), получим

Таким образом, апостериорные параметры будут

Заметим, что среднее от есть т.е. представляет естественную оценку Равенство (6.29) можно интерпретировать как взвешенное среднее априорной и выборочной информации аналогично гауссову случаю.