4.6.3. Оценка вектора средних значений и ковариационной матрицы с помощью байесовской обучающей процедуры

Если бы мы были в состоянии при неизвестных векторах средних значений и ковариационных матрицах соответствующим образом задавать плотности распределений, то можно построить итеративную процедуру вычисления оценок,

основанную на использовании обучающей выборки образов. Ниже будем полагать, что плотность распределения соответствует нормальному распределению с вектором средних значений и ковариационной матрицей Допустим, что ковариационная матрица С, - задана, а вектор средних значений рассматривается как некоторый неизвестный параметр подчиняющийся нормальному распределению с начальным вектором средних значений и начальной ковариационной матрицей . В таком случае

Наличие неопределенности относительно значения вектора средних приводит к увеличению ковариационной матрицы, характеризующей образы значения до значения Начальное значение ковариационной матрицы представляет собой меру неопределенности. Итак, начальная плотность распределения для образов имеет вид

Использование формулы Байеса

позволяет вычислить для параметра апостериорную плотность распределения на основе априорной плотности распределения и информации, содержащейся в обучающей выборке образов.

После предъявления первого из входящих в обучающую выборку образов можно записать апостериорную плотность распределения для вектора средних значений как

это выражение определяет плотность нормального распределения, так как произведение плотностей распределений образует плотность нормального распределения. Подстановка в (4.6.18) выражений (4.6.15) и (4.6.16) дает

где

и

Плотность распределения для образов при условии, что образ задан, является нормальной и определяется как

так как сумма двух статистически независимых нормально распределенных векторов также подчиняется нормальному распределению, причем среднее суммы равно сумме средних, а ковариационная матрица суммы равна сумме ковариационных матриц слагаемых.

После предъявления второго образа из обучающей выборки апостериорную плотность распределения для вектора средних значений можно записать как

После подстановки в (4.6.23) выражений (4.6.19) и (4.6.22) данная плотность распределения принимает вид

где

и

представляют соответственно новые значения вектора средних и ковариационной матрицы для неизвестного параметра . Плотность распределения образов при заданных образах все еще остается нормальной; в таком случае

После предъявления образов обучающей выборки апостериорную плотность распределения для вектора средних значений можно на основе формулы (4.6.17) записать как

где

и

Величина входящая в (4.6.29), представляет собой вектор выборочных средних для класса со; и определяется как

Из (4.6.29) следует, что оценка вектора средних значений, полученная в результате использования байесовской процедуры, равна сумме априорного значения вектора средних и вектора выборочных средних, взятых с соответствующими весами. Плотность распределения образов при заданных образах имеет следующий вид:

Принцип восстановления распределения упрощает получение оценки вектора средних значений с помощью реализации обучающей процедуры на заданной выборке образов.

Легко показать, что в случае, когда размерность образа равна единице, введение параметра приводит полученные с помощью байесовской процедуры оценки математического ожидания и дисперсии к виду

и

Проведенное обсуждение позволяет сделать ряд замечаний. Если начальное значение ковариации для неизвестного среднего значения велико, то в байесовскую оценку математического ожидания начальное значение среднего входит с малым весом, а выборочное среднее — с большим. При больших значения параметра а априорные оценки математического ожидания и ковариации влияют на результат сравнительно мало и параметры распределения определяются почти исключительно по образам, входящим в обучающую выборку. Если начальное значение ковариации для неизвестного среднего значения мало, байесовская оценка математического ожидания обнаруживает тенденцию к медленной коррекции начального среднего значения, причем даже в тех случаях, когда вектор выборочных средних существенно отличается от начального вектора средних значений. Из этих двух замечаний следует, что константу можно рассматривать как меру нашего доверия к начальному значению среднего .

Если ковариационная матрица неизвестна, то мы бы хотели, чтобы система распознавания образов определила ее посредством

реализации процесса обучения. Плотность распределения вектора образов для класса при допущении о равенстве нулю среднего значения определяется выражением

где — случайная функция.

Ниже нам будет удобнее иметь дело с обратной матрицей ковариаций . В таком случае плотность распределения принимает вид

Применяя формулу Байеса

в качестве восстанавливаемой априорной плотности распределения для нормального распределения с неизвестной ковариационной матрицей - выбираем плотность распределения Уишарта:

где — область евклидова пространства размерности — положительно определенная и симметрическая матрица

нормирующая константа определяется выражением

Симметрическая матрица Р, имеет различных элементов.

Приняв, что априорная плотность распределения Р, представляет собой распределение Уишарта, мы обеспечили феномен восстановления. Матрица входящая в (4.6.38), является положительно определенной и представляет исходные сведения

о действительное число, большее оно характеризует достоверность начальной оценки матрицы

Рассматриваемая модель плотности распределения предусматривает, что образы каждого класса подчиняются нормальному распределению с нулевым вектором математического ожидания и ковариационной матрицей по одной на каждый класс.

Пусть определена плотность распределения

после чего предъявлен еще один образ из обучающей выборки; требуется определить новое значение плотности распределения

имеющей такое же параметрическое описание, как и выше. Структура классификатора при восстановлении априорной плотности распределения остается неизменной — с изменением величины будут изменяться только параметры, связанные с вычислением функции правдоподобия:

Поскольку

и результаты измерений характеристик образов независимы, то

где

а также использован тот факт, что

Здесь обозначает внешнее произведение матриц, результатом которого является симметрическая матрица ранга 1. Поскольку

из (4.6.38) и (4.6.42) следует, что

где .

Роль знаменателя в (4.6.42) сводится исключительно к нормированию плотности распределения, являющейся функцией Собрав вместе все члены, представляющие функцию нетрудно убедиться в том, что апостериорная плотность распределения также есть распределение Уишарта:

где

и

В выражение для апостериорной вероятности входит параметр характеризующий веса, которые присвоены начальной оценке матрицы и внешнему произведению матриц введение весов осуществляется при помощи вычисления взвешенной суммы с коэффициентами и соответственно. Параметр представляет взвешенное среднее априорной информации о матрицах Р, и и обучающей информации, заключенной в произведении .