§ 8. Восстановление параметров нормального распределения методом максимума правдоподобия
В случае, когда функция плотности
распределения вероятностей задана нормальным законом
,
где
– 
-мерный вектор
параметров, а 
–
матрица параметров 
,
функция правдоподобия оказывается равной
. (3.18)
Логарифм
функции правдоподобия равен величине
(3.19)
Оказывается,
что максимум (3.18), а следовательно, и (3.19) достигается, когда вектор
параметров 
есть
оценка математического ожидания вектора 
, т. е.
,
а
матрица есть
оценка ковариационной матрицы, т. е.
. (3.20)
Доказательство этого факта
имеется во всех руководствах по многомерному статистическому анализу [2]. Оно в
векторной форме буквально повторяет очевидное для одномерного случая
утверждение: максимум функции
достигается
при
.
Как уже указывалось, по оценке
параметров плотности распределения обоих классов векторов: 
, 
и 
, 
, немедленно находится решающее правило
.
Особенность этого правила
заключается в том, что оно образовано с помощью операции обращения
.
Известно, что к использованию
операции обращения матриц следует относиться с большой осторожностью: возможны
случаи, когда достаточно малой ошибке при задании матрицы соответствуют значительные
ошибки величины 
.
В нашем случае, когда в качестве матрицы берется ее эмпирическая оценка, такие
ошибки тем более вероятны, чем меньше объем выборки, по которой строилась оценка,
и чем хуже обусловленность самой ковариационной матрицы.
Поэтому может оказаться, что для
построения надежного решающего правила потребуется такая точность в оценке
ковариационных матриц, которая при заданном объеме выборки не может быть
гарантирована. Вот почему на практике применяются частные постановки,
использующие особенности ковариационных матриц. Принято пять вариантов таких
постановок.
1 вариант. На матрицы и не наложено никаких
дополнительных ограничений. В этом случае решающее правило оказывается
квадратичной дискриминантной функцией.
2 вариант. Считается, что ковариационные
матрицы векторов обоих классов равны, т. е. 
. В качестве оценки такой матрицы берется
среднее арифметическое матриц, полученных соответственно для векторов первого и
второго классов:
.
В
этом случае решающее правило оказывается линейной дискриминантной функцией
(функцией Фишера)
.
3 вариант. Считается, что
ковариационные матрицы векторов разных классов различны, но диагональны:
.
Этому
варианту соответствует случай, когда координаты векторов 
распределены независимо по
нормальному закону с дисперсией 
. При этом решающее правило оказывается квадратичной
дискриминантной формой.
4 вариант. Считается, что
ковариационные матрицы векторов различных классов равны и диагональны. В этом случае
решающее правило оказывается линейной дискриминантной функцией.
5 вариант. Считается, что
ковариационные матрицы векторов обоих классов единичные. К этому варианту
приводится случай известных одинаковых ковариационных матриц. При этом решающее
правило оказывается линейной дискриминантной функцией.
Ясно, что каждый последующий
вариант более «помехоустойчив», чем предыдущий.
