§ 7. Байесовы оценки параметров распределения дискретных независимых признаков

Ниже будет показано, что при минимальных априорных сведениях относительно значения параметров распределения  (параметры  распределены равномерно на симплексе , ) байесова оценка имеет вид

                (3.15)

Согласно § 5 байесовы оценки являются наиболее точными. В случае, когда объем выборки  мал – соизмерим с числом градаций  – эти оценки могут значительно отличаться от оценок максимума правдоподобия (3.14).

Поэтому для построения дискриминантной функции по малым выборкам лучше пользоваться не оценками (3.14), а оценками (3.15).

Получим байесовы оценки распределения.

Для этого вычислим сначала нормировочную константу

,

где  – функция правдоподобия,  – априорная плотность. Подставляя сюда функцию правдоподобия и учитывая, что параметры  распределены равномерно, получим

;

где :

.              (3.16)

Известно [57], что определенный интеграл (3.16) может быть вычислен

,

где  – гамма-функция. Для целых  она равна .

Таким образом, нормировочная константа равна

.

Найдем теперь байесову оценку функции распределения вероятностей. Согласно (3.5) она равна

.

Обозначим каждый сомножитель произведения . Учитывая, что функция  представлена в виде (3.11), вычислим значение  при . Легко видеть, что аналогично интегралу (3.16)

.

Таким образом,

                 (3.17)

Заметим, что оценки, полученные байесовым методом (3.17), отличаются от оценок, полученных методом максимума правдоподобия (3.14).

Отличаются эти оценки тем больше, чем меньше объем выборки и чем большее число значений  могут принимать координаты вектора .