5.5. ЗАМЕЧАНИЯ О ХАРАКТЕРЕ НАИМЕНЕЕ ПРЕДПОЧТИТЕЛЬНОГО РАСПРЕДЕЛЕНИЯ

Во всех предыдущих примерах наименее предпочтительное распределение вероятностей к обладает характерной особенностью — она является распределением с максимальной для заданного класса энтропией, т. е. его плотность удовлетворяет соотношению

Этим свойством обладает равномерное для всех значений к распределение при полном незнании статистики к, равномерное на множестве значений распределение при ограничении допустимых значений к совокупностью гиперповерхностей нормальное распределение при задании только корреляционной матрицы и т. д.

Можно высказать гипотезу, что и в других случаях наименее предпочтительным распределением является распределение с максимальной энтропией. Хотя доказать такую гипотезу или установить достаточно общие условия, при которых она справедлива, довольно затруднительно, однако она обладает большой степенью правдоподобия. Поэтому даже несколько вольное ее использование для более широкого круга задач, в которых прямо найти наименее предпочтительное распределение не Удается, представляется довольно конструктивным. Это конструктивное содержание заключается в несравнимо большей простоте решения - уравнения (5.5.1) для нахождения распределения с наибольшей энтропией.

Воспользуемся этой гипотезой для нахождения решения одной задачи распознавания образов при полном отсутствии априорной информации, в том числе и в отношении статистического описания данных наблюдения х. Пусть наблюдается некоторая совокупность признаков двух объектов, так что где наблюдаемая совокупности признаков первого объекта, второго. Сами объекты могут быть либо одинаковыми (обозначим это состояние либо как-то различаться и на основании данных наблюдения нужно решить, какое именно состояние имеет место, т. е. принять одно из двух возможных решений объекты одинаковы, объекты различны. При этом будем считать, что априорные вероятности состояний и распределения вероятности признаков х (функция правдоподобия) совершенно неизвестны. Несмотря на такую Крайнюю степень априорной неопределенности, задача все-таки имеет решение, поскольку она Содержит некоторую, правда, весьма нечеткую априорную информацию, скрытую в самой ее постановке, — предположение о том, что статистические свойства совокупностей могут быть либо различными, либо одинаковыми.

Предположим, что все наблюдаемые признаки объектов имеют только дискретные значения. Тогда можно занумеровать эти значения общей нумерацией от единицы до некоторого значения и без ограничения общности заменить все множество признаков одномерной величиной с возможными целочисленными значениями от 1 до Полное статистическое описание этого множества заключалось бы в задании распределения вероятностей этих значений, т. е. вероятностей причем если объекты различны то эти вероятности для совокупностей данных будут иметь разные значения:

Если объекты одинаковы, то одинаковы и эти значения

Пусть далее совокупности данных наблюдения и первого и второго объектов представляют собой и -кратные повторения наблюдений признаков этих объектов. Обозначим через число раз, когда для первого и второго объектов соответственно наблюдалось значение признаков. При этом

Совокупности данных наблюдения и очевидно, могут быть описаны совокупностью значений чисел т. е.

Если вероятности известны, то эти совокупности описываются мультимиальными распределениями вероятности следующего вида:

На самом деле вероятности а также априорные вероятности состояний неизвестны, и для получения решения задачи нужно найти наименее предпочтительные вероятностные меры, определенные на множестве этих неизвестных величин. Совокупность этих вероятностных мер выключает: - для априорных вероятностей состояний, которая определена на множестве значений удовлетворяющем условию для вероятностей значений признаков, если объекты одинаковы (эта мера определена на множестве значений ограниченном условиями для вероятностей

значений признаков, если объекты различны (эта мера определена на множестве значений ограниченном условиями (5.5.2)).

Используем для нахождения всех этих мер высказанную выше гипотезу. Из принципа максимума энтропии вытекает равномерность которая после усреднения величины среднего риска с произвольными значениями приводит к подстановке значений

в выражении для среднего риска. Мера также равномерна на множестве, заданном условиями (5.5.3), что приводит к следующему значению функции правдоподобия для [13]:

Мера [а получается в виде произведения двух мер, одна из которых равномерна на множестве а другая — на множестве что приводит к следующему выражению для значения функции правдоподобия при

которое, естественно, не зависит от индивидуальных значений -Отношение правдоподобия, которое с учетом (5.5.7) для простой функции потерь -при сравнении с порогом, равным единице, дает окончательный вид правила принятия решения об одинаковости объектов, будет иметь значение

При изменении функции потерь или задании априорных вероятностей состояний отличных от (5.5.7), изменяется только величина порога С в правиле принятия решения Вид достаточной статистики из (5.5.10) при этом остается неизменным. Таким образом, правило решения в рассматриваемых условиях полной априорной неопределенности будет иметь следующую структуру:

где определяется выражением (5.5.10). (Для исключения некоторой нечеткости вида этого правила, связанной с возможностью получить значение можно любое из неравенств в (5.5.11) дополнить равенством или принять при решение наугад.)

При больших значениях выражение для отношения правдоподобия (5.5.10) можно заметно упростить, а если еще предположить, что возможные различия между объектами не очень велики (это наиболее трудный для правильного решения случай), то можно представить в виде монотонной функции следующей достаточной статистики:

сравнение которой с порогом и дает требуемое правило решения. Величина совпадает с величиной для достаточно известного критерия -квадрат, основанного на среднеквадратичном различии двух выборочных распределений [16]. В данном случае этот критерий получается как асимптотическое приближение (при решения (5.5.10), (5.5.11), пригодного для любых значений

Полученное решение легко обобщается на более сложные задачи распознавания образов со многими альтернативами в условиях полной априорной неопределенности. Пусть, например, имеется не два, а объектов, которые все могут быть одинаковыми, разными или образовывать некоторое число I групп, каждая из которых содержит объектов объекты одинаковы; все и все объекты различны). Для каждой из таких гипотез подобно (5.5.6) можно без трудз записать значение функции правдоподобия этой гипотезы при известных распределениях вероятности наблюдаемых признаков, а затем аналогично (5.5.8), (5.5.9) произвести их усреднение по соответствующим мерам, равномерным на ограниченных множествах значений этих вероятностей. В итоге получаются выражения, подобные (5.5.8), (5.5.9) и содержащие произведения факториалов для сгруппированных соответствующим образом чисел наблюдений каждого значения признака Совокупность этих выражений и будет являться достаточной статистикой.