13.6. РАСПОЗНАВАНИЕ ОБРАЗОВ ПРИ ПАРАМЕТРИЧЕСКОМ РАЗЛИЧИИ РАСПРЕДЕЛЕНИЙ ВЕРОЯТНОСТЕЙ СВЯЗАННЫХ С НИМИ СИГНАЛОВ

В предыдущих параграфах была рассмотрена задача распознавания образов, т. е. классификации некоторых объектов наблюдения, ситуаций, процессов и т. д., на основании наблюдения случайных физических

сигналов — носителей информации об этих «образах». При этом предполагалось, что законы распределения вероятностей для наблюдаемых сигналов известны не полностью, а с точностью до совокупности дополнительных параметров «обстановки» и различны в распознаваемых ситуациях. Это различие и являлось принципиальной основой распознавания.

Однако практически часто встречается случай, в котором модели сигналов, связанные с описанием соответствующей физики явлений, одинаковы для различных распознаваемых ситуаций и отличаются в разных ситуациях лишь величинами некоторых параметров. Это приводит к построению единого закона распределения для всех сигналов, зависящего помимо неизвестных параметров «обстановки» еще и от информативных параметров, величинами которых и могут различаться наблюдаемые объекты, процессы и пр.

Априорные знания о различии законов распределения этих, вообще юворя, случайных информативных параметров являются в данном случае единственной основой распознавания.

Так обстоит дело, например, при наблюдении световых или радиолокационных сигналов, полученных от объектов, которые могут иметь одинаковую (возможно, в статистическом смысле) форму, но различные для распознаваемых классов законы распределения для характерных размеров.

Так же обстоит дело при медицинской диагностике заболеваний, если законы распределения наблюдаемых величин, таких, как температура тела, вес больного, параметры, фиксируемые при анализе крови, и т. д., зависят от некоторых состояний организма, а не непосредственно от причин, их вызвавших. Законы же распределения упомянутых состояний организма могут различаться при разных болезнях.

Можно привести примеры подобных ситуаций, относящиеся и к другим областям. Нас, однако, интересуют в соответствии с общим характером этой книги не столько примеры, сколько общие закономерности и алгоритмы. Получим оптимальный алгоритм распознавания описанных ситуаций, приведем пример его применения, для которого проанализируем эффективность распознавания.

13.6.1. Алгоритм распознавания

Пусть наблюдается -мерная выборка значений случайного процесса связанного с одной из распознаваемых ситуаций (объектов, процессов). Предположим, что на основании построения модели сигнала известна плотность вероятности этой выборки вид которой не меняется в зависимости от того, какая из интересующих нас ситуаций имеет место. Эта плотность вероятности зависит от совокупности неизвестных параметров характеризующих условия, в которых происходят наблюдения, или иначе «обстановку». К подобным параметрам, как и в изложенных выше задачах, могут относиться интенсивность и корреляционные свойства шумов и помех, на фоне которых принимаются полезные сигналы, случайные параметры этих сигналов, не связанные с распознаваемой ситуацией, случайные параметры распознаваемых объектов, законы распределения которых одинаковы для всех видов объектов. Кроме того, плотность вероятности выборки зависит от совокупности информативных параметров также случайных, но статистически различных при осуществлении разных ситуаций.

Во многих практически интересных задачах область изменения параметров одинакова для всех распознаваемых ситуаций и часто при введении вполне приемлемых идеализаций может считаться бесконечной. Однако в общем случае в разных ситуациях могут иметь место и различные области изменения параметров Можно, в частности, представить себе задачи, в которых единственные известные априорно различия между распознаваемыми ситуациями сводятся к различиям в указанных областях.

Поэтому обозначим область изменения параметров при реализации ситуации причем при хотя, как уже упоминалось в частных случаях, эти области могут и совпадать либо не пересекаться.

Будем считать, что заданы априорные плотности вероятности для параметров в различных ситуациях, причем при Очевидно, что Усредняя плотность вероятности по априорному распределению мы можем получить нлотность вероятности

для выборки в различных ситуациях и задача распознавания сведется к рассмотренной выше. В многоальтернативной задаче это приводите соответствии с (11.2.7) к оптимальному правилу выбора ситуации, если соблюдается неравенство

Здесь, как обычно, - коэффициенты потерь; априорные вероятности распознаваемых ситуаций; оценки максимального правдоподобия параметров обстановки в ситуации, коэффициенты равны единице при применении процедуры оптимизации, описанной в § 6.2, и определяются формулой (11.2 5) при применении процедуры, изложенной в § 6.5.

При двухальтернативном распознавании в соответствии с (13.1.1) оптимальное правило выбора первой ситуации сводится к выполнению неравенства

и, следовательно, если произведены вычисления плотностей вероятности (13.6.1), никакой задачи, отличной от рассмотренных, не существует.

Однако точные вычисления (13.6.1), особенно при большой размерности параметров как правило, произвести не удается. Имея в виду это обстоятельство, а также желательность получения пусть не совсем оптимального, но единого решения для широкого класса задач,

применим приближенный метод, неоднократно излагавшийся в гл. 6, 7 для вычисления (13.6.1) либо для вычисления плотности вероятности определяемой как

и входящей в алгоритм распознавания при применении процедуры оптимизации, предложенной в § 6.5. Здесь составной вектор-столбец порядка область изменения соответствующая области для априорная плотность вероятности вектора

Введя оценку по максимуму апостериорной вероятности вектора определяемую из уравнения

можно записать (13.6.4) в виде

где

Пусть точка у находится внутри области (а не на ее границе). Это заведомо имеет место в том случае, когда точка максимального правдоподобия у, определяемая из уравнения

лежит внутри в частности, это имеет место при бесконечных областях Если же у. находится вне области то точка также всегда является внутренней, если только плотность вероятности не имеет скачков (разрывов от нулевого значения до конечных) на границе области Тогда в окрестности точки функция может быть представлена приближенно в виде

где матрица состоящая из элементов

Приближение (13.6.9) основано на разложении в ряд Тейлора и пренебрежении членами ряда, содержащими компоненты разности в степенях выше второй. Это приближение тем точнее, чем больше величины (чем меньше апостериорные дисперсии параметров Количественно требование малости первого из отбрасываемых

членов разложения в ряд, который дает отличное от нуля значение при интегрировании, может быть записано как

где

— матрица, обратная матрице вторых производных логарифма апостериорной плотности вероятности, которая при выполнении условия (13.6.11) близка к апостериорной корреляционной матрице.

При выполнении условия, заключающегося в том, что внутренняя точка области

где бесконечная область значений параметров дополнение области Приближение (13.6.13) тем точнее, чем дальше отстоит точка от границы области (тем меньшую погрешность вносит замена этой области бесконечной областью при интегрировании). Количественно последнее требование можно представить в виде

Таким образом, введены требования, при выполнении которых произведение а следовательно, и апостериорная плотность вероятности хорошо аппроксимируется гауссовой кривой в окрестности точки и получающийся пик своей основной частью сосредоточен в области Тогда

и минимизация апостериорного риска приводит к следующему очевидному правилу принятия решения в пользу гипотезы (объекта, процесса, образа с номером Это решение принимается, если

В частном случае двухальтернативных задач условие выбора решения с номером 1 согласно (13.6.16) сводится к соблюдению

неравенства

или

При соблюдении противоположного неравенства принимается решение 2. Практически часто удобно применять условие (13.6.17) в виде

Обычно зависимость от выражения в правой части неравенства (13 6.18) является значительно более слабой, чем зависимость от левой части неравенства. Поэтому отношение детерминантов матриц отнесено к порогу. В некоторых случаях эти матрицы от не зависят вообще.

Таким образом, в некоторых обычно удовлетворяющихся предположениях найдены близкие к оптимальным алгоритмы распознавания. Можно, однако, ввести дальнейшие приближения. Допустим, что точка максимального правдоподобия у, удовлетворяющая условию (13.6.8), относится ко всем областям что, например, имеет место в случае, когда эти области бесконечны.

Найдем условие приближенного совпадения точек Для этого запишем

где - градиент по составляющим вектора у. а матрица имеет элементы

Учитывая, что

условием малости является малость величины

Количественно условие малости определяется исходя из требования, чтобы в точках значения функции совпадали с высокой точностью, что выполняется, при соблюдении условия

При выполнении этого условия и условия, согласно которому лежит внутри величины находятся по формуле

Если при этом

т. е. соблюдаются условия гладкости функций в смысле малости вторых производных, то и интересующие нас функции имеют вид

где множитель от номера не зависит.

В обеих частях неравенства (13.6.16) этот множитель может быть сокращен, в результате чего условие принятия гипотезы примет вид

где оценки максимального правдоподобия информативных параметров получаемые совместно с оценками максимального правдоподобия параметров обстановки а, в чем и проявляется адаптивность этого алгоритма.

В двухальтернативном случае условие (13.6.28) приводит к тому, что принимается первая гипотеза, если

Таким образом, в сформулированных выше условиях квазиоптимальный алгоритм распознавания двух ситуаций, отличающихся законами распределения некоторой совокупности параметров сводится к следующему: находится оценка максимального правдоподобия этих параметров совместно с оценкой максимального правдоподобия неизвестной «обстановки», проверяется принадлежность полученной оценки к областям и составляется отношение правдоподобия для двух распознаваемых ситуаций, в котором роль случайных наблюдаемых данных играет оценка Это отношение сравнивается с обычным порогом, который имеет место при проверке двухальтернативных гипотез при полностью известной обстановке. Близость полученного алгоритма к оптимальному, точно минимизирующему средний риск, сохраняется при соблюдении полученных выше условий, в частности, только в случаях, когда достаточно далеко отстоит от границ областей Если эта оценка находится вблизи указанных границ (в пределах ширины основного пика функции правдоподобия), полученные алгоритмы перестают быть оптимальными, а нахождение оптимальных алгоритмов требует точного решения задачи минимизации среднего риска, что может быть сделано только в некоторых случаях.

Легко усмотреть, что полученное решение справедливо также при применении адаптивного байесова подхода, изложенного в § 6.2.

В случае узкого по сравнению с размерами областей основного пика функции правдоподобия, попадания оценки в часть областей и непопадания в другую их часть нетрудно видеть, что величины для тех областей, которым не принадлежит, с высокой вероятностью

весьма малы по сравнению с соответствующими величинами для областей, к которым принадлежит

В этом случае можно предложить заменить оптимальный алгоритм (13.6.16) алгоритмом (13.6.28), в котором часть величин равна нулю. Это равносильно пренебрежению членами, содержащими малые и справедливо только при не слишком больших различиях весовых коэффициентов и априорных вероятностей При двухальтернативном распознавании это означает замену алгоритма принятия первой гипотезы (13.6.18) на (13.6.29), т. е. принятие первой гипотезы, если и второй, если Конечно, последний алгоритм близок к оптимальному, только если имеет порядок единицы.

В случае весьма малых и удаленных от точки областей в которых можно пренебречь изменениями выполняется приближенное равенство

При двухальтернативном распознавании это означает, что правило принятия первой гипотезы принимает вид

Этот алгоритм, отличающийся от оптимального алгоритма (13.6.18) при известных априорных распределениях превращается в оптимальный, если вид неизвестен, а известны лишь области Находя в этом случае максимннное решение при наименее предпочтительном распределении [36], мы приходим к алгоритму (13.6.31). Этот алгоритм представляет несомненный интерес, так как случай известных областей изменения параметров и неизвестных видов распределений вероятностей для них соответствует многим практически важным задачам.