5.17. Реставрация по максимуму энтропии: две идеи, два подхода

Алгоритмы реставрации с ограничениями, описанные в разделах 5.15 и 5.16, в сущности были разработаны для решения частных задач. Поэтому оба алгоритма выражают прагматическую последовательность операций на основе интуиции. Уместно задать вопрос, имеется ли для решения подобных задач

надежный формальный подход, логически вытекающий из какого-либо известного разумного принципа (в качестве примера укажем метод фильтрации Винера — Хелстрома, построенный на основе критерия МСКО; см. п. 5.11.1). К этой категории принадлежит и принцип максимума энтропии.

Рассмотрим основания к его применению. Задача инверсии (5.1) очень близка к задаче инверсии выражения

для определения неизвестной плотности вероятности по известным ее моментам Моменты здесь соответствуют входным данным об изображении Это подобие простирается еще дальше, поскольку, чтобы представлять реальную плотность вероятности, должна быть положительной. Джейнис [11] показал, что при решении этой задачи наименее смещенную оценку дает только та функция, которая имеет максимум энтропии

и соответствует приведенным выше уравнениям моментов. «Наименее смещенная» — значит равновероятная оценка в той степени, в какой это допускают входные моменты; тем самым условие максимума энтропии оказывает на оценку сглаживающее воздействие. Начиная с п. 5.3.1, мы имели возможность увидеть, насколько важным является этот эффект. Однако обсуждаемый подход имеет еще одно достоинство.

Требуемый, согласно методу Джейниса, максимум энтропии обеспечивается решением для в виде

где неизвестные должны быть взяты такими, чтобы удовлетворить уравнениям моментов. При такой форме выражения не может быть отрицательной. Вследствие этого критерий максимума энтропии автоматически обеспечивает чисто положительный выход.

Мы убедились в полезности такого подхода и хотели бы узнать, как его применить для оценки пространственной (а не вероятностной) функции. Очевидно, о (при любом следует теперь моделировать посредством случайной переменной так, чтобы можно было сформировать ее вероятность Когда известна, энтропия определяется с помощью (5.936).

С этого момента начинается расхождение между методами Бурга [5] и Фридена [18].

Согласно методу Бурга, о рассматривается как квадрат другой переменной, обозначаемой а (как в разделе 5.15). Этим обеспечивается положительность о. Далее первые два момента величины а предполагаются известными (по крайней мере для оптических задач такое предположение является произвольным). Из (5.93в) с учетом этого предположения следует, что наименее смещенным представлением будет нормальное (а в предположении нулевого среднего — гауссово) распределение.

При таких условиях энтропия оказывается известной. Для точки х она составляет

где действительные числа. При переходе ко всей оси х наименьшую ошибку дает предположение о статистической независимости При этом общая энтропия будет просто суммой отдельных энтропий, что дает

Последнее, что еще нужно сделать, — это принять, что представляет собой искомую оценку наконец, мы получаем критерий

причем коэффициенты не имеют значения при определении удовлетворяющего (5.94). В этом состоит метод максимума энтропии, приспособленный к решению оптических задач.

Другое применение принципа максимума энтропии было независимо разработано Фриденом [18]. Принятая им статистическая модель объекта коренным образом отличается от модели Бурга. В данном случае объект считается состоящим из дискретных математических «зерен» малой интенсивности До, которые распределены по всему полю объекта. Поле поделено на клетки, сцентрированные относительно подмножества точек при этом предполагается, что неизвестный объект имеет зерен в клетке Таким образом, Пусть представляет вероятность появления зерна в клетке Тогда при условии, что по объекту распределено большое количество зерен, согласно закону больших чисел, имеем

где — общее число зерен в объекте. От считается известным на основе сохранения энергии в данных об изображении.

С учетом введенных обозначений энтропия выражается в виде

Используя определение окончательно получаем

где постоянные. В результате принцип максимума энтропии принимает вид

Сравнение этого критерия с (5.94) показывает, что критерии различаются множителем Этот множитель придает критерию (5.95) форму, более близкую к классической энтропии (5.936), чем у критерия (5.94). Однако за это уподобление приходится платить, как будет показано ниже, потерей возможности выразить решение для в замкнутой форме. Наконец, следует отметить, что (5.95) выведено с использованием, по-видимому, более скромного набора допущений, чем (5.94).

Важно, однако, что оба критерия оказывают сглаживающее воздействие на оценку Действительно, когда два значения объекта вынуждают дифференциально изменяться так, чтобы они стали более одинаковыми (что и выражает тенденцию к сглаживанию), оба варианта возрастают. Следовательно, максимум согласно обоим критериям, способствует получению максимально гладкой оценки, а абсолютный максимум образуется при идеально гладкой оценке Однако входные данные выступают при этом как ограничения, которые вызывают флуктуации в и тем самым нарушают ситуацию, в которой имеет абсолютный максимум.