ГЛАВА 3. НЕЛИНЕЙНЫЕ МЕТОДЫ ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЙ

3.1. ТЕОРЕТИКО-ИНФОРМАЦИОННЫЕ МЕТОДЫ

Большой класс нелинейных методов восстановления изображений использует понятия статистической теории связи применительно к описанию изображения и процесса его формирования. Этот подход тесно связан с лучевой моделью формирования изображения (см. § 1.3) и основывается на представлении изображения как некоторой плотности вероятности, что позволяет легко выполнить важное ограничение на неотрицательность значений изображения. По существу, мы имеем дело с введением этого ограничения путем выбора адекватной модели, описывающей процесс формирования изображения. Действительно, по физическому смыслу плотность вероятности не может быть отрицательной, следовательно, решения, получаемые на основе статистических моделей неотрицательны из-за свойств самих моделей. Для ознакомления со статистическими моделями необходимо рассмотреть некоторые основные понятия статистической теории связи.

Основными элементами произвольной системы связи являются источник сообщений, канал связи и приемник (рис. 3.1). В теории информации задаются случайные характеристики источника и канала связи. Так, простейшим классом источников является дискретный источник без памяти, выходом которого служит последовательность сообщений («букв») каждое из которых выбирается из алфавита с вероятностной мерой, заданной на алфавите, чем выбор сообщений происходит статистически независимо. Такое описание является конкретизацией общей модели вероятностного эксперимента, в котором исход выбирается из множества возможных исходов с вероятностной мерой, заданной на этом множестве. Выборочное пространство, являющееся множеством возможных исходов, совместно с вероятностной мерой называется ансамблем. Пусть ансамблем X является множество с вероятностной мерой , ансамблем Y - множество

Рис. 3.1. Классическая схема системы связи

с мерой тогда множество пар называется совместным ансамблем с мерой .

Произвольное событие соответствует множеству пар событий и определяется, как

Условная вероятность того, что исходом У является при условии, что исходом X является равна

По вероятностной модели принято определять информационные параметры, не вдаваясь в конкретное содержание процессов, образующих модель. Пусть, например, является входом некоторой системы, а выходом. Нас будет интересовать количественная характеристика того, что можно сказать по некоторому событию из ансамбля У о некотором событии из ансамбля Очевидно, для этого необходимо знать апостериорную вероятность появления события при условии того, что произошло событие Если событие имеет априорную вероятность то информация о событии содержащаяся в событии равна:

Это количество информации можно рассматривать как случайную величину; если же мы оперируем с ансамблем, то средняя взаимная информация ансамблей определяется следующим образом:

Средняя взаимная информация определяет информацию об ансамбле X, содержащуюся в ансамбле У. Раскроем выражение (3.2), получим:

Здесь — собственная информация ансамбля, называемая также энтропией ансамбля:

Выражение называется условной собственной энтропией ансамбля

Будем рассматривать дискретный канал без памяти, характеризующийся вероятностью приема если было передано т. е. Тогда, согласно формуле полной вероятности, произвольное событие ансамбля имеет вероятность:

С учетом (3.6) уравнение (3.2) будет

Выражение (3.7) для дискретного канала без памяти называется шенноновской информацией [13].

Одной из основных задач теории информации является отыскание такого распределения вероятностей на входе канала связи, которое максимизирует функцию (3.7), т. е. обеспечивает максимальную пропускную способность канала. Эта задача может быть записана следующим образом:

при условиях

Нетрудно видеть, что максимизация пропускной способности приводит к решению нелинейной задачи с ограничениями.

Остановимся теперь на информационном подходе к описанию изображений. Классический вариант такого подхода оперирует со следующими основными параметрами вероятностной модели: алфавит источника — дискретизированные уровни яркости изображения, вероятностная мера — относительные частоты данных уровней (значения гистограммы

Рис. 3.2. Статистическая модель источника: алфавит — уровни яркости; мера — гистограмма изображения

изображения). Таким образом, мы получаем ансамбль . В такой модели изображение рассматривается как случайная последовательность на выходе источника сообщений, в которой конкретное изображение является реализацией из ансамбля изображений с одинаковой гистограммой (рис. 3.2). Подобный выбор алфавита (уровней источника) и вероятностной меры (гистограммы изображения) используется, например, в работе [44]. К сожалению, в этой модели трудно ввести в рассмотрение процесс формирования изображения и потому ее использование для решения задач восстановления изображений ограничено.

Альтернативный подход к вероятностному описанию изображений дается лучевой моделью формирования (см. § 1.3). Если говорить о формальном смысле такого подхода, то он сводится к изменению алфавита источника и вероятностной меры. Если же говорить о физическом смысле, то речь идет о поиске модели, адекватно описывающей формирование изображения.

Приведем простой пример. Изображения, приведенные на рис. 3.3, имеют одинаковую гистограмму, однако являются представителями различных классов изображений. На рис. 3.3,а девять черных квадратов объединены в один большой квадрат, в то время как на рис. 3.3, б те же девять квадратов хаотически разбросаны по полю рисунка.

Рис. 3.3. Примеры изображений, имеющих одинаковую гистограмму: а — сплошной объект; б - набор случайных точек; в — связный объект

Наконец, на рис. 3.3, в изображена цифра «4», набранная из тех же квадратов. Если руководствоваться гистограммой, то все эти изображения имеют одинаковую вероятностную меру: вероятность уровня черного равна 1/4, а вероятность уровня белого равна 3/4 (общий формат изображений элементов).

Таким образом, необходимо использовать такую модель, которая для каждого конкретного случая могла бы давать свою вероятностную меру, однозначно определяемую изображением.

Мы будем основываться на интерпретации лучевой модели как формального представления дискретизированного изображения в виде набора «энергетических» составляющих. Пусть изображение представляется в виде

где - координаты точек объекта, — значения интенсивности в этих точках. Для задания вероятностной меры воспользуемся теорией случайных потоков [3]. Случайным потоком называется случайный процесс зависящий от параметра и характеризующий число точек, выпавших по случайному закону на интервале при Одним из эквивалентных определений случайного потока является описание числа точек, выпавших на определенных интервалах параметра. Пусть некоторые интервалы; тогда случайный поток будет характеризовать число точек попадающих на Алгь по некоторому случайному закону.

В нашей схеме можно связать интервалы параметра с координатами «центров излучения» а число выпавших точек — с числом энергетических составляющих (лучей), выходящих из этих точек: где отсчеты яркости изображения. Пусть алфавитом модели является набор координат Тогда вероятностную меру можно задать как вероятность того, что из точки излучается «лучей», из точки «лучей» и т. д. Каждое изображение при этом можно считать формируемым с той или иной вероятностью из ансамбля изображений с заданной вероятностной мерой. Пусть изображение формируется по вероятности. Очевидно, что если полная яркость объекта равна то соответствующие вероятности равны:

Рис. 3.4. Модель источника сообщений на основе лучевой модели: алфавит — координаты точек: мера — интенсивность излучения

При таком подходе изображение можно рассматривать как параллельно формируемый случайный поток причем для каждого конкретного изображения существует только одна однозначно связанная с ним вероятностная мера, которая определяется распределением интенсивности объекта (рис. 3.4).

Остановимся на отличиях этой модели от классической модели, представленной на рис. 3.2. Классическая модель оперирует с понятием случайной последовательности на выходе источника. Она основывается на последовательном представлении временных сигналов: в каждый момент времени на выходе появляется некоторый символ, вероятность которого априорно известна. Такая ситуация имеет место в приборах с разверткой изображений. Модель, соответствующая рис. 3.4, напротив, оперирует с понятием случайного потока, подчеркивая параллельность формирования изображения. Здесь в один и тот же момент времени наблюдается процесс выпадания случайных точек в различных координатах, а плотность вероятности, заданная на алфавите, однозначно определяется интенсивностью изображения.

Это обстоятельство позволяет использовать аппарат математической статистики и теории информации для оценивания исходного изображения, так как рассматриваемая задача оказывается эквивалентной задаче оценивания плотности распределения вероятностей.

Линейную систему формирования изображений можно характеризовать неотрицательной нормированной весовой функцией системы, приобретающей смысл переходной вероятности канала. Пусть плотность вероятности исходного изображения (ансамбля), а переходные вероятности канала равны что соответствует вероятности перехода из точки объекта и точку изображения. В результате процесса формирования получим функцию плотности выходного ансамбля Обозначим входной и выходной ансамбль

соответственно и определим следующие теоретико-информационные характеристики.

Функционал взаимной информации по Шеннону

где правая часть соответствует средней информации, содержащейся в выходном изображении относительно входного [96].

Энтропия входного изображения:

Нас будет интересовать оценка плотности распределения. Для устранения неоднозначности решения целесообразно искать из всех возможных решений такое, о котором в выходном изображении содержится максимум информации по (3.8). Этот критерий называется критерием максимума информации [118]. Задача использования критерия максимума информации в известном смысле обратна классической задаче определения пропускной способности канала. Действительно, здесь мы обрабатываем данные о выходном изображении тогда как в задаче максимизации пропускной способности ищется такое которое максимизирует без учета .

Решение, получаемое из критерия максимума информации, записывается следующим образом [96, 97]:

Максимизация (3.10) производится при учете следующих ограничений:

Смысл критерия (3.10) становится ясным, если рассмотреть некоторые вероятностные соотношения. Раскроем логарифм в (3.8), получим

где

Учитывая, что получим, что критерий (3.10) эквивалентен минимизации условной энтропии

Возвращаясь к процессу формирования изображения, рассмотрим все возможные переходы из произвольной точки объекта в точку изображения. Очевидно, что для всех переход считается ошибочным, а вероятность такого перехода пропорциональна числу способов, которым он может быть произведен. Можно показать, что это число равно:

где число переходов из точки общее число лучей, представляющее суммарную яркость изображения. Функция правдоподобия ошибки может быть определена через логарифм числа способов Найдем среднюю функцию правдоподобия ошибки с учетом плотности входного ансамбля:

Используя формулу Стирлинга, получим

Сравнивая (3.14) и (3.13), находим, что поиск решения, минимизирующего среднюю функцию правдоподобия ошибки, оказывается эквивалентным решению задачи максимизации информации, содержащейся в выходном ансамбле относительно входного. В приведенном примере мы столкнулись с ситуацией, характерной для информационных критериев качества — вводится некоторый функционал качества, заданный на «лучах», и ищется его экстремальное значение. Если обратиться к вероятностному смыслу проводимых преобразований, то описанный метод можно рассматривать как обобщение методов статистической регуляризации

при теоретико-информационном подходе к описанию изображений.

Вернемся к задаче максимизации информации. Нами получено, что для нахождения решения необходимо найти минимум функционала условной энтропии: .

Для решения этой задачи можно предложить два пути. Первый из них состоит во введении сложной структуры переходной вероятности канала [97]:

Здесь нормировочные коэффициенты, случайный шум в принятом изображении. Этот подход предлагает считать шум частью канала и интерпретировать его как некоторый паразитный фон. С учетом структуры переходной вероятности (3.15) условная энтропия принимает следующий вид:

Значения шума учитываются путем использования уравнений формирования изображения:

Кроме того, при минимизации функционала (3.16) должны выполняться следующие условия:

Они связаны с требованиями нормировки и неотрицательности плотности вероятности. На основе (3.17) — (3.18) строится вычислительная схема, решение которой позволяет найти оценку входного изображения.

Вторым путем может служить минимизация функционала условной энтропии с учетом регуляризации задачи и необходимых ограничений. Общие методы регуляризации подобных задач будут рассмотрены в § 3.3; здесь отметим лишь, что введение в схему вычислений некоторого дополнительного функционала позволяет сделать ее устойчивой. При втором пути требуется минимизировать

при ограничениях:

Отметим основные особенности этой задачи. Во-первых, основной функцирнал нелинеен, следовательно, задача нелинейна. Во-вторых, решением может являться только неотрицательная функция, что означает избавление от некоторых недостатков линейных методов восстановления. Эти обстоятельства определяют основные достоинства теоретико-информационного подхода. Однако решение подобной задачи сопряжено со значительными трудностями (см. гл. 7).