4.4. РЕГУЛЯРИЗАЦИЯ ИТЕРАЦИОННЫХ АЛГОРИТМОВ

Рассматривая ряд Неймана, аппроксимирующий обратный оператор, легко понять, что в случае присутствия шума в исходных данных при возрастании номера итерации возникнет классическая неустойчивость решения, аналогичная по своим свойствам неустойчивости, возникающей

при инверсной фильтрации. Если на решение наложить ограничения вида то осцилляции с заходом в отрицательную область исчезнут, однако алгоритм будет воспринимать шумовую компоненту как часть самого изображения и тем самым «вытягивать» амплитуду шумовой составляющей до более высокого уровня. Тем не менее роль ограничения на положительность решения в итерационных алгоритмах в целом благотворна — обработанное изображение обладает меньшей зашумленностью, чем в случае отсутствия этого ограничения. По-видимому, это явилось одной из причин того, что до сравнительно недавнего времени не предпринималось попыток сделать итерационный процесс устойчивым к шумам во входных данных.

Решение задачи регуляризации итерационных алгоритмов разумно искать на основе тихоновских алгоритмов. При этом, если обычный итерационный алгоритм решает уравнение вида

то регуляризованный алгоритм решает в общем случае некоторую вариационную задачу минимизации функционала вида

где стабилизирующий функционал, квадрат расстояния между приближенным и истинным решениями. В такой постановке смысл использования итерационного алгоритма заключается в наложении на решение задачи регуляризации нелинейных ограничений и, соответственно, в замене обратного оператора на последовательность прямых операторов задачи с ограничениями.

Рассмотрим ряд Неймана, заменяющий обратный оператор:

Регуляризация разложения в ряд Неймана может быть произведена очень просто, если предположить, что нам известно решение задачи регуляризации в постановке А. Тихонова, т. е. известен регуляризирующий оператор

Предположим, что оператор имеет следующую структуру:

где — оператор, по смыслу соответствующий стабилизирующему

множителю. Эта структура встречается, например, при регуляризации линейных уравнений. Из полученных выражений и (4.4) вытекает запись регуляризованного разложения в ряд Неймана:

где сопряженный оператор, стабилизатор (см. § 2.1). Таким образом, для того чтобы сделать разложение в ряд Неймана устойчивым, достаточно применить оператор .

Воспользуемся разложением (4.45) в итерационный процесс, получим:

где в качестве начального приближения достаточно выбрать сглаженное искаженное изображение. Для уравнения свертки из (4.46) находим:

где

Так как ряд Неймана сходится не во всех случаях, то особый интерес представляет регуляризация итерационного алгоритма общего вида (4.26). Для решения этой задачи введем некоторые определения. Пусть итерационный процесс

сходится к решению уравнения и оператор является сжатием. При этом существует единственная фиксированная точка

Пусть далее вместо точного значения нам известно некоторое приближенное значение такое, что в метрике Итерационный процесс (4.48) будем называть регуляризованным, если существует некоторый оператор сжатия такой, что последовательность сходится к некоторому решению причем ошибка, зависящая от при

Интересную интерпретацию регуляризации итерационных алгоритмов можно предложить исходя из метода проекций на выпуклые множества. Аналогично (4.37) итерационную последовательность для набора выпуклых множеств запишем следующим образом:

Далее, пусть один из операторов проекций будет неточно известен Тогда, очевидно, мы не можем дать гарантии сходимости итерационного алгоритма. Заменим неточно известный оператор на регуляризированный такой, что в общем случае нерасширяющий и решение отличается от не более, чем на . В таком случае общая последовательность

также устойчива, и итерационный алгоритм сходится к некоторому . С геометрической точки зрения это можно интерпретировать как «размывание» области допустимых решений. В частности, если пересечение выпуклых множеств представляет собой в идеальном случае точку, она «расплывается» в некоторую область с характерным размером

Таким образом, мы снова теряем единственность решения и ищем некоторое устойчивое решение имеющее отклонение от точного решения не более чем на величину Такое решение будем называть регуляризованным решением. Оператор будем называть регуляризирующим оператором для процесса (4.48).

Предположим, что задача минимизации тихоновского функционала решена и регуляризирующий оператор для основного интегрального уравнения известен. Приступим к формированию итерационной последовательности. Запишем тождество

и по аналогии с (4.26) получим следующий итерационный алгоритм:

где регуляризирующий оператор, — управляющий параметр. Выражение (4.49) можно также записать в следующей форме:

где оператор равен

Очевидно, что для того, чтобы процесс (4.49) сходился, необходимо, чтобы оператор являлся сжатием:

Вопрос о выполнении условия (4.50) необходимо рассматривать в каждом конкретном случае.

В качестве примера рассмотрим уравнение типа свертки. В этом примере процесс (4.49) выглядит следующим образом:

Рассмотрим расстояние между функциями в

где

Для того чтобы оператор являлся отображением сжатия, необходимо, чтобы

Предполагая, что как и ранее, получим Ц»

Требование (4.52) заключается в том, что значения должны находиться внутри единичного круга на комплексной плоскости (рис. 4.1). В отличие от условия (4.30) единичный круг здесь «плавает» по комплексной плоскости. Учитывая свойства регуляризирующего оператора (см. § 2.2), находим

Это означает, что предельные положения круга на оси являются положениями с центром Для того чтобы удовлетворить условию (4.52) на всех частотах, необходимо, чтобы значения попадали в заштрихованный сектор. Так, если -действительная и положительная функция, то

Таким образом, для процесса вида (4.49) требования к выбору константы К являются более жесткими, чем для такого же процесса без регуляризации.

Рис. 4.1. Область сходимости итерационного алгоритма с регуляризирующим оператором

Существует и другая возможность регуляризации итерационного алгоритма. Представим, что мы оперируем только с регуляризованным значением . В таком случае применение оператора дает

Запишем теперь тождественное выражение:

и, представив его в виде последовательных итераций, находим

Полезность использования (4.55) очевидна: если оператор задачи без регуляризации является сжатием, то, очевидно, процесс (4.55) будет сходиться к Таким образом, выражение (4.55) характеризует более универсальный способ регуляризации итерационного процесса. Этот же результат можно получить из метода проекций на выпуклые множества. Покажем, что условие определяет выпуклое множество регуляризованных решений. Действительно, пусть Рассмотрим их линейную комбинацию когда . Тогда норма

Это доказывает выпуклость Очевидно замкнуто, так как для при из вытекает Будем называть оператор проектором на если для выполнено условие

Так как замкнуто и выпукло, то может быть построен

разложением на где — ортогональное дополнение:

Задача отыскания эквивалентна задаче минимизации тихоновского функционала. Решение этой задачи можно представить в виде сглаживания неточно известного оператора проецирования который определяется выражением:

Действительно,

Раскрывая выражение для оператора проецирования с учетом выражения для регуляризующего оператора, приходим к ряду (4.55).

Соотношение (4.55) можно интересно интерпретировать. Рассмотрим ряд

который будем называть модифицированным рядом Неймана. Покажем, что использование (4.56) соответствует принятой нами форме записи итерационного алгоритма

Для этого рассмотрим общий член ряда (4.56), записанного в виде последовательности

Из последней формулы видно, что ряд (4.56) может быть записан в форме (4.57).

Таким образом, ряд (4.56) обладает свойствами ряда Неймана, но в отличие от него позволяет обеспечить сходимость путем соответствующего выбора параметра Если теперь вернуться к регуляризации ряда Неймана, то получим формулу

которая, представленная в виде итераций, будет соответствовать выражению (4.55). Рассмотрим теперь связь между

Представлениями итерационных схем (4.49) и (4.55) для случая разделимого регуляризирующего оператора. В этом случае (4.49) принимает вид

Учитывая, что запишем (4.59) как

Предположим, что ряд Неймана в форме (4.56) сходится, т. е.

и перепишем (4.60) с учетом разложения (4.56):

Полученное выражение показывает, что решение в форме (4.49) для случая надлежащего выбора X эквивалентно регуляризации ряда (4.56), и в конечном итоге применению итерационной схемы (4.55). Итак, ряды (4.49) и (4.56) сходятся к одному и тому же решению, соответствующему применению регуляризирующего оператора.

С учетом приведенных результатов по обеспечению устойчивости итерационных алгоритмов можно построить различные итерационные алгоритмы с ограничениями. Это делается аналогично методам, описанным в § 4.2. Так, например, метод обращения свертки с ограничением по положительности и регуляризацией можно представить в виде

Если ядро не удовлетворяет условиям, изложенным в § 4.1, то итерационный процесс запишем в виде

Остановимся в заключение на одном важном моменте для итерационных алгоритмов. Поскольку регуляризирующий оператор ограничен полосой системы формирования

изображений (частотой среза то смысл регуляризации состоит в экстраполяции спектра за пределами частоты среза, исходя из сглаженного решения. Здесь решается задача минимизации тихоновского функционала

при различных ограничениях. Таким образом, сглаживание касается лишь полосы частот до (линейный регуляризирующий оператор), а уже на основе сглаженного сегмента и ограничений производится экстраполяция спектра. Приведем результаты цифрового моделирования восстановления изображений. На рис. 4.2 показан результат восстановления искаженного изображения, приведенного на рис. 2.6,ж. В алгоритме учитывалась априорная информация вида (см. § 4.2). Сравнение изображений показывает резкое улучшение качества восстановления рис. 4.2 по сравнению с изображениями на рис. Для восстановления изображения было проведено 80 итераций при выборе Отметим, что в районе надписи и на границах на рис. 4.2 можно заметить структуры, возникающие из-за осцилляций решения. Это связано с тем, что оценка кривых проведена с недостаточной точностью: ограничения на близость восстановленной функции к фоновой оценке снимается в большей области, чем в реальной области резких перепадов. Это вызывает появление осцилляций решения.

На рис. 4.3,а приведено исходное изображение импульсных объектов, представляющее собой набор импульсов при нулевом фоне изображения. В поле изображения имеется протяженный объект — площадки различной интенсивности.

Рис. 4.2. (см. скан) Результат восстановления изображения рис. 2.6,ж после 80 итераций итерационным алгоритмом

На рис. 4.3,б приведено искаженное изображение, представляющее собой свертку с гауссовской весовой функцией с характерным размером около 20 элементов изображения. Отношение сигнал/шум равно 1000. Заметим, что три маленьких импульса на рис. не различимы. Попытки линейного восстановления не дают хорошего результата: при больших параметрах а или восстановленное изображение лишь ненамного более четкое, чем на рис. 4.3,б. При меньших параметрах а, например

Рис. 4.3. (см. скан) Результаты цифрового моделирования итерационного восстановления импульсных объектов: а — исходное изображение; искаженное изображение; в — итерационное восстановление без регуляризации; г - операционное восстановление с регуляризацией; д - искаженное изображение при малом отношении сигнал-шум; е - итерационное восстановление рис. д без регуляризации; ж - итерационное восстановление рис. д с регуляризацией; з — итерационное восстановление рис. д с регуляризацией и ограничениями

при резко возрастают шумы и изображение становится таким, как на рис. 4.3,б. На этом рисунке виден результат итерационного восстановления с ограничением на неотрицательность решения, но без регуляризации. Задача оказывается чрезвычайно чувствительной к шумам: любой шумовой выброс, попавший в положительную область, воспринимается алгоритмом как изображение и значительно усиливается. На рис. 4.3,г приведен результат восстановления итерационным методом с ограничением на неотрицательность и тихоновской регуляризацией решения

при выборе параметра Заметим, что импульсные объекты восстанавливаются удовлетворительно, удается различить три импульса в левом нижнем углу изображения, однако на плоской площадке в левом верхнем углу объекта появляются осцилляции, характерные и для линейных методов восстановления. Для восстановления изображений на рис. проводилось 80 итераций.

На рис. приведен результат искажения исходного изображения при тех же параметрах весовой функции, но при более малом отношении сигнал/шум: амплитуда шума возросла в 5 раз. Решение итерационным алгоритмом с ограничением на неотрицательность показано на рис, 4.3,е. Введем регуляризацию решения при параметре Результат восстановления после 80 итераций приведен на рис. 4.3,ж. Сравнение рис. 4.3,в и рис. 4.3,е, так же как и рис. 4.3,г и рис., показывает благотворную роль ограничения на неотрицательность решения. Изображения на рис. 4.3,в и рис. отличаются между собой не столь явно, как это можно было бы ожидать при

Рис. 4.4.

линейной обработке, не говоря уже о том, что без регуляризации мы получили бы просто шумоподобную картину, аналогичную изображению на рис. 2.6,в. Те же аргументы относятся и к сравнению изображений на рис. 4.3,г и 4.3,ж: несмотря на возрастание шума в изображении рис. 4.3,д решение на рис. 4.3,ж является значительно более гладким, чем это можно было бы ожидать при соответствующем увеличении параметра а в линейном алгоритме. На рис. 4.3,з виден результат восстановления при учете в алгоритме, кроме ограничения на неотрицательность, ограничения на пространственную протяженность восстанавливаемого объекта. Все прочие параметры восстановления оставлены без изменений. Качество восстановления изображения рис. 4.3,з резко повышается, кроме того, исчезают осцилляции решения на плоском участке.

На рис. 4.4,а-з приведены графики интенсивностей одной из строк изображений рис. 4.3,а-з соответственно. Строка выбрана на уровне трех импульсных объектов, представленных в левом нижнем углу изображения.