§ 15. Предварительная обработка изображений

Успешность восстановления изображений сильно зависит от качества предварительной обработки, в результате которой из записанного изображения получают изображение Мы разделяем предварительную обработку на пять категорий: сглаживание, разбиение на фрагменты, аиодизацню, расширение границ и сверхразрешение.

Обычно для более полного уменьшения эффектов зашумлення проводят сглаживание изображения Хотя эта процедура часто носит главным образом косметический характер, она может иметь и более важное практическое значение. Напомним, что величина в формуле (14.9) учитывает эффекты, связанные с нелинейностями записи, шумом записи изображения, ошибками в передаче битов, отсутствием некоторой информации (т. е. отсутствием отдельных элементов изображений или целых групп их), насыщением, а также с загрязнением и царапинами, которые искажают фотографии. Сглаживание можно

рассматривать как двумерный аналог простейшей обработки сигналов, имеющей целью исключить весь шум, спектральные составляющие которого лежат вне полосы временных частот, соответствующей сигналу, передаваемому рассматриваемым каналом связи. Большинство видов помех, перечисленных выше, можно считать помехами с независимыми отсчетами, тогда как характерные детали изображений обычно коррелированны в пределах нескольких соседних элементов изображения. Иначе говоря, спектр пространственных частот шума существенно шире, чем спектр изображения, и в этом случае весьма эффективна пространственная фильтрация изображения оставляющая только те спектральные составляющие шума которые разрешены в той же степени, что и деталь в истинном изображении.

В гл. 8 и 9 детально обсуждаются несколько алгоритмов улучшения визуальною качества изображений. Наш опыт показывает, точность восстановленного изображения в значительно большей степени определяется уровнем зашумленности, остающимся в изображении после предварительной обработки, нежели фактически используемым метолом деконволюции.

Изяшные методы деконволюции, излагаемые в § 16—19, прямо применимы только в случае пространственно-инвариантной ФРТ. Нарушение условия пространственной инвариантности меняет характер задачи деконволюции, существенно увеличивая вычислительную сложность и стоимость расчетов даже при использовании методов, пригодных в случае пространственно-зависимых ФРТ. Во многих практических ситуациях такое нарушение связано по большей части не с какими-либо факторами принципиального значения, а с геометрическими искажениями, вносимыми в процессе записи (такие искажения часто вызываются, например, линзами в устройствах, формирующих изображение). Поэтому мы будем рассматривать коррекцию геометрических искажений одновременно со сглаживанием. Для компенсации геометрических искажений, приводящей к практически пространственно-инвариантной ФРТ, можно использовать методы коррекции геометрических искажений, вводимые в § 47. Приведем пример. Предположим, что некоторая сцена фотографируется с вращающегося летательного аппарата, в котором камера жестко закреплена. Плоскость, в которой лежит фотопленка камеры, будет плоскостью изображения. Зная геометрические соотношения между рассматриваемой сиеной и летательным аппаратом, мы можем рассчитать положение осевой точки (точки пересечения оси вращения с плоскостью изображения). Даже если камера хорошо сфокусирована, записанное изображение искажается пространственно-зависимой ФРТ, которая каждой точке изображения с вращательным смазом

представляется дугой окружности с центром в данной осевой точке. Угловая протяженность этой дуги пропорциональна произведению времени экспозиции на скорость вращения летательного аппарата. Соответствующая процедура коррекции геометрических искажений должна приводить к преобразованию каждой дуги в отрезок прямой линии постоянной длины. Тогда преобразованная ФРТ становится прос граиственно-инвариантной, соответствующей линейному смазу (см. табл. 1.1 в примере 1). После компенсации смаза с помощью какого-либо наиболее подходящего метода деконволюции исходная геометрия восстанавливается в результате обращения преобразования коррекции геометрических искажений.

В случае пространственно-зависимых ФРТ, не допускающих эффек-тивного применения процедуры коррекции геометрических искажений, существуют два подхода. Можно использовать один из прямых методов, обсуждаемых в § 18. Однако компьютерная реализация этих методов настолько сложна, что они имеют практическую ценность только при обработке изображений небольших размеров (скажем, 128 х 128 элементов), а также в том случае, когда ФРТ изменяется лишь по одной координате. Второй, обычно более предпочтительный, подход — разбиение записанного изображения на ряд смежных фрагментов одинаковою размера. Принимается, что искажение каждого фрагмента связано с формой реальной ФРТ в его центре. Все нарушения этого предположения включаются в полную зашумленность фрагмента изображения, размер которого должен быть настолько мал, чтобы не допустить избыточной зашумленности. В то же время, как показывает наш опыт, размер фрагмента изображения должен быть по крайней мере в четыре — восемь раз больше эффективного размера ФРТ. При всем этом предполагается, что реальная ФРТ изменяется на записанном изображении плавно и медленно (это условие часто выполняется на практике). Таким образом, разбиение на фрагменты дает возможность свести задачу восстановления изображения, описываемого пространственно-зависимой ФРТ, к последовательности практических задач деконволюции (см. § 14). Полно восстановленное изображение получается путем составления мозаики из отдельных восстановленных фрагментов.

Обращаясь к терминологии, введенной в § 7, следует обозначить область плоскости изображения, занимаемую заданным (но сглаженным, как описано выше) записанным изображением, через Это согласуется с определениями, введенными в § 3 и 14, которые связывают записываемое и фактически записанное изображения и Однако записываемое изображение в большей части практических приложений фактически усекается до вида чем и объясняется,

почему эти два изображения, пообшс говоря, различны. Напомним, что зашумленный вариант изображения Последнее является фактически интересующим нас изображением, поскольку к нему мы хотели бы применить операцию деконволюции. Поскольку изображение выходит за пределы вышеуказанного кадра, логично предположить, что то же самое имеет место и для изображения Заметим, что изображение может все же отличаться от изображения Поэтому для этого калра мы введем другой символ Имеет смысл пытаться восстанавливать только те части изображения которые оказывают влияние на вид изображения в пределах калра Это части изображения которые в исходном состоянии находятся в кадре а также части этого изображения, которые вносятся в результате действия ФРТ в пределы кадра извне его. Обозначим через кадр, содержащий сумму этих частей. Согласно формуле (14.1), кадр может быть построен путем размещения центра кадра на внешней границе кадра и перемещения ее по этой границе. Тогда кадр будет предс тавлять объединение всех точек в кадре и всех точек, охватываемых кадром при сто прохождении по области (см. текст, относящийся к изображению в примере 3).

Поскольку части истинного изображения, лежащие вне кадра полностью теряются, можно предположить, что изображение лежит в пределах кадра Поэтому далее будем считать, что

откуда, естественно, следует равенство

Так как изображение существует на кадре из-за «размывающего» действия оно должно сказываться в пределах большего кадра. Этот больший кадр содержит все части изображения которые гсряются при усечении изображения а потому мы обозначим его через Поскольку же есть зашумленный вариант изображения область идентична области

Хотя мы знаем о существовании изображения в пределах кадра оно задается только на кадре Обычно целесообразно провести дальнейшую обработку (кроме сглаживания) для более полной компенсации эффектов усечения, а также несогласованное] и операции свертки, отмеченной в § 14. Итак, мы требуем, чтобы предварительно обработанное записанное изображение [формула (14.9)] удовлетворяло условию

где через обозначены операции, описываемые ниже.

Усечение изображения имеет столь важное значение с практической точки зрения, что нужно остановиться на ею последствиях. Сначала конкретизируем форму кадра Мы будем рассматривать только прямоугольные и круговые кадры, поскольку они чаше встречаются в приложениях. Таким образом, если и есть -протяженности прямоугольного кадра или если К — радиус кругового кадра то из определений, данных в § 4 и 14, следует, что

или

где за начало координат взят центр кадра Эти дна варианта изображения удобно исследовать раздельно. Из определений

а также выражения (15.4) и теоремы о свертке (7.7) следует, что

где фурье-образ [см. определение (6.4)].

Взяв теперь фурье-образ функции (15.5) и вспомнил первое из двух определений (15.6), мы видим, что

где радиальная координата в частотной плоскости [см. абзац, содержащий формулу (6.11)] и

причем функция Бесселя первого рода первого порядка.

Отметим, что осциллирующая функция, имеющая центральный пик (часто называемый основным лепестком приблизительно единичной ширины и бесконечную последовательность меньших пиков (иногда называемых боковыми лепестками), каждый из которых имеет эффективную ширину, равную 1/2. и амплитуду, которая уменьшается сравнительно медленно (по закону . Эти боковые лепестки могут привести к неприемлемым артефактам, если изображение подвергается операции фильтрации такой, как любая из процедур, описанных в § 16—19, см. обсуждение цифровых фильтров в § 14) без соответствующей предварительной обработки. Хотя это относится в первую очередь к изображению и определенному выражением (15.4), то же самое справедливо и для изображения, заданного выражением (15.5). Функция введенная в формуле (15.8), аналогична функции Она фактически эквивалентна двум функциям входящим в формулу (15.7). Отметим, что типичная

фильтрация может быть описана соотношением

где мультипликативный фильтр (см. § 14), предназначенный для получения из изображения а изображения , имеющего некоторые желательные характеристики. Боковые лепестки функции и двух функций искажают внешнее преобразование Фурье в формуле (15.10), часто ириподя к очень неприятным пульсациям большой амплитуды в той области плоскости изображения, велики значения маскирующим низкоамплитудные детали в фильтрованном изображении.

Поскольку функция тождественно равна нулю вне кадра обычно не удастся достичь (в восстановленном изображении) разрешения, лучшею, чем соответствующее ширине главных лепестков функций в формуле (15.7) или функции в формуле (15.8). В то же время часто оказывается возможным уменьшить влияние боковых лепестков функций и путем соответствующей предварительной обработки.

Нели мы знаем, что более интересные для нас части изображения лежат ближе к центру кадра то в тех случаях, когда размер последнею существенно больше размера кадра предварительная обработка может состоять в аподизации. Она заключается в умножении функции на функцию окна которая плавно уменьшается до нуля на внешней границе кадра и равна нулю везде вне кадра Вследствие этого область оказывается равной кадру Обращаясь теперь к формуле (15.3), можно получить, что предварительно обработанное записанное изображение принимает вид

где сглаженное изображение, полученное из фактически записанного изображения.

Аподнзакия неизбежно приводит к потере разрешения, но обычно это «окупается» устранением указанных выше артефактов. В стандартных пособиях приводятся многие функции окна, обеспечивающие удовлетворительный компромисс межлу уменьшением боковых лепестков и потерей разрешения. Поэтому нам представляется что достаточно продемонстрирова некоторые общие свойства функций окна на примере особенно «гибкой» функции окна — функции определенной выражением (15.18), которой не уделялось достаточного внимания в соответствующей литературе.

Поскольку здесь рассматриваются только изображения о описываемые выражениями (15.4) и (15.5), по-видимому, не имеет особою смысла изучать функции окна, которые не обладают свойством

круговой симметрии или не разделяются на сомножители, зависящие от переменных х и у по отдельности. Поэтому достаточно исследовать одномерные функции окна, например (через х обозначены переменные у или ). В качестве величины удобно взять размер (усеченного) фактически записанного изображения в х-направлении. Приняв обозначение и предположив, что функция, аналитическая на интервале (т. е. «непрерывно гладкая», иначе говоря, бесконечно дифференцируемая), мы видим, что интеграл Фурье, определяющий величину , можно взять по частям и получить следующее выражение:

где введено обозначение

Интеграл в выражении (15.12) тоже может быть взят по частям, затем тем же способом можно взять интеграл в получающемся выражении и т. д., так что

где снова используется обозначение (15.13). Если сумма в выражении (15.14) действительно сходится при то мы имеем компактную формулу для асимптотического поведения (при боковых лепестков функции Чтобы боковые лепестки быстрее уменьшались с возрастанием величины необходимо обеспечить выполнение условия

где положительное целое число, которое должно быть как можно больше. На практике число в редких случаях выбирается большим елинииы, поскольку обычно либо чересчур трудно контролировать функции [например, когда функция задает спад поля к краям раскрыва антенны или является функцией аполизашш оптического устройства], либо уменьшение боковых

лепестков оказывается достаточным при потеря разрешения не очень велика при Для достижения некоторых оптимальных компромиссных решений межлу потерей разрешения и уровнем боковых лепестков ни олно из значений не полагается равным нулю, они просто считаются достаточно малыми для того, чтобы удовлетворялись определенные критерии.

Многие стандартные функции окна имеют вид

где функция выбирается таким образом, что

Боковые лепестки уменьшаются асимптотически как Изменение параметра позволяет достичь некоторого компромисса между потерей разрешения и уровнем бокового лепестка.

Иногда оказывается удобным построить функцию окна, являющуюся аналитической при и обладающую двумя независимыми переменными параметрами, которые позволяют достигнуть выгодных компромиссов. Рассмотрим конкретную функцию окна определяемую в виде

Заметим, что

Укажем также, что интеграл

является нечетной функцией переменной а его подынтегральное выражение имеет простые полюсы на мнимой оси комплексной плоскости в точках где любое целое число. Поскольку функция, аналитическая в верхней половине комплексной -плоскости, когда переменная и вещественная и положительная, вышеприведенный определенный интеграл можно вычислить, взяв по теореме Коши интеграл

где С — замкнутый контур, состоящий из вещественной оси и полуокружности на бесконечности в верхней половине комплексной х-плоскости. Следовательно,

где вклад полюсов в верхней полуплоскости, а вклад указанной бесконечной полуокружности. Поскольку когда имеем

На бесконечной полуокружности удобно положить где сколь угодно большая вещественная положительная постоянная. Заметим, что

где функция определяется в виде

Таким образом,

где через О, обозначен квадрант единичной окружности в комплексной -плоскости. Поскольку функция, аналитическая и внутри этой единичной окружности, на ней каждый квадрант можно преобразовать так. что он будет лежать на тех частях вещественной и мнимой осей, которые соединяют начало системы координат с концами квадранта. Итак, выражение (15.24) можно представить в виде

Как и можно было ожидать, это нечетная функция переменной . Отметим, что при функция стремится к пилу

Из теоремы о свертке (7.7) и выражения (15.11) явствует, что фурье-образ предварительно обработанного изображения ранен свертке фурье-образов функции окна и фактически записанного изображения. Вклад функции 3 в любую такую свертку равен нулю, поскольку выражение (15.26) имеет конечную амплитуду, но бесконечную частоту и вклады последовательных полупериодов должны взаимно уничтожаться. Следовательно, правая часть равенства (15.20) своди Тогда, записывая соотношение

получаем, используя соотношения (6.4) и (15.18). что

где коэффициент уменьшения бокового лепестка:

Заметим, что , а этим совместно с равенством (15.19) подтверждается, что функции (15.18) и (15.28) являются согласованными.

Ширина основного лепестка функции [формула (15.28)] изменяется в зависимости от а и Однако отношение этой ширины к ширине функции в выражении (15.28) остается близким к единице при всех значениях и которые используются на практике. В связи с этим потеря разрешения равна отношению Поскольку наибольший боковой лепесток функции составляет - 0,21 ее основного лепестка и отвечает значению аргумента, равному - наибольший боковой лепесток функции составляет . Ввиду того что фактически записанное изображение усекается, практическая функция окна является не функцией , а функцией Тогда из выражения (15.12) следует, что если наибольший боковой лепесток практической функции окна не превышает оценки, полученной ранее, то

Этим условием устанавливается компромисс между потерей разрешения и уровнем боковог о лепестка; дело в том, что уровень бокового лепестка определяется отношением но этот уровень может быть реально достигнут только при условии, что отношение будет

достаточно малым, чтобы удовлетворялось неравенство (15.30).

Аподизаиия уменьшает эффект усечения изображения но приводит к потере информации, делая невозможным восстановление изображения в пределах границы кадра Предположим, что изображение можно успешно восстановить на кадре размер которого, конечно, меньше размера кадра Граница — это область с эффективной шириной находящаяся между внешними границами кадров . Для того чтобы и дальше использовать это понятие, будем подразумевать, что имеем дело с границей между областями и Теперь сумма расстояния, на котором происходит резкий «спад» функции окна, например величины в формуле (15.16), и половины эффективной ширины инверсной Последнюю следует рассматривать как оператор, который даст дельта-функцию в результате свертки с модифицированной введенной в формуле (14.10). Функция символизирует операцию деконволюции в том смысле, что функция дается выражением . В практическом отношении очень важно, что величина не просто пропорциональна обратной величине эффективной ширины функции . В частности, при любой заданной форме функции величина возрастает с уменьшением уровня зашумленности и увеличением размера кадра Кроме того, величина оказывается существенно меньшей в случае гауссовского искажения, нежели в случае линейного смаза или расфокусировки. ФРТ, описывающие каждый из их трех видов искажения, представляются (в том же порядке) следующим образом:

где эффективная ширина функции в каждом случае. Таким образом, при сильном искажении отношение размеров кадров и может быть весьма малым.

Влияние, оказываемое усечением изображения можно уменьшать более сложным, чем аподизаиия, методом экстраполяции с области на кадр [Последний был введен перед абзацем, содержащим формулу Очевидно, что нечего и пытаться восстанавливать изображение вне области Единственная цель данного вида предварительной обработки состоит в замене усеченного изображения изображением, которое: а) свободно от скачкообразных

изменений вблизи своей границы; б) имеет правильный размер, соответствующий восстанавливаемой части истинного изображения (т. е. существует на кадре и в) содержит всю записанную информацию. Такой вид предварительной обработки будем называть расширением границ. Эта процедура описывается соотношением

Существуют два способа расширения границ. Простое расширение границ состоит в том, что функцию продолжают с области на внешнюю границу кадра вдоль прямых линий, перпендикулярных этой границе Такая процедура, конечно, выполняется просто, когда области и прямоугольные (что соответствует большей части практических приложении). Обратимся теперь к формуле (15.3) и рассмотрим граница между областями Операция определяется следующим образом:

вдоль любой из упомянутых выше «прямых линий» (так что координатой служит либо либо Значения постоянных находятся из требования, чтобы амплитуда и первая производная функции были равны соответствующим характеристикам функции на внешней границе области а величина была равна нулю на внешней границе области (обычно также используется ограничение на первую производную на границе области

Хотя простое расширение границ приводит к менее удовлетворительным результатам в центральной области восстановленного изображения, чем аподизапия, оно всегда позволяет извлечь больший объем информации, содержащийся в истинном изображении. Такая процедура эффективна также как метод компенсации усечения изображения Однако на нее оказывает отрицательное влияние несогласованность операции деконволюции, отмеченная в § 14.

В методе расширения границ с перекрыванием несогласованность свертки устраняется тем, что предварительно обработанное изображение считается периодическим (см. § 14). Плоскость изображения следует рассматривать как состоящую из смежных кадров равных кадру [формула (15.2)]. Будем называть эти кадры основными ячейками. Внутренняя ячейка, представляющая собой кадр, конгруэнтный области центрирована с каждой основной ячейкой. Под границей ячейки понимается граница между основной и соответствующей тренней ячейкой. Под предварительно обработанным записанным изображением по-прежнему будем понимать изображение, задаваемое определением (15.3). Таким образом, область следует

рассматривать как бесконечно повторяющуюся в плоскости изображения, так что в каждой основной ячейке будет находиться копия изображения а Каждую копию области назовем исходной ячейкой. Поскольку область больше области изображения на каждой исходной ячейке переходят и в соседние основные ячейки. Эффект перекрывания имеет место только в пределах границ ячеек. Следовательно, изображение совпадает с изображением на каждой внутренней ячейке, но отличается тем, что оно соответствующим образом скорректировано в пределах границы каждой ячейки. Конечно, такая коррекция должна обеспечить периодичность изображения в том смысле, что его функциональное поведение повторяется в окрестностях противоположных точек (которые определяются далее). Выражение (15.35) по-прежнему применимо, но только теперь «прямые линии» лишь пересекают границу каждой ячейки. Для реализации этого метода необходимо знать четыре константы, поскольку значение интенсивности изображения произвольной точке на внешней границе основной ячейки должно быть зеркальным повторением значения интенсивности изображения в противоположной точке, которая определяется следующим образом. Если ось проходит через основную ячейку, то двумя противоположными точками называются точки пересечения оси с внешней границей основной ячейки.

Отметим, что изображением полученным в результате расширения границ с перекрыванием в пределах каждой основной ячейки, аппроксимируется периодически продолженное идеальное искаженное изображение определенное выражением (12.6). Практически успешность процедуры расширения границ сильно зависит от выполнения следующего требования «гладкости». Изображение пределах границы произвольной ячейки должно быть по крайней мере столь же гладким, как и изображение в пределах любой внутренней ячейки. Оценку выполнения этого требования вполне допустимо осуществлять визуально. Данным требованием предотвращается появление в изображении ложных составляющих с высокими пространственными частотами, благодаря чему повышается обшая устойчивость процесса восстановления изображений. Еще одно преимущество процедуры расширения границ с перекрыванием перед процедурой простого расширения состоит в том, что покрывается менее половины области и допускается меньше произвола. Эта процедура требует минимума экстраполяции для заполнения границы каждой ячейки и поэтому оказывается, вообще говоря, более точной.

Вспомним теперь, что говорилось о задаче деконволюции в § 14. Методы простого расширения границ и расширения с перекрыванием можно рассматривать как средства сведения практической задачи

декоиволюции к задачам, соответственно, идеализированной конечной и периодической деконволюции, но с минимизацией вредного влияния искажений, которые неизбежно зашумляют записанные изображения.

Очевидно, что процедуру расширения границ с перекрыванием можно реализовать столь же непосредственно, как и простое расширение границ, но практически она часто дает гораздо лучшие результаты (см. вводные замечения к данной главе). Тем не менее процедура простого расширения границ тоже нередко применяется, в особенности в тех случаях, когда метод с перекрыванием по какой-либо технической причине нельзя использовать. Методы, излагаемые в § 17 и 18, могут выиграть от применения простого метода расширения границ, в чем состоит все различие между разными важными приложениями, которые рассматриваются в § 30.

Потерн разрешения в процессе записи, связанные с недостатками устройства, формирующего изображение (например, с аберрациями, которые препятствуют достижению дифракционного предела), можно рассматривать как вклал в полный шум, поскольку они приводят к ухудшению восстановленного изображения, которого можно было бы избежать. Поэтому целесообразно предусматривать процедуру сверхразрешения на этапе предварительной обработки, поскольку эта процедура позволяет иногда воспользоваться преимуществом дуальности частотной плоскости и плоскости изображения для восстановления части потери разрешения без операции деконволюции (последнюю, конечно, можно выполнить позднее, чтобы попытаться в еще большей степени уменьшить потерю разрешения). Отметим в связи с этим также и очень важный психологический фактор. Люди неохотно терпят какие-либо ограничения. Поэтому так естественно попытаться превзойти дифракционный предел! Поскольку из анализа, приведенного в конце § 3, следует, что любая функция ограничена по полосе пространственных частот, естественно возникает задача установления критерия, который позволил бы продолжить функцию за границы данной полосы частот.

Предположим, что некоторый спектр записывается на интервале длиной прямой линии с центром в начале частотной плоскости. Из теоремы о проекции (9.6) следует, что результат преобразования Фурье наблюдаемою спектра представляет собой проекцию с разрешением по пространственной частоте, равным со. Очевидно, что данная проекция может иметь сверхразрешение, если известно, как расширить спектр за границы интервала длиной Поскольку истинное изображение реконструируется по его проекциям ясно, что можно достичь сверхразрешения данных и в двумерном случае, если это возможно в одномерном случае. Таким образом, достаточно

рассмотреть такие одномерные функции, как функции в соотношениях (13.1)-(13.5). [См. абзац, содержащий формулу (10.3), где показано, почему целым числом в формуле (13.3) по существу фиксируется полоса пространственных частот.] Предположим, что задан зашумленный спектр в диапазоне причем

Рели функция конечной протяженности, то целая функция (см. § 13), а значит, спектр аналитически продолжается на нею частотную плоскость при условии, что функция точно известна в конечном диапазоне значений и. Но именно последнее условие часто приводит к неприятностям. Все вилы «шума», которые неизбежно искажаю 1 результаты измерений, обычно столь сильно ограничивают диапазон «продолжения» пространственных частот, что указанная выше возможность редко оказывается реализуемой практически. Остановимся на этом вопросе подробнее. Если величина введенная и формуле (13.1), является конечной, то задачу, поставленную в предыдущем абзаце, можно сформулировать следующим образом: можно ли вычислить любую величину при зная функцию диапазоне Поскольку из соотношения (13.5) следует, что вычисляя при , мы минимизируем погрешность расчета, если используем данные где целое и По ; подставляя это выражение в формулу (13.5), получаем

где правая часть «задана», поскольку значения при находятся путем просмотра «данных». Если не является малым целым числом (в противном случае иногда оказывается возможным компенсировать зашумленность данных методом наименьших квадратов), то матрица с элементами обычно плохо удовлетворяет требованиям, при которых можно обратить соотношение (15.36). Некоторое улучшение достигается, если разложить функцию на сферические гармоники и воспользоваться их свойством одновременной ортогональности в конечном диапазоне, скажем и бесконечном диапазоне но зашумленность снова, как правило, снижает эффективность такой процедуры.

Основная причина того, почему изложенный выше подход к сверхразрешению редко оказывается успешным (даже если исходное

разрешение сравнительно низкое), состоит в том, что при таком подходе не учитывается условие вещественности и неотрицательности значений изображения (см. § 3). К сожалению, не ясно, как включить эти ограничения в описанную методику аналитического продолжения. Необходимы другие подходы, описанные ниже.

Много говорилось о возможностях (иногда чуть ли не мистических) в отношении сверхразрешения, предоставляемых методом максимальной энтропии, который наиболее удобно рассматривать с использованием ДПФ (см. § 12). Мы рассмотрим только одномерный случай, например соотношение (12.8). Определим энтропию следующим образом: к

Неотрицательная вещественная константа обычно полагается равной нулю или единице. Но, по-видимому, нет особых оснований для такого ограничения, если исходить из термодинамических аналогий. Единственный критерий приемлемости метода обработки изображений — это качество получаемых результатов, а потому можно испробовать и другие значения константы Рассматриваемый метод заключается в продолжении функции обеспечивающем максимум энтропии Вся суть этого метола, возможно, в том, что логарифмы в определении (15.37) исключают получение отрицательных значений для изображения с вещественными значениями. Данный метод частот приводит к впечатляющим результатам, но они очень сильно зависят от некоторых деталей истинного изображения, например спектр может резко измениться, если к изображению добавить небольшой фон. В настоящее время метол максимальной энтропии изучен недостаточно, чтобы о нем можно было судить вполне объективно. Однако это один из немногих методов, при которых в сверхразрешенном изображении автоматически учитывается требование неотрицательности. К методу максимальной энтропии мы вернемся в § 18.

Ьолее совершенный метод сверхразрешения — алгоритм Герхберга, который уже рассматривался ранее в § 11. Этот алгоритм является устойчивым в большом числе случаев, хотя, конечно, уровень зашумленности ограничивает достижимую степень сверхразрешения. Кроме того, данный алгоритм является гибким и удобным для эффективной реализации в двумерном случае. Несколько близких алгоритмов, примеры которых приводятся в § 23 и 24. вытекают из следующею обобщения алгоритма Герхберга.

Пусть верхняя и нижняя границы величины соответствующие границы величины

Предположим, что существует гакая функция , для которой неравенства (15.38) и (15.39) действительно выполняются. Для этого, конечно, нужно лишь, чтобы ограничения были не слишком жесткими. Практика показывает, что при итерационном применении условий (15.38) и (15.39) начальная оценка функции сходится к некоторой функции, скажем удовлетворяющей условиям (15.38) и (15.39). Кроме того, величина уменьшается при сужении указанных ограничений, если это производится постепенно в холе выполнения итераций. На начальных итерациях важно предусмотреть «запас» при выборе нижних границ для изображения и его спектра. Слишком жесткие границы, при которых функция не удовлетворяет условиям (15.38) и (15.39), приводят к ложным результатам.

Изложенное выше освещает одну важную сторону преобразования Фурье. Как мы знаем (формулы (6.12) и (6.13)], существует соотношение дуальности между частотной плоскостью и плоскостью изображения. т. е., зная функцию мы можем найти ее спектр и наоборот. Формулы (15.38) и (15.39) говорят о том, что существует еще и соотношение дуальности для точности, с которой производится восстановление функции и ее спектра По заданным функциям можно рассчитать правильные границы спектра и наоборот. Еще важнее то, что, зная функции в ограниченной области плоскости изображения и соответствующие спектры в ограниченной области частотной плоскости, можно получить согласованную оценку на плоскости изображения. Кроме того, можно экстраполировать найденные границы в двух данных плоскостях, причем промежутки между верхними и нижними границами, конечно, расширяются увеличением степени экстраполяции.

Итак, мы имеем возможность при экстраполяции изображений налагать на изображения не только требование неотрицательности значений изображения (см. § 8), но и его границы. Конкретная априорная информация относительно функции может быть использована непосредственно при расчете функций Алгоритмы сверхразрешения оказываются наиболее эффективными в том случае, когда различия между функциями минимальны. Поэтому желательно, чтобы имеющаяся априорная информация об изображении кал относилась к возможно большей части кадра и лаже выходила за его пределы.

Интересным примером к сказанному могут служить изображения гористых поверхностей планет и их спутников, освещаемых Солнцем под малым углом, полученные с космических кораблей. Такие

изображения почти не зависят от атмосферных эффектов и содержат обширные области глубокой тени. Если сделать вполне допустимое априорное предположение о том. что теневые области черные и имеют резкие границы, то мы получим основу для ограничений в алгоритмах сверхразрешения. Записанное изображение соответствующим образом калибруется и сглаживается, а затем интерполируется для увеличения числа отсчетов (например, в 4 раза и каждом направлении), Производится идентификация теневых областей, после чего применяется алгоритм сверхразрешения. В одномерных реализациях этого подхода нам удавалось в 3 раза повысить разрешение полных изображений.

Заметим, что разность функций можно разбить на две части:

где корректируемая и некорректируемая составляющие шума, определяемые следующим образом: удовлетворяет ограничениям (это означает, что данная составляющая не меняется при выполнении алгоритма), а не удовлетворяет ограничениям (откуда следует, что эта составляющая постепенно уменьшается по амплитуде в ходе итерационного процесса). Термин «шум» мы используем здесь в несколько другом смысле, чем раньше, но это не оказывает какого-либо влияния на ход наших рассуждений. Заметим, что алгоритм сверхразрешения может быть эффективным, только если функции не флуктуируют в протнвофазе друт с другом и если величина в общем превышает величину На практике эти условия часто выполняются.

Любая априорная информация, которая может быть включена в алгоритм экстраполяции, полезна. Хорошим примером применения нашей процедуры может служить случай подчеркивания деталей в изображении красного гиганта Бетелы ейпе, имевшем очень плохое разрешение. Само собой разумеющееся предположение о том, что звезда круглая, — очень ценная априорная информация. Она позволяет ввести круговой кадр, диаметр которого несколько больше диаметра звезды и за пределами которою функция равна нулю. Это хороший пример простого, но сильного ограничения, при котором алгоритмы сверхразрешения оказываются очень эффективными.