13.9. Поиск сопряженных точек

Теперь мы подошли к ключевой проблеме стереозрения; как на двух изображениях можно расположить сопряженные точки? Проблема установления соответствия состоит в идентификации характерных фрагментов на двух изображениях, являющихся проекциями одного и того же фрагмента трехмерного мира. Если это сделано, то можно вычислить расстояние до этого фрагмента. При некоторых положениях камеры точка поверхности объекта может оказаться за пределами изображения; однако если она видна на обоих изображениях, то обе эти точки должны лежать на соответствующих эпиполярных линиях.

Как можно отождествить точки? В одном из подходов предлагают анализировать изображения порознь, выделяя на них характерные особенности. Ими могут быть либо объекты, подлежащие идентификации, либо особые области полутонового изображения, которые мы можем с уверенностью узнать. Удобной для этой цели особенностью являются края. Можно выделить также «углы», где график функции яркости обладает ненулевой гауссовой кривизной.

Методы, основанные на выделении краев, мы изучим позже, а

сейчас рассмотрим другой подход. Можно ожидать, что яркостная картина не меняется или меняется мало в небольшой окрестности каждой точки. В принципе возможен случай, когда в двух точках уровни яркости совпадают. Однако обычно таких точек несколько на соответствующих эпиполярных линиях. Как мы можем различить их?

13.9.1. Отождествление по уровню яркости

Рассмотрим фрагмент гладкой поверхности, который не слишком сильно наклонен по отношению к прямым, соединяющим его с каждой камерой. Соседние точки поверхности переходят в соседние точки на обоих изображениях. Поэтому мы можем надеяться, что изменения яркости в соседних точках на одном изображении имеют тот же характер, что и изменения яркости в соседних точках на другом изображении. Теперь эту задачу мы можем представить как задачу отождествления полутоновых «горбов» на соответствующих эпиполярных линиях. Эти «горбы» не просто сдвинуты относительно друг друга, но и сжаты или расширены в результате масштабных изменений фрагмента поверхности при переходе от одного положения камеры к другому.

Рассмотрим простую геометрическую конфигурацию, с которой мы начинали (рис. 13.1), в которой Будем искать такую функцию что или

Здесь удобно сделать замену переменных, с тем чтобы в дальнейшем работать не в пространственных координатах , а в координатах изображения . Положим Будем искать такую функцию диспаратности что

Мы хотим также, чтобы , следовательно, изменялись гладко. Поэтому мы минимизируем некоторую меру отклонения от гладкости, например

(В качестве меры гладкости мы выбираем здесь квадрат лапласиана, поскольку метод, основанный на сумме квадратов первых производных, имеет тенденцию к чрезмерному приближению поверхности к плоскости.) Измерения яркости изображения неточны, поэтому мы не можем требовать точного выполнения условия Вместо этого минимизируем интеграл

В итоге мы должны минимизировать где — весовой

коэффициент, который имеет большую величину при точных измерениях яркости и малую — в противном случае. Здесь уравнение Эйлера имеет вид где поэтому

Здесь измерены в точке на левом изображении, а — в точке на правом изображении. Оператор

называется ангармоническим оператором.

В дискретном случае вместо мы используем где х — результат свертки с вычислительным (дискретизированным) ядром, полученным из непрерывного ядра, которое соответствует бигармоническому оператору. Это приводит к итеративной схеме вида

в которой частные производные от и оцениваются их первыми разностями. Если левое изображение ярче правого, то диспаратность увеличится или уменьшится в зависимости от знака градиента яркости. Очевидно, это будет приводить к уменьшению перепада яркости.

Заметим также, что имеется тенденция к уравниванию диспаратности в соседних точках. Таким образом, эта схема обладает некоторыми полезными свойствами. Одйако трудности возникают, когда изменения яркости в сопряженных точках на двух изображениях имеют разный характер. Когда объекты частично перекрывают друг друга, трудности связаны с быстрым изменением диспаратности. Более серьезной трудностью является необходимость в хороших начальных условиях. Без этого сходимость маловероятна. Проблема заключается в том, что под воздействием градиента яркости отдельным значениям диспаратности можно приписать неправильное направление. Возможно и просто ложное отождествление. Эта проблема возникает, когда правильное отождествление удалено от правильной оценки намного больше, чем на одну ячейку изображения. Если яркость поверхности сильно флуктуирует, при оценке градиента яркости могут возникать большие ошибки.

Сглаживание или размывание изображений помогает уменьшить эти эффекты, поскольку при этом пропадают высокие пространственные частоты. На первом этапе выполняют грубое отождествление для сглаженных изображений, а затем для получения более точного решения результат используют в качестве начального приближения. Для получения хороших начальных приближений на сглаженном изображении

мы можем сгладить его еще сильнее. От сглаженных изображений мы не должны ждать идеального совпадения. Таким образом, мы формируем последовательность изображений, каждое из которых является сглаженной и сокращенной версией предыдущего. Для сокращенной версии результат отождествления является начальным значением итеративного процесса для менее сглаженного изображения.

Аналогичный процесс последовательной корректировки массивов диспаратности используется в некоторых автоматических стереосистемах. Этот метод хорошо работает при наличии разумных начальных значений и не работает при быстрых изменениях диспаратности, когда на изображениях отсутствуют детали некоторого размера или когда не совпадают уровни яркости сопряженных точек.

Изображения сопряженных точек, вообще говоря, не должны иметь точно совпадающие уровни яркости, так как они наблюдаются из различных направлений. В качестве крайнего примера приведем зеркальную поверхность. Такую поверхность можно повернуть так, чтобы отразить лучи, идущие от источника света в направлении одного глаза наблюдателя, при этом лучи могут не попадать во второй глаз. В более общем случае будет наблюдаться небольшая, но все же заметная разница в уровнях яркости, зарегистрированных на двух изображениях.