1.4. Обзор дальнейшего

Получение описаний по изображениям для удобства часто можно разбить на два этапа. На первом этапе формируется набросок: детальное, но неупорядоченное описание. На последующих этапах формируются более экономные, структурированные описания, приспособленные для принятия решений. Обработка на первом этапе в дальнейшем будет называться анализом изображения, в то время как последующая обработка — анализом сцены. Это разделение достаточно произвольно: единственным доводом в его пользу служит тот факт, что анализ изображения начинается с самого изображения, в то время как анализ сцены — с наброска. Первые тринадцать глав книги посвящены анализу изображений (который также будем называть предварительной обработкой изображений), в то время как остальные пять глав — анализу сцен.

Для разработки методов машинного зрения необходимо некоторое

понимание того, как формируются данные, подвергаемые обработке. Поэтому в гл. 2 мы начинаем с обсуждения вопросов формирования и ввода изображения. В ней также рассматривается шум измерений и вводится понятие свертки.

Простейшими для анализа являются изображения, позволяющие легко отделить «объект» от «фона». Именно такие бинарные изображения будут изучены в первую очередь (рис. 1.5). Некоторые производственные задачи можно решить методами, в которых используются подобные изображения, но при этом часто требуется четко контролировать освещение. Существует довольно полная теория того, что можно и чего нельзя достичь с помощью бинарных изображений. Этого нельзя сказать в отношении более общего случая полутоновых изображений. Известно, например, что методы обработки бинарных изображений применимы, если только возможные изменения положения объекта ограничены поворотами в плоскости, параллельной плоскости изображения. Обработке бинарных изображений посвящены гл. 3 и 4.

Значительная часть методов анализа изображений предназначена для обработки не столько всего изображения, сколько областей, относящихся к отдельным объектам. Поскольку на изображение, как правило, попадает большое число поверхностей окружающих предметов, то прежде, чем использовать упомянутые методы, изображение необходимо разбить на области, соответствующие различным объектам. Сегментаиия изображения обсуждается в гл. 5.

В гл. 6 и 7 мы рассматриваем преобразование одних полутоновых изображений в другие с помощью линейных операторов. Обычно смысл подобных манипуляиий состоит в том, чтобы уменьшить влияние помех, сузить динамический диапазон изображения или подчеркнуть некоторый его аспект. Зато на последующих этапах работы зрительной системы изображение становится более доступным для анализа. Подобные методы фильтраиии часто применяются в системах выделения краев объектов в качестве шагов предварительной обработки.

Рис. 1.5. Бинарные изображения содержат лишь два уровня яркости (черный и белый).

Хотя сфера их применения ограничена, они представляют интерес ввиду простоты обработки.

Рис. 1.6. (см. скан) Чтобы уметь по изображениям восстанавливать информацию о мире, необходимо понимать процесс формирования изображения.

В некоторых случаях для опенки свойств, присущих изображаемым поверхностям, можно попробовать обратить этот процесс.

Выделение краев, представляющее собой как бы дополнение к сегментации изображения, обсуждается в гл. 8. Представляющие интерес особенности сцены (граница. по которой один объект загораживает другой) часто приводят к разрывам в функции яркости или в ее градиенте. Методы выделения краев позволяют локализовать подобные участки изображения. Именно с этого места мы начинаем подчеркивать ту идею, что одной из важных сторон машинного зрения является оценка свойств изображаемых поверхностей. В гл. 9 мы обращаемся к задаче оценки отражательных и цветовых характеристик поверхности, которая оказывается удивительно трудной.

Наконец, мы вплотную подходим к центральной проблеме машинного зрения: получение описания сцены на основе одного или нескольких изображений. Одна из точек зрения, которой придерживаются некоторые исследователи, состоит в том, что назначение системы машинного зрения заключается в обращении операции проектирования, на основе которой формируется изображение. Это не совсем верно, поскольку

нам нужно получить символическое описание сцены, а не восстановить картину реального мира. Все же сделанное замечание заставляет нас серьезно отнестись к изучению процесса формирования изображения (рис. 1.6). Главной темой становится вопрос о том, как свет отражается от поверхности. Видимая яркость поверхности зависит от грех факторов: микроструктуры поверхности, распределения падающего света, ориентации поверхности по отношению к наблюдателю и источникам света.

На рис. 1.7 приведены изображения двух сферических поверхностей, одна из которых покрыта краской, обладающей матовой или рассеивающей отражательной способностью, а другая — металлическая, обеспечивающая зеркальное отражение. Во втором случае мы видим реальную картину окружающего сферу мира. Ясно, что микроструктура поверхности сильно влияет на распределение яркости изображения.

На рис. 1.8 представлено три вида площади Вилла-Мария в Монреале. Все три вида получены то одного и того же окна гостиницы, но при разных уровнях освещенности. И в этом случае мы легко распознаем, что на них изображены одни и те же объекты, но в то же время видим огромную разницу в яркости изображений в зависимости от освещения прямым солнечным светом или в условиях облачности.

В гл. 10 и 11 мы обсудим подобные вопросы и приложим накопленный запас знаний для восстановления формы поверхности по одному

Рис. 1.7. Наблюдаемое изображение объекта очень сильно зависит от отражательных свойств его поверхности. Абсолютно матовая и абсолютно зеркальная поверхности представляют собой два крайних случая.

(кликните для просмотра скана)

или нескольким изображениям. В этих же главах приводятся различные способы представления формы поверхности. При разработке методов восстановления формы поверхности мы часто рассматриваем поверхность в виде совокупности небольших участков, каждый из которых можно считать плоским. Если плоский участок освещается светом точечного источника, то отражение от него определяется тремя углами (рис. 1.9).

Тот же систематический подход, основанный на анализе яркости изображения, проводится в гл. 12 и 13 для восстановления информации по изображениям, изменяющимся во времени и полученным с помощью камер, расположенных в различных точках пространства. На основе методов, развитых в этих двух главах, можно восстановить форму поверхности, движение объекта и другую информацию. Соотношения между различными системами координат, связанных с наблюдателем или с объектом, выводятся по мере обсуждения фотограмметрии в гл. 13, которое ведется параллельно с анализом проблемы бинокулярного стереозрения. Для управления механическим манипулятором с помощью системы машинного зрения измерения, получаемые в системе координат камеры, должны быть преобразованы в систему

Рис. 1.9. Характеристики отражения света точечного источника участком поверхности объекта. — углы падения, излучения и фазы сосмветственио: — нормаль; — направления на источник света и на наблюдателя соответственно.

координат руки робота. Этот вопрос также естественно вписывается в тему упомянутой главы.

Начиная с этого момента мы переходим от анализа изображений к анализу сцен. В гл. 14 вводятся методы классификации объектов, основанные на измерении их характеристик. Для определения взаимного пространственного положения объектов в гл. 15 изучаются контурные рисунки, полученные по изображениям многогранников.

Очень важен вопрос о том, как представлять полученную зрительную информацию. В гл. 16 мы подробно разберем расширенный сферический образ — метод представления формы поверхности, который полезен при распознавании и позволяет нам определить положение объекта в пространстве. Для восстановления движения камеры можно использовать последовательность изображений. При этом одновременно восстанавливаются и формы изображаемых поверхностей. Это составляет содержание гл. 17. Читатель может удивиться, почему эта глава не следует сразу после главы, посвященной оптическому потоку. Причина в том, что она не относится к анализу изображений и потому логически принадлежит части книги, посвященной анализу сцен. В заключительной гл. 18 многие из развитых в книге понятий объединяются для разработки интегральной системы глаз — рука. Задача манипулятора заключается в последовательном изъятии объектов из навала. Зрительная система дает информацию об ориентации объектов и их взаимном пространственном расположении. В этой главе мы встретимся с рядом новых вопросов, таких, как представление вращений в трехмерном пространстве, и обсудим некоторые проблемы, возникающие при создании системы реального времени.

На протяжении всей книги мы начинаем с рассмотрения элементарных понятий и прочно зарекомендовавших себя методов, потом переходим к более сложным вопросам и вплотную приближаемся к менее ясным темам, составляющим предмет текущих исследований. В прошлом машинное зрение могло показаться набором подобранных эвристик и специальных приемов. Чтобы сцементировать материал книги, мы будем придерживаться следующей точки зрения: машинное зрение должно быть основано на доскональном понимании процесса формирования изображения. Такой упор направит нас на разработку математических моделей процесса анализа изображения, а алгоритмы описания изображенной сцены уже могут основываться на этих математических моделях.

Подход, базирующийся на анализе процесса формирования изображения, конечно, не является единственно возможным в машинном зрении. Вместо этого можно начать с изучения существующих биологических систем. Тогда искусственные системы должны основываться на детальном знании соответствующих естественных систем. Иногда мы будем обсуждать альтернативные подходы к изучаемым проблемам

Рис. 1.10. (см. скан) Разбиение на два этапа символического описания сцены по одному или нескольким изображениям. На первом этапе руководствуются в основном пониманием процесса формирования изображения, на втором — требованиями соответствующей прикладной области.

машинного зрения, однако, чтобы избежать путаницы, слишком увлекаться этим не будем.

Переход от изображения к наброску, как оказывается, зависит в основном от того, что представлено на изображении и какую информацию из него можно извлечь непосредственно (рис. 1.10). С другой стороны, переход от грубого наброска к полному символическому описанию вызывается в основном необходимостью представить информацию в виде, удобном для использования в соответствующей прикладной области.