20.2. МОДЕЛИ СИСТЕМ ПОНИМАНИЯ ИЗОБРАЖЕНИЙ

Для систем понимания изображений предложено множество разнообразных моделей. Исследование этих моделей показывает, что в их состав входит одинаковый набор блоков: блоки выделения признаков, символического представления и семантической интерпретации. В основном модели отличаются организацией этих блоков, характером управления ими, а также уровнем искусственного интеллекта и используемыми знаниями.

На рис. 20.2.1 представлена блок-схема иерархической модели системы понимания изображений, в которой используется «восходящая» процедура обработки. На первом этапе из наблюдаемого изображения выделяются простейшие признаки, такие, как яркость элементов изображения, координаты контурных точек, параметры текстуры и т. д. Для уменьшения шума и влияния взаимных помех или для усиления признаков, которые в дальнейшем требуется выделить, в этот этап можно также включить поэлементную и пространственную обработку. Затем этот набор признаков поступает в блок символического представления, который формирует символы из признаков. Например, контурные точки группируются в отрезки линий или замкнутые кривые. Элементы с одинаковой яркостью или текстурой объединяются в области, однородные по этим свойствам. Множество символов затем обрабатывается блоком семантической интерпретации, в результате чего получается некоторое желаемое описание сцены. Ясно, что характер описания сцены зависит от конкретной задачи. В некоторых случаях желательно, чтобы описание было просто указанием на наличие или отсутствие в сцене отыскиваемого объекта или же, возможно, на движение этого объекта вверх, вниз, направо или налево. В другом предельном случае для целей интерпретацией фотографий это описание могло бы представлять собой подробное сообщение о содержании сцены. В блоке семантической интерпретации выявляются и размечаются структуры, представленные символами на входе блока. Для этого используются априорные знания о сцене или о классе рассматриваемых сцен. Эти значения вводятся в зрительные модели изображений, которые следует обработать. Знания о сцене могут варьироваться от очень простого и сразу приходящего в голову описания объектов, согласно которому, например, отыскиваемый объект должен быть ярче фона, до весьма сложных описаний сцены, которые включают сетевую структуру отношений, отображающих ограничения на взаимные связи между частями сцены. Блок семантической интерпретации должен исследовать все символы из множества символов изображения для определения их взаимных пространственных отношений и затем сопоставить выявленные отношения со зрительной моделью. Например, большие голубые области, обнаруженные в верхней части сцены, которые примыкают к большим зеленоватым областям, расположенным внизу сцены, должны быть интерпретированы соответственно как небо и трава. По завершении интерпретации различные части этой сцены размечаются, в результате чего образуется описание изображения.

20.2.1. Блок-схема иерархической модели системы понимания изображений при восходящей обработке.

Термин «восходящий», примененный к модели понимания изображений (рис. 20.2.1), показывает направление прохождения данных и сигналов управления. На каждом этапе независимо решается своя задача обработки или управления, и результат передается на следующий этап. Успех этого подхода обусловливается сокращением «размерности» задачи от этапа к этапу. Набор признаков должен быть меньше числа элементов входного изображения, а набор символов — меньше набора признаков. Это последовательное сокращение числа обрабатываемых параметров обязательно, так как относительная сложность обработки обычно возрастает на каждом последующем этапе. Иерархические системы, работающие по восходящему принципу, можно успешно развить для применения в ограниченных областях, в которых задача получения описания относительно проста и допустимый диапазон изменения входных изображений узок. Как только нарушается любое из этих двух условий, сразу же возникают трудности.

Другой большой класс систем понимания изображений основан на «нисходящей» иерархической модели, блок-схема которой изображена на рис. 20.2.2. В этой модели структурный анализ, выполняемый на этапе интерпретации, проводится под управлением обучающих или тестовых описаний сцены. Согласованный фильтр, описанный в гл. 19, является наиболее распространенным примером системы нисходящей обработки. При согласованной фильтрации (сопоставления с эталоном) выполняется поиск в сцене конкретного объекта или конкретной структуры. Результатом поиска является указание на наличие или отсутствие этого объекта или некоторая вероятность его присутствия. Описания сцены получаются путем последовательного поиска объектов в сцене, основанного на ранее достигнутых успехах или неудачах, и последующей интерпретации отношений между обнаруженными объектами. В примере согласованной фильтрации интерпретация обычно выполняется на уровне элементов изображения путем взаимной корреляции эталона объекта с наблюдаемым изображением. Интерпретация может выполняться на более высоком уровне путем корреляции признаков или символов, а не элементов изображения. Интерпретация на более высоком уровне потенциально имеет преимущества вследствие меньшей «размерности» задачи.

Рис. 20.2.2. Блок-схема иерархической модели системы понимания изображений при нисходящей обработке.

Иерархические системы понимания изображений, как правило, не обладают адаптивностью. Они обычно рассчитаны на решение специальных задач по анализу изображений ограниченного типа. Приспособление к другим задачам и другим типам изображений часто требует больших переделок систем. Другой недостаток иерархического подхода состоит в необходимости осуществления большого числа разнообразных обработок. Кроме того, многие из них выполняются напрасно, так как генерируются признаки и символы, которые не требуются для анализа данной сцены. Чтобы обойти эти трудности, в систему вводят центральное управляющее устройство, которое следит за работой всех элементов системы и выдает команды различным блокам вид изменить свою работу с тем, чтобы оптимизировать работу все; системы и повысить ее эффективность. Минский и Пейперт [5 стр. 10] предложили другой гетерархический принцип организации систем понимания изображений, при котором эта система является целенаправленной, обладает зрительными знаниями и осуществляет распределенное управление. На рис. 20.2.3 приведена блок-схема такой системы, в которой с помощью распределенных обратных связей достигается гетерархическая организация работы. Если в данной модели на этапе семантической интерпретации возникают трудности при работе с набором входных символов, то по цепи обратной связи может быть передан сигнал в блок символического представления, чтобы видоизменить набор символов. Это воздействие в свою очередь может вызвать передачу команды по цепи обратной связи из блока символического управления в блок выделения признаков, которая требует изменения набора признаков. При необходимости возможна также непосредственная передача сигналов обратной связи из блока семантической интерпретации в блок выделения признаков. Кроме гибкости такая организация модели обеспечивает значительные дополнительные выгоды, позволяя использовать набор признаков и набор символов минимального размера, так как эти наборы могут быть перестроены по команде.

Рис. 20.2.3. Блок-схема гетерархической модели системы понимания изображений.

Редди и Ньюэлл [6] предложили другую модель системы понимания изображений, которая была названа моделью школьной доски. В этой модели, представленной в упрощенном виде на рис. 20.2.4, различные элементы системы сообщаются с общей памятью, т. е. школьной доской. Когда какой-нибудь элемент выполняет задачу, получающиеся результаты поступают в память, которая независимо доступна для всех других элементов.

Отдельные элементы могут либо управляться центральным устройством, либо обладать достаточным уровнем «интеллекта» и самостоятельно давать результаты, необходимые для выполнения общей задачи.

Наконец, следует отметить теорию «кадров» (frames), предложенную Минским [5, стр. 211, 7]. Минский выдвинул предположение, что, когда человек воспринимает обозреваемую им сцену, она соотносится с некоторым эталоном, который имеется в памяти человека.

Рис. 20.2.4. Модель типа «школьная доска».

Эти кадры являются в сущности моментальными снимками ранее виденных сцен. Человек легко может представить себе знакомые лица, места, события, например комнату, где он живет. В системе понимания изображений кадр — это некоторая структура, состоящая из сети узлов и отношений. Более высокие уровни этой сети фиксированы, так как служат «адресом», по которому кадр извлекается из памяти. Более низкие уровни сети содержат «пустоты», которые заполняются во время обзора сцены при условии, что справедливы определенные предположения. В примере с жилой комнатой можно ожидать, что диван будет расположен вдоль правой стены. Если это так, то воспринимаемые детали дивана помещаются в «пустоты» кадра. Если же диван оказался передвинутым к левой стороне комнаты, т. е. встретилась неожиданная ситуация, то имеющая отношение к положению дивана часть кадра, названная подкадром, должна быть изменена. Теория Минского в настоящее время не достигла уровня, необходимого для построения модели, однако она является, по-видимому, хорошей основой для будущего развития таких моделей.

Обсуждение представленных в этом разделе моделей явно поверхностно. Существующие в настоящее время модели имеют до некоторой степени более совершенную структуру, чем могло показаться из приведенного изложения, но большинство моделей систем понимания изображений остается не законченными. В следующих разделах описаны конкретные подходы к разработке систем понимания изображений.