6.4.2. Адаптация структуры перцептрона

Адаптация структуры решающего правила исследовалась в классе перцептронных решающих правил, определяемых выражением (6.4.3), в котором — вес z-го А-элемента, а — пороговая функция, реализуемая - элементом перцептрона:

где — выходной сигнал элемента сетчатки — порог А-элемента; — коэффициент связи между элементом сетчатки и - элементом в зависимости от наличия и знака связи,

Матрица составленная из коэффициентов связи с учетом ограничения

где I — число входов каждого элемента, полностью определяет структуру решающего правила. В обычном перцептроне эта матрица определялась однократно и случайно, причем процедура обучения (6.4.5) сводилась к формированию вектора V весов - элементов таким образом, чтобы на заданной обучающей последовательности удовлетворялись соотношения

Для обучения использовалась -система подкрепления с коррекцией ошибок [199]. В случае, если величина подкрепления принимается равной этот алгоритм может быть записан в следующем виде:

где — номер предъявляемого объекта (или такт обучения), а — выход перцептрона, определяемый соотношением (6.4.3) для Х.

Реализуемое перцептроном решающее правило, таким образом, может быть представлено в виде где матрица определяет структуру, а вектор V — параметры.

В работе [199] показано, что для случая непересекающихся классов объектов элементарный перцептрон с исходной матрицей и бесконечным числом элементов всегда позволяет построить точную разделяющую поверхность. Однако при ограниченном числе А-элементов (что всегда бывает в реальных системах) построенное из условия (6.4.5) решающее правило может значительно отличаться от оптимального, т. е. соотношение (6.4.10) может не выполняться для непересекающихся классов. Это, например, будет иметь место тогда, когда непересекающиеся в исходном -мерном пространстве рецепторов перцептрона классы оказываются пересекающимися в -мерном пространстве - элементов (т. е. когда объектам разных классов соответствует одинаковый бинарный код, образованный выходами элементов).

В таких случаях в процессе обучения необходима адаптация структуры связей между сетчаткой и элементами к конкретной задаче, т. е. к заданной обучающей последовательности объектов. Для этого в перцептрон должен быть дополнительно введен процесс адаптации — поиск оптимальной матрицы минимизирующей эмпирический риск (6.4.6), причем ввиду многомерности структуры связей элементов с сетчаткой для ее оптимизации наиболее целесообразно использовать методы случайного поиска (см. главу 3). Здесь можно применить следующие алгоритмы случайного поиска.

1. Алгоритм случайного поиска структуры связей всех А-элементов с сетчаткой. Этот алгоритм представляет собой случайный перебор матриц

где — матрица на шаге случайного поиска; Е — случайная матрица элементы которой случайны и равны с учетом ограничения (6.4.9).

Целенаправленность перебора (6.4.11) достигается благодаря специальной организации памяти в процессе поиска. Рекуррентные выражения для содержимого памяти имеют вид

где — значение минимизируемого показателя качества — числа неправильных реакций перцептрона на обучающую последовательность для матрицы связей - наименьшее хранимое в памяти значение показателя качества за шагов поиска; — оптимальная матрица за шагов поиска, обеспечивающая наименьшее значение критерия:

2. Алгоритм случайного поиска оптимальной матрицы с отбором -элементов. Здесь показатель качества вычисляется отдельно для каждого элемента и поиск строится на тех элементах, которые дают значения показателя качества, большие заданного порога

Представив матрицу в виде где — вектор-столбец этой матрицы, соответствующий соединениям входов

-го А-элемента с сетчаткой этот алгоритм можно записать как

Здесь — значение минимизируемого показателя качества — числа неправильных реакций А-элемента перцептрона на объекты обучающей последовательности на шаге случайного поиска; — некоторый заданный порог, общий для всех А-элементов; Е — случайная матрица с вектор-столбцами т. е. где

Здесь — случайный вектор, координаты которого равновероятно принимают значения из с учетом ограничения (6.4.9).