§ 3. Машинная и персептронная реализация процедуры метода потенциальных функций

Реализация процедуры связана с построением и запоминанием на каждом шаге функции заданной на всем пространстве Но запомнить функцию на машине — значит запомнить конечное число параметров и указать алгоритм, использующий их для подсчета значения функции при любых значениях аргумента. Применительно к процедуре оказывается возможным указать два различных способа введения таких параметров. Условимся называть первый из этих способов машинной, а второй — персептронной реализацией процедуры.

1. Машинная реализация. Возвращаясь к формуле (1), принимая и считая для простоты последовательно выразим через через

Получаем следующую общую формулу:

Напомним, что в каждой конкретной задаче известные функции номера значения в точке и зависят, кроме того, от той информации о которая сообщается одновременно с показом

Таким образом, возможна следующая реализация основной процедуры: к каждому шагу в памяти машины хранится чисел точек При показе точки машина подсчитывает каждый раз значение по формуле (16), а затем вычисляется число Это число и точка заносятся в память машины и используются на следующем шаге. Тем самым при такой реализации основной процедуры «запоминание» функции осуществляется путем запоминания все возрастающего с ростом количества чисел и точек.

2. Персептронная реализация. В тех случаях, когда можно ограничиться поиском аппроксимирующей функции в виде конечной суммы

возможна иная, персептронная реализация процедуры Запоминание функции сводится при этом к запоминанию на каждом шаге чисел

В случае (17) потенциальная функция также аадается конечной суммой

Используя процедуру метода потенциальных функций в форме имеем следующие рекуррентные

соотношения для определения коэффициентов в сумме

Вычислительная процедура (19) реализуется следующим образом. К шагу в памяти машины хранятся чисел: с". При появлении точки вычисляются сначала затем потом и, наконец, по формуле новых чисел которые и запоминаются взамен Числа могут быть теперь забыты.

При такой реализации основной процедуры не требуется запоминания показываемых точек, и, таким образом, с ростом числа показов не увеличивается объем потребной памяти машины.

Мы говорили до сих пор о вычислениях на цифровой машине.

Рис. 6.

Обратим теперь внимание на то, что основная процедура в форме (19) может быть реализована простой схемой (рис. 6), которая содержит функциональных преобразователей множительные элементы осуществляющие мгновенное перемножение подводимых сигналов сумматор по множеству 2. который мгновенно выдает на выходе сумму

сигналов, подведенных ко входу, накапливающие сумматоры 2. имеющие всего один вход и выдающие на выходе сумму сигналов, подводимых к этому входу с момента начала работы схемы, и простые вычислительные устройства, служащие для подсчета

Рассмотрим теперь частный случай, когда пространство X — множество вершин -мерного куба, а система функций

есть система функций вида

Здесь -набор координат вершин -мерного куба, заданная константа, константы имеют значение 0, либо 1, либо —1, а функция определяется следующим образом:

В этом случае схема рис. 6 в точности совпадает с известной схемой персептрона Розенблатта, представленной на рис. 7.

В персептроне выход каждой ячейки фотоматрицы, на которую проектируются изображения, подводится ко всем функциональным преобразователям, где вычисляется функция от их суммы с весами, равными либо —1, либо же 0. Эти веса выбираются случайно, но коль скоро они любым образом выбраны, устанавливается конкретная матрица весовых коэффициентов Таким образом, в функциональных преобразователях

реализуются пороговые функции вида (20), которые отличаются друг от друга лишь коэффициентами и, быть может, порогами Функциональный преобразователь, вычисляющий значение функций в соответствии с формулой (20), обычно называют ассоциативным элементом (Л-элементом).

На общей схеме (рис. 6) числа могут формироваться различным образом.

Рис. 7.

В персептроне Розенблатта (см. рис. 7) был реализован конкретный способ формирования чисел соответствующий той конкретной задаче распознавания образов, для которой персептрон создавался (подробнее см. гл. V). В остальном схема рис. 6 и схема персептрона (рис. 7) совпадают.

Обобщая принятую терминологию, естественно называть персептронной любую схему, соответствующую рис. 6 и реализующую процедуру (19) при любом способе формирования чисел

Вернемся к частному случаю, о котором выше шла речь — к персептрону Розенблатта (см. рис. 7), и выясним теперь вид потенциальной функции которая реализуется в персептроне Розенблатта, т. е. в случае, когда в качестве функциональных преобразователей используются пороговые элементы.

В связи с тем, что числа в персептроне выбираются случайно, возможно рассмотрение как конкретной реализации персептрона, если эти числа уже выбраны,

так и рассмотрение статистических свойств ансамбля персептронов. Начнем с конкретной реализации персептрона.

Рассмотрим потенциальную функцию

В -мерном евклидовом пространстве выделим вершины -мерного куба, образующие пространство Каждый -элемент определяет плоскость

а совокупность этих плоскостей делит на многогранники. Вершины куба X разделяются на множества в зависимости от того, в каком многограннике они расположены.

Рассмотрим (21) при фиксированном Значение функции у не меняется, если х отождествляется с вершинами куба, расположенными в одном и том же многограннике. В этом смысле кусочнопостоянная функция, заданная на многогранниках. Рассмотрим далее значение Это число, очевидно, равно числу возбужденных -элементов при Проведем в произвольную прямую, проходящую через точку и будем перемещать точку х вдоль этой прямой от точки у. При этом значение не изменяется и равно до тех пор, пока точка, перемещающаяся вдоль прямой, впервые не пересечет границу того многогранника, где расположена точка При каждом пересечении построенных плоскостей (т. е. границ многогранников) значение у может только убывать. Действительно, при пересечении прямой из плоскостей (22) возможны два случая: -элемент в точке у не возбужден) или -элемент в точке у возбужден). При пересечении прямой с плоскостью слагаемые в (21) при не меняются, а может изменяться лишь слагаемое Но в случае этот член равен нулю, и значение потенциала не меняется. Если же

то при пересечении этой плоскости меняет значение с 1 на 0, так что член который был равен единице, становится равным нулю, и потенциал уменьшается на единицу.

Из изложенного следует, что при любой конкретной реализации персептрона потенциал представляет собой функцию, не возрастающую в любом направлении от «источника» потенциала и достигающую максимума при На рис. 8 показан вид для случая

Рис. 8.

Что же касается рассмотрения статистического ансамбля персептронов, то для него функции есть случайные функции, а значит, и потенциал — также случайная функция. Легко показать, что для любой пары фиксированных точек х и у среднее по ансамблю персептронов значение потенциала может быть выражено формулой:

где вероятность того, что случайно выбранный А-элемент возбужден в точке вероятность того, что он возбужден в точке х и не возбужден в точке у. Поскольку, вообще говоря, вероятность разделить «случайной» плоскостью две точки х и у растет с увеличением расстояния между ними, средний потенциал является функцией, убывающей с возрастанием расстояния от источника.

В заключение этого параграфа заметим, что при машинной реализации основной процедуры требуется задаться потенциальной функцией и нет необходимости знать систему функций наоборот, при

персептронной реализации надо явно задаваться системой функций и нет необходимости вычислять потенциальные функции. Поэтому решающее значение приобретает вопрос о том, как следует выбирать функции Этому вопросу посвящена глава III.