2.4.2. Нейронные сети Хэмминга

В случае, если необходимо определить номер эталона, ближайший к предъявленному входному вектору, может быть использована сеть Хэмминга. Преимуществами этой сети по сравнению с сетью Хопфилда являются меньшие затраты на память и объем вычислений.

Нейронная сеть Хэмминга (рис. 2.9) состоит из входного, скрытого и выходного слоев нейронов. Скрытый и выходной слои содержат по К нейронов, где К - число эталонов. Нейроны

Рис. 2.9. Структура нейронной сети Хэмминга

скрытого слоя синапсами соединены с выходами нейронов входного слоя сети. Выходы нейронов выходного слоя связаны со входами остальных нейронов этого слоя отрицательными обратными (ингибиторными) связями. Единственная положительная обратная связь подается с выхода для каждого нейрона выходного слоя на его же вход.

Сеть выбирает эталон с минимальным хэмминговым расстоянием от предъявленного входного вектора путем активизации только одного выхода сети (нейрона выходного слоя), соответствующего этому эталону.

Хэммингово расстояние представляет собой пример меры сходства или, вернее, различия, первоначально введенной для бинарных функций в диадном пространстве. Она применима для сравнения любых упорядоченных наборов, принимающих дискретные значения и, вероятно, является наилучшей из известных мер сходства между цифровыми кодами. Для бинарных последовательностей хэммингово расстояние можно определить:

Здесь функция определяется как число элементов набора принимающих значение логической «1».

На этапе настройки сети Хэмминга устанавливаются следующие значения весов нейронов скрытого слоя и порога их активационной функции:

где компонент эталона;

Коэффициенты отрицательных обратных связей нейронов выходного слоя задают равными некоторой величине из интервала а коэффициенты положительной обратной связи -

Рассмотрим алгоритм функционирования сети Хэмминга.

ШАГ 1. На нейроны входного слоя подается вектор

На их выходах формируются следующие значения (верхний индекс указывает номер слоя):

В соответствии с этим устанавливаются значения на выходах нейронов выходного слоя:

ШАГ 2. В результате новой итерации определяются новые состояния нейронов выходного слоя:

Активационная функция имеет вид порога (рис. 1.3, б), причем величина «ступеньки» должна быть достаточно большой, чтобы возможные значения не приводили к насыщению.

ШАГ 3. Проверка изменения состояний нейронов выходного слоя за последнюю итерацию. И переход к шагу 2 в случае, если наблюдались изменения. Иначе - окончание процедуры.

Роль нейронов входного слоя весьма условна: воспользовавшись один раз на шаге 1 значениями его весовых коэффициентов, сеть больше не обращается к нему, поэтому этот слой может быть вообще исключен из сети (заменен на матрицу весовых коэффициентов).

В заключении можно сделать следующее обобщение. Сети Хопфилда и Хэмминга позволяют просто и эффективно решить

задачу автоассоциативной памяти: воссоздания образов по неполной и искаженной информации. Невысокая емкость сетей (число запоминаемых образов) объясняется тем, что сети не просто запоминают образы, а позволяют проводить их обобщение, например, с помощью сети Хэмминга возможна классификация по критерию максимального правдоподобия. Вместе с тем, легкость построения программных и аппаратных моделей делают эти сети привлекательными для многих практических применений.

В случае, если необходимо определить эталон, ближайший к предъявленному входному вектору (например, на основе хэммингова расстояния), часто возникают проблемы, связанные с различием длин или с ограничениями на длину последовательностей или количество компонентов в наборах.

Отметим один важный аспект проблемы сравнения векторов различной длины. Так, последовательность большей длины может представлять собой функцию в пространстве с числом измерений большим, чем число измерений другой функции на разницу числа параметров в длинах последовательностей. Это определяет возможность перехода к оценке не только количественного, но и качественного сходства векторов, к оперированию в терминах вероятности, нечетких оценок, отнесению вектора к какому-либо классу.

Эти различия и ограничения сравнения векторов различной длины можно устранить различными способами, например, с помощью меры сходства Танимото.

Авторами предложены модели оптимизирующих нейронных сетей, реализующие восстановление по искаженному (зашумленному) образу ближайший к нему эталонный, позволяющие снять ограничения на различия и ограничения длин сравниваемых векторов с сохранением высокой достоверности распознавания.