4.3. Методы наращивания сети

В алгоритмах редукции в качестве исходной точки используется избыточная архитектура сети, которая в процессе обучения либо по его завершении упрощается путем исключения наименее значимых весов.

Противоположный подход заключается в первоначальном включении в сеть небольшого количества скрытых нейронов (часто они вообще отсутствуют), во по мере развития процесса обучения их число постепенно увеличивается. Среди многих существующих методов расширения нейронной сети можно выделить: алгоритм Мезарда-Надала [51], алгоритм Мерчанда [51] и метод Ли-Тафтса [86], в которых все обучающие выборки ортогонально проецируются в одномерное пространство с последующим выбором такой гиперплоскости, которая отделила бы данные требуемого класса от остальных. Многократно повторяя эту процедуру на оставшемся множестве выборок, в конечном счете можно обеспечить полное разделение данных. Минимизация голичества гиперплоскостей (скрытых нейронов) в методе [86] достигается применением булевой алгебры, в частности карты Карно. Перечисленные методы имеют относительно низкую эффективность при большой размерности «одного вектора и не являются серьезной альтернативой методам редукции сети.

Одним из наиболее известных методов расширения сети считается алгоритм вскадной корреляции С. Фальмана [34], который будет подробно изложен в огзделе 6.