4.12.3. Генетические алгоритмы для поддержки нейронных сетей

Подход, основанный на использовании генетического алгоритма для обеспечения работы нейронной сети, схематически представлен на рис. 4.118. Известно множество работ, посвященных подобному объединению рассматриваемых методов. Можно выделить три области проблем [39]:

- применение генетического алгоритма для подбора параметров либо преобразования пространства параметров, используемых нейронной сетью для классификации;

- применение генетического алгоритма для подбора правила обучения либо параметров, управляющих обучением нейронной сети;

- применение генетического алгоритма для анализа нейронной сети.

Рис. 4.118. Вспомогательное объединение генетического алгоритма с нейронной сетью.

Две первые области приложения генетических алгоритмов в нейронных сетях, вообще говоря, позволяют улучшать функционирование сетей (т.е. решают проблему синтеза), тогда как третья служит для анализа их функционирования. Начнем обсуждение с последней позиции.

Анализ нейронных сетей. Некоторые исследователи применяли генетические алгоритмы в качестве вспомогательного инструмента для выяснения закономерностей функционирования нейронных сетей либо анализа эффективности их работы [5, 10, 11, 42]. Генетический алгоритм использовался для построения «инструментальной системы», облегчающей понимание функционирования сети - попросту говоря, для выяснения, что и почему делает сеть. Такое понимание необходимо для того, чтобы нейросетевой классификатор не воспринимался в качестве «черного ящика», который формирует ответ неким таинственным образом, и чтобы решения по классификации объектов были объяснимыми. Подобный «инструментарий» (explanation facilities) используется в большинстве экспертных систем. Построение этих инструментов для их применения в нейронных сетях считается более масштабной проблемой, относящейся к анализу сетей [11]. Генетический алгоритм применялся для построения так называемых кодовых векторов (codebook vectors), представляющих собой входные сигналы, при которых функция активации конкретного выходного нейрона сети принимает максимальное или близкое к нему значение. Входные векторы представлялись в хромосомах множеством вещественных чисел от 0,0 до 1,0. Анализировалась нейронная сеть, предназначенная для решения задачи классификации [10, 11]. Аналогичный подход применялся для сети ART1 (частного случая ART с двоичными входными сигналами) [5]. С помощью генетического алгоритма также проводился анализ нейронной сети, используемой в качестве модели ассоциативного запоминающего устройства [42]. Приведенные примеры характеризуют вспомогательное объединение генетических алгоритмов и нейронных сетей [39], хотя и не могут считаться типичными по отношению к схеме, представленной на рис. 4.118

Подбор параметров либо преобразование пространства параметров. Генетический алгоритм используется при подготовке данных для нейронной сети, играющей роль классификатора. Эта подготовка может выполняться путем преобразования пространства параметров либо выделением некоторого подпространства, содержащего необходимые параметры

Первый из этих методов, так называемое преобразование пространства параметров, применяется чаще всего в алгоритмах типа «ближайший сосед», хотя известны также его приложения в нейросетевых классификаторах [24]. Второй подход заключается в выделении подмножества учитываемых параметров. Оказывается, что ограничение множества параметров часто улучшает функционирование нейронной сети в качестве классификатора и, к тому же, сокращает объемы вычислений. Подобное ограничение множества учитываемых нейронной сетью параметров применялось, в частности, для контроля сценариев происшествий на ядерных объектах [17], а также для распознавания китайских иероглифов [22]. Известны и другие примеры [39] подготовки данных для нейронных сетей при помощи генетических алгоритмов.

Подбор параметров и правил обучения. Генетический алгоритм также применяется для подбора параметров обучения - чаще всего скорости обучения (learning rate) и так называемого момента для алгоритма обратного распространения ошибки [3, 20, 38]. Такое адаптивное уточнение параметров алгоритма обратного распространения (они кодируются в хромосомах) в результате эволюции может рассматриваться как первая попытка эволюционной модификации правил обучения [47]. Вместо непосредственного применения генетического алгоритма для подбора параметров обучения развивается эволюционный подход, направленный на построение оптимального правила (алгоритма) обучения [6].

Эволюция правил обучения будет представлена в п. 4.12.7.3.

Заметим, что эволюционная концепция уже может рассматриваться как переход от вспомогательного к равноправному объединению генетического алгоритма и нейронных сетей.