§ 4.4. Общие алгоритмы обучения

Прежде всего уточним вид аппроксимирующей функции. Напомним, что выбор аппроксимирующей функции не произволен, а связан с ограничениями первого рода. Довольно широкий круг задач можно охватить, приняв, что  представляет собой конечную сумму

                        (4.5)

или

,                        (4.6)

где  — -мерный вектор коэффициентов,  — -мерный вектор линейно независимых функций.

Подставляя (4.6) в функционал (4.4), получаем

.         (4.7)

Поскольку функционал (4.7) явно неизвестен, то минимум  будем искать по измеренным градиентам реализаций.

В рассматриваемом случае

.        (4.8)

Применяя алгоритм адаптации (3.9) и принимая , получаем

.   (4.9)

Этот алгоритм, который уместно назвать алгоритмом обучения, и определяет при  оптимальный вектор  и оптимальную разделяющую функцию (4.6).

Алгоритм обучения (4.9) можно представить и в несколько иной форме. Обозначим

                                            (4.10)

и

.                   (4.11)

Умножая обе части (4.9) скалярно на  и используя обозначения (4.10) и (4.11), получим алгоритм обучении в виде функционального рекуррентного соотношения

.   (4.12)

Принципиально иные алгоритмы можно получить на основании алгоритма адаптации поискового типа (3.15). В этом случае

,              (4.13)

где оценка градиента

,   (4.14)

а векторы  и  определяются, как мы уже условились, соотношениями, аналогичными (3.12).

Вряд ли стоит использовать поисковый алгоритм обучения, если функция  известна и допускает дифференцирование. Однако в тех случаях, когда по каким-либо причинам затруднительно определять градиент , то только эти алгоритмы и можно применять.

В ряде случаев может оказаться удобным использовать непрерывные алгоритмы обучения, например алгоритмы вида

.                  (4.15)

Смысл этого алгоритма удобнее будет пояснить несколько позже на конкретном примере.