Свойства идеального алгоритма

Поскольку идеальный алгоритм является эталоном для сравнения характеристик, представляет интерес теоретическое описание его свойств с точки зрения сходимости среднего значения СКО. В данном разделе рассматриваются эти свойства и проводится их сравнение с аналогичными характеристиками метода наименьших квадратов.

При идеальных условиях (без шума) адаптация по методу наименьших квадратов осуществляется в соответствии с формулами для метода наискорейшего спуска, выведенными в гл. 4 и 5, а адаптация по идеальному алгоритму — в соответствии с формулами, выведенными для метода Ньютона. Имея в виду масштабный множитель при (т. е. замену на ) в (8.5), запишем соотношения (5.61) и (5.84) для знаменателя геометрической прогрессии весового коэффициента:

(8.11)

Таким образом, эти методы эквивалентны при равных собственных значениях матрицы R. Из этих соотношений находим постоянную времени составляющей обучающей кривой:

При различных собственных значениях обучение по методу наименьших квадратов осуществляется медленнее, чем по идеальному алгоритму, что соответствует примеру на рис. 8.2. Для конкретного примера на рис. 8.2 при подстановке (8.9) в (8.12) и (8.13) получаем итераций для обучающей кривой идеального алгоритма и итераций для обучающей кривой метода наименьших квадратов.

Помимо постоянной времени обучающей кривой, позволяющей измерять скорость сходимости алгоритма, представляет интерес среднее значение СКО, определяющее устойчивость алгоритма в области точки В гл. 6 получено выражение для среднего значения СКО в случае метода наименьших квадратов. Выведем теперь аналогичное выражение для идеального алгоритма.

Для вывода формулы среднего значения СКО требуется ковариационная матрица вектора весовых коэффициентов в системе координат главных осей. В (5.50) найдена матрица для метода Ньютона при использовании оценки градиента, поэтому для идеального алгоритма имеем тот же результат при подстановке вместо величины , как это сделано в (8,5).

Следовательно,

Здесь — вектор шума градиента, записанный в системе координат осей, а в (8.3) подставлена та же оценка градиента, что и в (6.2). Отсюда формула (6.29) справедлива для идеального алгоритма:

Подставляя (8.15) в (8.14), получаем

(8.16)

Теперь по аналогии с формулой (6.34) выразим среднее значение СКО через диагональные элементы матрицы среднее значение

Это соотношение можно упростить, имея в виду, что, как и в (6.9), произведение равно сумме диагональных элементов матрицы R (т. е. следу матрицы R) и при выводе COV [NV] предполагалось меньше значения (8.7), необходимого для сходимости за один шаг, т. е.

Поэтому полагаем, что знаменатель в (8.17) приблизительно равен 1, тогда

Из (6.36) и (8.19) следует, что среднее значение СКО и М одинаковы для идеального алгоритма и метода наименьших квадратов. Для обоих алгоритмов среднее значение СКО

В заключение приведем основные теоретические результаты для идеального алгоритма и метода наименьших квадратов:

Поскольку при заданном параметре у оба алгоритма имеют одно и то же относительное среднее значение СКО, можно видеть, что идеальный алгоритм приводит к сходимости, более быстрой в раз. Таким образом, если матрица R имеет существенно различные собственные значения, метод наименьших квадратов и другие алгоритмы наискорейшего спуска намного уступают идеальному алгоритму. В следующем разделе рассматривается алгоритм, характеристики которого ближе к характеристикам идеального алгоритма.