Глава 4. ПОИСК РАБОЧЕЙ ФУНКЦИИ
Как было показано выше, для адаптивного линейного сумматора функция СКО является квадратичной, если входные сигналы и требуемый отклик стационарны в статистическом смысле. Во многих представляющих интерес случаях параметры этой квадратичной функции неизвестны и нет ее аналитического описания. Одпако, усредняя квадрат сигнала ошибки за некоторый период времени, можно измерить или оценить положение точек на квадратичной поверхности. Задача состоит в том, чтобы разработать аналитические методы или алгоритмы, позволяющие осуществлять поиск параметров рабочей функции и находить оптимальный вектор весовых коэффициентов только по данным измбрения или оценки.
В большинстве практических методов поиск параметров не проводится, а оптимальное или близкое к нему решение находится введением контрольных расстроек.
Методы поиска параметров рабочей функции
Эта глава посвящена разработке алгоритмов для двух широко известных методов поиска параметров рабочей функции: Ньютона и наискорейшего спуска. Для определения направления, на котором расположен минимум функции, используются градиентные оценки. Поэтому их называют методами спуска. В дальнейшем будет показано, что эти методы можно применять, в частности, к квадратичной рабочей функции, а также к рабочим функциям других видов.
Метод Ньютона является фундаментальным с точки зрения математического описания, хотя зачастую его трудно применить на практике. Это — метод градиентного поиска, при котором на каждом шаге процесса поиска или на каждом цикле итерации, определение которого будет дано ниже, изменяются все компоненты вектора весовых коэффициентов. При условии, что функция является квадратичной, эти изменения всегда имеют направление на минимум рабочей функции.
Метод наискорейшего спуска прост в применении и имеет большое значение для решения широкого круга прикладных задач. Это — метод градиентного поиска, при котором также на каждом шаге или цикле итерации изменяются все компоненты вектора весовых коэффициентов. Однако в этом случае все изменения осуществляются в направлении отрицательного градиента рабочей функции. Таким образом, они не обязательно имеют направление на минимум, поскольку, :как отмечено в гл. 3 (см., например, рис. 3.1 или 3.2), отрицательный градиент направлен к минимуму только тогда, когда его начало расположено на одной из главных осей.
В последующих главах рассматриваются дополнительные методы поиска параметров рабочей функции и разрабатываются основанные на них алгоритмы. Один из них представляет собой градиентный метод поиска, в котором на каждом шаге в процессе поиска используется очень грубая оценка. Другой метод не использует градиенты и находит особое применение в задачах, в которых рабочая функция не является квадратичной (эти задачи также будут рассмотрены). Методы называются соответственно методом наименьших квадратов и случайного поиска.