9.5. Стохастическая аппроксимация

Если последовательное оценивание должно выполняться в очень быстром темпе, то даже формулы предыдущего раздела могут оказаться слишком обременительными. Цель методов стохастической аппроксимации — внести дальнейшие упрощения.

Равенство это частный случай общей формулы стохастической аппроксимации

где некоторый подходящим образом выбранный вектор. Эта формула устанавливает, что поправка, которая должна быть добавлена к оценке пропорциональна остатку т. е. ошибке, возникающей в предсказании по заданным значениям В формуле мы использовали множитель

Иногда предпочтительнее умножить это значение на некоторую положительную константу, меньшую единицы. Следующие варианты представляют собой дальнейшие упрощения:

1) процедеру раздела 9.4 начинать только после того, как было накоплено достаточное число наблюдений, что делает матрицу невырожденной (по меньшей мере, при Вместо этого мы можем правляться от произвольно выбранной положительно определенной матрицы

2) использовать

Эти методы и некоторые другие детально рассмотрены в [6].