6.3. Байесово обучение при медленно изменяющихся образах
В § 6.1 подлежащие оценке параметры (например, средний вектор класса образов, имеющего многомерное гауссово распределение) считались постоянными, но неизвестными. В этом параграфе рассматривается задача, когда оцениваемые параметры медленно изменяются случайным образом. Для целей иллюстрации рассмотрим снова задачу оценки среднего вектора 
для гауссова распределения [2]. Предположим, что 
изменяется медленно по сравнению с продолжительностью наблюдений при обучении, т. е. изменение 
от наблюдения к наблюдению незначительно. Математически это можно сформулировать следующим образом:
где 
есть функция 
и подлежит оценке с помощью последовательности классифицированных обучающих наблюдений 
Пусть 
где 
есть составляющая (с нулевым средним) случайных помех, искажающих измерения. Величины 
предполагаются статистически независимыми друг от друга, а также все 
не зависят от 
В соответствии с медленным характером изменения 
предположим, что 
претерпевает процесс случайного блуждания, в котором случайные шаги являются независимыми гауссовыми векторами 
т. е.
где 
имеет гауссово распределение с нулевым средним и ковариационной матрицей 
Грубо говоря, можно считать, что 
является результатом серии независимых шагов длиной 
(случайная величина), сложенных вместе. Однако такая модель неудобна для
применения вследствие того, что 
определяется как сумма большого числа идентично распределенных случайных переменных. С ростом 
компоненты 
становятся неограниченными с вероятностью единица. Это затруднение можно преодолеть, введя константу 
и изменив (6.41) следующим образом:
Затем в окончательном ответе полагают 
, и, таким образом, данное изменение является лишь временным. Как и в случае байесова обучения с поощрением, последовательные оценки среднего вектора 
являются по существу условными средними от 
при заданной последовательности обучающих наблюдений 
т. е.
Аналогично 
есть условная ковариация вектора 
Положим
и
Путем итерационного применения формулы Байеса, как в § 6.1, получим следующие результаты:
и
Поскольку
то
и
поэтому из (6.51) можно найти решение для 
при медленно изменяющемся среднем 
в виде
в ряд Неймана [16], получим
является взвешенным средним априорного среднего вектора и выборочной информации. Для выявления значения этих результатов приведем специальный пример. Положим
учитывается тем, что к ослабленному значению предыдущей оценки 
добавляется величина 
при каждом новом обучающем наблюдении. Заметим, что если 
стационарно, то 
когда 
Следовательно, (6.50) и (6.51) переходят в (6.7) и (6.8) соответственно.