ГЛАВА 5. НЕКОТОРЫЕ ВЕРОЯТНОСТНЫЕ ПОНЯТИЯ. ТЕОРИЯ ОЦЕНИВАНИЯ, СХОДЯЩИЕСЯ АЛГОРИТМЫ, СТОХАСТИЧЕСКАЯ АППРОКСИМАЦИЯ

В этой главе обсуждаются идеи, которые имеют большое значение для оценивания параметров. Сначала оценки рассматриваются со статистической точки зрения. Очевидно, что существует тесная связь между количеством априорной информации и типом оптимальной процедуры оценивания. Рассматриваются различные виды оценок:

1) оценки по методу наименьших квадратов;

2) марковские оценки;

3) оценки максимального правдоподобия;

4) байесовские оценки.

Эти оценки упорядочены по возрастанию объема исходной информации об объекте. При оценивании методом наименьших квадратов предполагается, что динамика объекта может быть аппроксимирована выбранной моделью. При получении марковских оценок считается также известной ковариационная матрица шума. Для вычисления оценок максимального правдоподобия необходимо знание плотности вероятности измеряемого случайного процесса. Байесовские оценки, или оценки с минимальным риском, требуют знания априорных плотностей вероятности неизвестных параметров и величины штрафа за ошибки. Описываются такие свойства оценок, как эффективность, асимптотическая эффективность, состоятельность, смещенность и т. п. Оценки 1—3 можно рассматривать как частные случаи байесовских оценок с меньшим объемом априорной информации. Так выясняется связь между различными типами оценок.

Во многих случаях, например в явных методах или методах с настраиваемой моделью, алгоритмы оценивания представляют собой способы оптимизации. Эта

оптимизация может быть поиском минимума функции затрат, максимума вероятности, минимума среднеквадратической ошибки и т. д. Поэтому в этой главе рассматриваются также оптимальные поисковые, или сходящиеся, алгоритмы. В зависимости от отсутствия или наличия помех эти алгорйтмы могут быть названы детерминированными (разд. 5.2) или стохастическими (разд. 5.3).