6.7. Оценки наименьших квадратов

Подход к задаче оценивания, излагаемый в данном параграфе, существенно отличается от подходов, уже обсуждавшихся в предыдущих параграфах этой главы. Здесь не требуется знание вероятностных характеристик рассматриваемых случайных величин или процессов. Фактически описываемый здесь метод в этом смысле является другим крайним случаем по сравнению с байесовским подходом, при котором необходимо иметь не только полное вероятностное описание наблюдаемого процесса, но и знать функцию потерь. Метод максимального правдоподобия при этом можно рассматривать как промежуточный, поскольку для его применения нет необходимости знать априорную плотность вероятности оцениваемого параметра. При построении линейных оценок с минимальной дисперсией требуется еще меньше априорной информации. Здесь достаточно знать лишь первые два момента исследуемых процессов.

Возможно, следует дополнительно разъяснить утверждение о том, что здесь не используются сведения ни о вероятностных, ни о статистических характеристиках исследуемых процессов. Все же и теперь необходимо выбирать меру качества оценок. А это может рассматриваться как неявное предположение о вероятностной структуре наблюдаемого и оцениваемого процессов. Будет показано также, что если выбрать соответствующим образом функцию потерь, то оценка наименьших квадратов оказывается оптимальной байесовской оценкой при некоторых вероятностных характеристиках исследуемых процессов. С другой стороны, для некоторой иной функции потерь по-прежнему можно найти и использовать оценку наименьших квадратов, даже хотя она более не является оптимальной байесовской оценкой в этих новых условиях.

Начнем с задачи непоследовательного оценивания постоянного вектора . Затем укажем последовательные алгоритмы вычисления значений таких оценок, которые во многих случаях могут привести к существенным упрощениям вычислений. В заключение рассмотрим задачу оценивания меняющегося векторного параметра, которая уже непосредственно примыкает к общей проблеме последовательного оценивания вектора состояния, подробно изучаемой в последующих трех главах.

В задаче оценивания -мерного постоянного параметра  примем следующую модель наблюдаемых величин:

,             (6.165)

где шум  имеет среднее значение, равное нулю. Предположим, что имеется выборка объема , которую удобно представить в виде

                               (6.166)

Здесь  -мерный составной вектор, который можно записать следующим образом:

;

  и  - матрицы размера  и  соответственно, определяемые аналогичным образом, т. е.

;    .

Заметим, что размерность  вектора  может быть больше  (числа наблюдений), так как результат каждого наблюдения может представляться вектором. Будем требовать, чтобы , хотя обычно требуется, чтобы  было намного больше ; это необходимо для получения более высокой точности оценок.

Теперь задача состоит в том, чтобы выбрать такое значение оценки  вектора , при котором значение квадратичной формы

                (6.167)

оказывается минимальным. Оптимальную оценку, которая минимизирует форму (6.167), будем называть оценкой наименьших квадратов и обозначать символом . Для этой оценки , где  — произвольная другая оценка. Нижний индекс  в обозначении введен для того, чтобы подчеркнуть, что при вычислении значения этой оценки используется  векторных наблюдений. Вообще здесь этот индекс является излишним, но он будет необходим при построении алгоритма последовательного вычисления значений оценки наименьших квадратов.

Матрицу весов  размера  будем считать положительно определенной и симметричной, хотя такие ограничения вовсе не обязательны. Позже будет показано, каким образом выбор  может быть связан с вероятностными характеристиками шума ; будет также пояснено, почему в качестве матрицы весов используется обратная матрица , а не матрица .

Пока не будем ориентироваться на то, что результаты наблюдений могут поступать в определенном порядке. Результаты  наблюдений могут быть получены последовательно во времени один за другим или могут быть зарегистрированы сразу все в один и тот же момент времени, либо для их получения используется какая-либо другая процедура. При решении задачи оценивания сейчас исходным является следующее предположение: имеется конкретная выборка объема , на основе которой должно быть указано такое значение оценки для вектора , при котором значение формы  оказывается минимально возможным. Поскольку минимизация формы  представляет собой обычную детерминистскую проблему минимизации, то значение оценки наименьших квадратов (если оно существует) является корнем уравнения

.                           (6.168)

Подставляя (6.167) в выражение для  и выполняя операции вычисления частных производных, получим

Отсюда искомая оценка наименьших квадратов для вектора

.    (6.169)

Отметим, что использование этой оценки предполагает обращение матрицы  размера . Для сокращения записи введем обозначение

          (6.170)

или

.                         (6.171)

Оценку  тогда можно записать в виде

.                          (6.172)

Предположим теперь, что произведено новое очередное измерение вектора , а результат измерения . Этот новый результат можно присоединить к предыдущим и записать

,                                                            (6.173)

где

;    ;    .    (6.174)

Теперь, воспользовавшись уже полученной формулой, можно сразу выписать выражение для новой оценки, основывающейся на результатах -наблюдения. Таким образом, получаем

,               (6.175)

где  — новая матрица весов для задачи оценивания по выборке объема . Используя обозначение (6.170), оценку  запишем в виде

,                                            (6.176)

где

                                               (6.177)

Заметим, что снова необходимо обращать матрицу размера  и ни один из промежуточных результатов, полученных при вычислении значения оценки , здесь не может быть использован.

Другими словами, добавление одного результата нового наблюдения приводит к необходимости заново повторить все вычисления. Этот факт оказался отправной точкой для новых исследований, цель которых — отыскание способов построения последовательных алгоритмов вычисления значений оценки наименьших квадратов. В таких алгоритмах результаты новых наблюдений учитываются только путем внесения поправки в значение уже имеющейся оценки, причем полностью повторять все вычисления заново не нужно. Такие последовательные алгоритмы можно найти, если ввести одно простое предположение относительно матрицы весов . А именно, будем предполагать, что матрица  имеет вид

.           (6.178)

Введение такой формы матрицы  означает отказ от необходимости взвешивать произведения ошибок между результатами старых и нового наблюдений. Более подробно целесообразность введения такого ограничения будет обсуждаться позднее.

Если матрица  имеет форму (6.178), то произведение матриц  можно представить в виде

Если теперь сравнить (6.171) и (6.177), то можно записать

                                                 (6 .179)

или

.                              (6.180)

Применяя лемму об обращении матриц, получаем

.            (6.181)

Если размерность наблюдаемого вектора  меньше размерности  вектора , то это последнее представление может привести к существенному сокращению объема вычислений. Так, если  — скалярная величина, то матрица  также оказывается скалярной величиной, так что ее обращение сводится к обычному делению. Отметим также, что «старые» слагаемые типа  не нужны более в явном виде для вычисления .

Подставляя (6.181) в (6.176) для оценки , получим новую запись:

.    (6.182)

Вследствие специально выбранной формы матрицы  [см. ф-лу (6.178)] для произведения матриц  имеем . Поэтому оценка (6.182)

принимает вид

.    (6.183)

Перепишем это выражение следующим образом:

        (6.184)

B соответствии с (6.172) вектор  в правой части этого выражения есть оценка . Кроме того, введем обозначение

.                  (6.185)

Теперь вместо (6.184) можно записать

.    (6.186)

Это выражение, в свою очередь, можно переписать так:

или с использованием обозначения (6.185)

.

Так что окончательно имеем

.                   (6.187)

Это и есть искомый последовательный алгоритм вычисления значений оценки наименьших квадратов. Здесь матрица  определяется соотношением (6.185). Отметим, что в соответствии с ф-лой (6.187) новое значение оценки вычисляется путем прибавления к старому значению оценки  поправки, зависящей от разности между новым значением  и ожидаемым значением  полезного слагаемого.

Можно получить несколько иное выражение для оценки , если учесть, что матрица  может быть записана в виде

.                                  (6.188)

Справедливость такой записи легко проверить путем прямой подстановки правой части ф-лы (6.181) в это выражение. Для оценки  при этом получаем

.    (6.189)

Рассмотрим два примера, иллюстрирующих полезность полученных соотношений. После этого будет охарактеризована взаимосвязь оценки наименьших квадратов с другими оценками, обсуждавшимися ранее.

Пример 6.15. Пусть неизвестный параметр  является скалярной величиной  и имеется выборка объема  скалярных величин . Следовательно, в данном примере

.

В качестве матрицы весов  выберем единичную матрицу.

В соответствии с ф-лой (6.169) оценка наименьших квадратов величины  имеет вид

,

т. е. совпадает с выборочным средним.

Если бы был получен результат следующего наблюдения, то при  нетрудно показать, что для рассматриваемой простой задачи новое значение оценки .

Найдем теперь частный вид последовательного алгоритма (6.189) для этой задачи. Из (6.170) следует, что

,

так что для  на основании (6.181) получаем

.

Следовательно, последовательный алгоритм для оценки  записывается так:

.

Легко проверить, что эта запись полностью согласуется с ранее полученной непоследовательной формой оценки

Если результаты отдельных наблюдений поступают последовательно во времени один за другим, то использовать последовательный алгоритм можно с момента начала наблюдений, приняв, что

,    ,

где .

В данном простом примере использование последовательного алгоритма не приводит к заметному уменьшению объема вычислений. Однако и здесь при применении последовательного алгоритма нет необходимости хранить результаты отдельных наблюдений после их обработки. Это также может оказаться важным, особенно в том случае, когда объем выборки  достаточно велик. Кроме того, последовательный способ вычислений дает возможность иметь текущее значение оценки после каждого очередного наблюдения, что позволяет иногда принять решение о прекращении наблюдений, если значение оценки практически перестает изменяться.

Пример 6.16. Рассмотрим задачу оценивания постоянного параметра  по результатам двух наблюдений

;

,

используя для этого как последовательный, так и непоследовательный алгоритмы обработки данных. Примем, что , так что представление (6.178) справедливо и , .

Для построения непоследовательного алгоритма имеющиеся результаты наблюдений сведем в составной вектор , где

;    .

Подставляя эти соотношения в ф-лу (6.169) и полагая , получим

.

Построение последовательного алгоритма начнем с вычисления значения оценки , основывающейся на результате только первого наблюдения. Выражение (6.169) здесь принимает вид , так что

.

Матрица , т.е . Теперь в соответствии с (6.181) находим, что

Следовательно, согласно (6.189) для оценки  получаем

,

что, конечно, совпадает с предыдущим результатом.

Для того чтобы обсудить взаимосвязь между оценкой наименьших квадратов и линейной оценкой с минимальной дисперсией, желательно несколько упростить используемые обозначения. В частности, опустим нижний индекс  и индекс, написанный курсивом, в соотношениях для оценок наименьших квадратов. В этом случае для наблюдаемой величины справедливо более простое представление

,                             (6.190)

а оценка наименьших квадратов вектора  принимает вид

,    (6.191)

где  — матрица весов квадратичной функции потерь.

Чтобы подчеркнуть линейность этой оценки и дополнительно упростить последующее изложение, будем писать

,                              (6.192)

где матрица

,                (6.193)

или, если воспользоваться определением матрицы ,

,                       (6.194)

поскольку

.                 (6.195)

Из (6.193) следует, что . Это равенство фактически означает несмещенность оценки наименьших квадратов (в предположении, что шум  имеет среднее значение, равное нулю). Чтобы показать это, достаточно выписать выражение для ошибки оценивания:

.                    

Но для  справедливо представление (6.190), так что

.    (6.196)

поскольку . Следовательно, математическое ожидание ошибки

.             (6.197)

Таким образом, если , то оценка  является несмещенной. Ковариационная матрица вектора ошибок оценивания при использовании этой оценки

.          

Подставив сюда (6.193), получим

.    (6.198)

Линейная оценка с минимальной среднеквадратической ошибкой для вектора , основывающаяся на выборочных значениях наблюдаемого вектора (6.190), была найдена в §6.6. Для частного случая, когда  и , эта оценка имеет вид

                       (6.199)

и является, таким образом, несмещенной. Ковариационная матрица вектора ошибок оценивания при использовании этой оценки

.       (6.200)

Простым сравнением выражений (6.191) и (6.199) легко обнаружить, что если при построении оценки наименьших квадратов в качестве матрицы весов  выбрать ковариационную матрицу шума , то оценка наименьших квадратов и линейная оценка с минимальной дисперсией совпадают. Таким образом, если , то ковариационная матрица вектора ошибок оценивания при использовании оценки наименьших квадратов

что и следовало ожидать.

Поскольку оценка наименьших квадратов является линейной, а линейная оценка с минимальной дисперсией обеспечивает минимально возможную среднеквадратическую ошибку оценивания, то справедливость неравенства

                                      (6.201)

очевидна. При  в данном неравенстве достигается равенство. Вообще для установления справедливости неравенства (6.201) не обязательно использовать оптимальность оценки (6.199). Можно показать, что матрица (6.200) всегда меньше или, в крайнем случае, равна ковариационной матрице вектора ошибок (6.198). Для доказательства этого утверждения достаточно воспользоваться матричным неравенством [79], являющимся аналогом неравенства Шварца для функций. Если  и  две произвольные матрицы размера ,  и матрица  имеет ранг , то

,    (6.202)

где равенство достигается тогда, когда существуют два - мерных вектора  и , такие, что .

Чтобы доказать это неравенство, рассмотрим следующее положительно полуопределенное скалярное произведение

,    (6.203)

где  и  — два произвольных - мерных вектора. После выполнения операций умножения неравенство (6.203) принимает вид

.

Теперь, учитывая, что матрица  имеет полный ранг и, следовательно, обратная матрица  существует, последнее выражение запишем следующим образом:

.    (6.204)

Справедливость такой записи можно легко проверить путем выполнения операций умножения в левой части этого неравенства. Неравенство (6.204) должно быть справедливым для любых векторов  и . Если , выбрать так, чтобы , то вместо (6.204) получаем

.    (6.205)

Поскольку вектор  здесь еще является произвольным, то эта квадратичная форма может быть неотрицательной только в том случае, если матрица  неотрицательно определена, т. е. неравенство (6.202) действительно справедливо.

Неравенство (6.202) можно использовать для доказательства справедливости соотношения (6.201). Для этого положим ; . Вместо (6.202) теперь имеем

или . Так как , , то предыдущее неравенство принимает вид , т. е. доказательство завершено. Рассмотрим теперь случай, когда значение вектора  не является постоянным, а меняется от наблюдения к наблюдению. При этом примем, что  - решение линейного разностного уравнения

.                  (6.206)

Будем считать, что выборочные значения наблюдаемого процесса

                     (6.207)

поступают последовательно во времени одно за другим. Найдем оценку для текущего значения вектора  основывающуюся на результатах  последнего и всех предшествующих наблюдений и минимизирующую «потери»

.    (6.208)

Здесь  — оценка вектора , основывающаяся на выборке . После получения первого элемента выборки  для оценки вектора  получаем

;

где .

Теперь предположим, что произведено следующее измерение, результат которого . Оценивать значение  необходимо по результатам обоих измерений:  и .

Так как интерес представляет оценка , то, используя представление (6.206) для , запишем . Далее можно найти оценку для , основывающуюся на результате первого измерения . Эту оценку обозначим символом . Выражение для этой оценки нетрудно получить путем дифференцирования правой части равенства (6.208) по . Приравняв найденную производную нулю и решив это уравнение, получим

.    (6.209)

Используя теперь найденное ранее выражение для оценки , можно записать

                       (6.210)

Если ввести обозначение

            (6.211)

то для этой оценки получаем следующее стандартное представление:

,    (6.212)

т. е. , поскольку  в этом случае представляет собой матрицу . Получить такую стандартную форму записи для оценки необходимо, так как это позволяет сразу же использовать последовательный алгоритм.

Теперь учтем следующее наблюдение . Используя (6.189), запишем

.    (6.213)

Подставляя сюда (6.209), получаем

,    (6.214)

где согласно (6.181)

    (6.215)

Если описанную процедуру повторять для каждого нового наблюдения, то тем самым будет построен последовательный алгоритм оценивания вектора  по результатам всех предыдущих наблюдений . Если ввести обозначение , то этот алгоритм записывается следующим образом:

    (6.216)

Здесь

   (6.217)

.                           (6.218)

Более подробно проблема оценивания вектора состояния будет обсуждаться в следующих трех главах. Однако одно заключительное замечание здесь следует сделать. Если матрицу весов  принять равной матрице , то приведенный выше алгоритм будет совпадать с последовательным алгоритмом вычисления значений линейной оценки с минимальной дисперсией. Матрица  при этом будет представлять собой ковариационную матрицу  вектора ошибок оценивания. Отметим также следующий важный момент: полученная оценка не определена для нулевого шага, т. е. ничего нельзя сказать о начальных значениях оценки  и матрицы  в ф-лах (6.216) и (6.217). Считается, что наблюдения начинаются на первом шаге, т. е.  есть результат первого наблюдения. Обычно предполагается, что априорные сведения о вероятностных свойствах вектора  отсутствуют и что ; . Если подобные предположения нежелательны, то вместо (6.208) следует использовать функцию потерь

.          (6.219)

При такой функции потерь, как и ранее, получается байесовская оценка, если матрицы весов выбираются на основе априорных вероятностных характеристик оцениваемого вектора и шума, а именно, ;  Легко показать, что при  в этом случае приходим к алгоритму (6.216) со следующими начальными условиями: ; .