4.7. Нормальное распределение

Рассмотрим случай нормального распределения. Чтобы иметь дело с наиболее общим случаем, обозначим через ковариационную матрицу а через элементы матрицы, обратной к

Пусть ошибки имеют нормальное распределение Логарифм ПРВ можно получить из

Если известны все элементы матрицы нахождение значений 0, максимизирующих эквивалентно минимизации функции

которая совпадает с функцией Следовательно, для нормального распределения с известной ковариационной матрицей ОМП сводится

к оценке наименьших квадратов со взвешиванием наблюдений, причем веса являются элементами матрицы, обратной ковариационной.

Теперь обратимся к случаю, когда ковариационная матрица неизвестна и подлежит оцениванию но экспериментальным данным. Дисперсии и ковариации являются мерами величин ошибок. Данные сами по себе не дают нам никакой информации о величине ошибки, кроме случая, когда мы имеем повторные измерения с одинаковыми ошибками. Например, если измерять длину объекта один раз, мы ничего не сможем сказать об ошибке измерения; если ее измерять дважды, разность измерений можно принять за оценку ошибки.

В общем случае, описанном измерения не повторяются: предполагается, что каждая ошибка имеет свою дисперсию Для того чтобы можно было оценить дисперсии, мы должны положить, что несколько параллельных измерений (или величин, рассчитываемых на основании этих измерений) имеют одинаковую дисперсию. Следующие ниже предположения являются типичными.

(а) Ошибки в различных экспериментах независимы.

(б) Ошибки в каждом эксперименте распределены с одной и той же ковариационной матрицей

Оба предположения можно объединить в двух выражениях:

След матрицы А есть сумма ее диагональных элементов, т. е. Отсюда Легко проверить, что

где матрица моментов остатков, определяемая как

При предположениях приведенных выше, функция правдоподобия принимает вид

Очевидно, что максимизация функции когда матрица V известна, эквивалентна минимизации

Сохранение коэффициента 1/2 в выражении, приведенном выше (и других постоянных коэффициентов, подобных этому, в других функциях цели, которые будут рассмотрены ниже), важно для перехода к байесовскому оцениванию, когда добавляется к (см. раздел 4.15).

Дальнейшая детализация получается, если рассмотреть следующее добавочное предположение:

(в) Все ошибки независимы, т. е. V — диагональная матрица,

тогда

В однооткликовом случае

где

Независимо от того, известно значение о или нет, максимизируется по 0 посредством минимизации Максимизация функции правдоподобия эквивалентна здесь использованию метода наименьших квадратов без взвешивания.