§ 4. Экстремальные свойства законов Гаусса и Лапласа

В предыдущем параграфе было показано, что алгоритмы восстановления регрессии, полученные методами параметрической статистики зависят от принятой модели помехи. Поэтому необходимо уметь описывать ситуации, в которых следует применять ту или иную модель. Указывалось, что равномерной плотностью распределения вероятностей следует описывать помехи, которые возникают при округлении величин, нормальным законом плотности распределения вероятностей (законом Гаусса) — помехи, возникающие при измерениях, проводимых в одних и тех же условиях, законом Лапласа описываются помехи, возникающие

при измерениях в меняющихся условиях. Хотелось бы придать этим рекомендациям точный смысл.

В этом параграфе мы установим некоторые замечательные свойства нормального закона и закона Лапласа. Мы увидим, что нормальный закон обладает определенными экстремальными свойствами при абсолютной стабильности условий измерения, в то время как закон Лапласа обладает аналогичными экстремальными свойствами при «максимальной нестабильности» условий измерения.

Итак, покажем, что из всех непрерывных законов плотности распределения вероятностей, имеющих заданную величину дисперсии, нормальный закон обладает наибольшей энтропией. Иначе говоря, нормальный закон — это такой закон появления помехи, при котором величина замера будет зафиксирована в наибольшей степени неопределенно.

Будем оценивать степень неопределенности измерений в случае, когда ошибки определяются плотностью распределения вероятностей величиной энтропии Шеннона:

Найдем функцию удовлетворяющую ограничениям:

на которой достигается максимум энтропии (4.17). Здесь ограничения (4.18), (4.19) следуют из определения плотности, ограничение (4.20) отражает требование несмещенности помехи, а ограничение (4.21) фиксирует класс плотностей с заданной дисперсией.

Эта задача решается стандартным приемом — составляется функция Лагранжа, учитывающая ограничения

Выписывается уравнение Эйлера

Решение уравнения (4.22)

удовлетворяет ограничению (4.18) и, следовательно, определяет искомую плотность.

Для определения констант используются условия (4.19) — (4.21), из которых легко устанавливается, что

т. е. из всех непрерывных законов плотности распределения вероятностей, имеющих заданную величину дисперсии, нормальный закон обладает наибольшей энтропией (случайная величина распределена наиболее неопределенно).

Рассмотрим теперь более сложную модель образования помехи Каждый раз случайная величина является реализацией нормального закона имеющего нулевое среднее и некоторую дисперсию Однако каждый раз реализуется нормальный закон, имеющий свою величину дисперсии. Эта величина назначается случайно и независимо согласно плотности Таким образом, образуется закон

Такая схема хорошо отражает часто встречающиеся в практике случаи, когда при фиксированных условиях измерения реализуется нормальный закон. Однако условия измерения меняются случайно и независимо, и, таким образом, закон плотности распределения вероятностей задается композицией двух законов. В примере с измерением расстояния множитель в (4.24) отражает ошибки, которые возникали бы при работе в одних и тех же атмосферных условиях. Сомножитель отражает случайный характер состояния атмосферы. Если

условия измерений не меняются (крайний случай, когда где дельта-функция), то композиция (4.24) определяет нормальный закон. Мы же рассмотрим другой крайний случай, когда условия эксперимента меняются относительно среднего в «наибольшей степени неопределенно», т. е. когда функция такова, что доставляет максимум энтропии

и при этом удовлетворяет ограничениям:

Ограничения (4.26) и (4.27) вытекают из определения плотности распределения вероятностей. Ограничение же (4.28) задает средние условия проведения эксперимента.

Итак, найдем максимум энтропии (4.25) при условиях (4.26) — (4.28). Для этого выпишем функцию Лагранжа, учитывающую ограничения (4.27) и (4.28),

Получим уравнение Эйлера

Решение уравнения (4.29)

удовлетворяет ограничению (4.26) и, следовательно, определяет искомую плотность. Для определения констант и решение (4.29) подставим в (4.27) и (4.28), откуда получим

Таким образом, «наиболее неопределенные» условия проведения эксперимента задаются плотностью

Покажем теперь, что плотность распределения вероятностей заданная композицией плотностей (4.23) и (4.30), есть закон Лапласа, т. е.

Для того чтобы вычислить интеграл (4.31), воспользуемся следующим фактом, справедливым для интегрируемой на функции

Для доказательства тождества (4.32) положим Тогда

Но последний интеграл подстановкой приводится к виду

Таким образом,

Отсюда (в силу четности подынтегральной функции) и получаем тождество (4.32).

Преобразуем теперь левую часть выражения (4.31)

Из (4.33) в силу тождества (4.32) находим

То есть композиция (4.31) нормального закона и закона (4.30) задает закон плотности распределения вероятностей Лапласа (4.34).

Итак, мы установили, что при фиксированных условиях проведения эксперимента наиболее неопределенный результат измерения будет получен, если помеха распределена по нормальному закону, если же условия эксперимента меняются относительно некоторого среднего наиболее неблагоприятно, то самый неопределенный результат измерений будет получен, когда помеха возникает в соответствии с законом Лапласа.

Таким образом, выбор закона Гаусса или закона Лапласа зависит от того, являются ли условия эксперимента абсолютно стабильными или наиболее нестабильными.

На практике же редко реализуются крайние случаи. Поэтому ни закон Гаусса, ни закон Лапласа, как правило, не выполняются. Принято считать, что имеют место «промежуточные» случаи.

Таким образом, возникает ситуация, когда мы оцениваем регрессию в предположении, что справедлив некоторый гипотетический закон распределения помехи, например, Гаусса или Лапласа, в то время как на самом деле реализуется другой закон («промежуточный»). В какой мере окажутся полезными в этой ситуации рассмотренные алгоритмы (4.11)- (4.13)? Иначе говоря, вопрос заключается в том, в какой мере устойчивыми к изменению закона распределения помехи являются рассмотренные

алгоритмы восстановления зависимостей и как следует конструировать устойчивые алгоритмы? Ответ на этот вопрос составляет содержание следующих параграфов главы.