ГЛАВА 2. Оптимальные функции потерь
§ 2.1. Эмпирические средние потери и оценки оптимального решения
Под эмпирическими средними потерями подразумевается среднее арифметическое функций потерь от невязок для всех наблюдений, полученных к моменту 
Эмпирические средние потери 
получаются из средних потерь (1.4.1)
при замене плотности распределения 
на эмпирическую плотность распределения
где 
функция Дирака: 
при 
при 
Назовем оптимальной выборочной оценкой такую оценку 
для которой при каждом 
эмпирические средние потери (2.1.1) минимальны. Оптимальная выборочная оценка
удовлетворяет условию оптимальности, которое для эмпирических средних потерь имеет вид
где, принимая во внимание (1.4.14), градиент эмпирических средних потерь равен
Условие оптимальности лежит в основе как методов исследования свойств оценки 
так и методов фактического определения ее.
Далее мы будем рассматривать лишь такие ситуации, когда оптимальное решение с и его оптимальная выборочная оценка единственны, не оговаривая этого каждый раз.
При некоторых предположениях, касающихся гладкости функций потерь и выпуклости функций эмпирических средних потерь, а также устойчивости идентифицируемых объектов, имеет место сходимость в вероятностном смысле эмпирических средних потерь 
к средним потерям 
и оптимальной выборочной оценки 
к оптимальному решению с. Различают сходимость по вероятности, в среднеквадратичном и почти наверное, или с вероятностью единица.
Для эмпирических средних потерь при выполнении условий усиленного закона больших чисел имеет место сходимость почти наверное,
т. е.
или, кратко,
Если при этом матрица Гессе положительно определена
То выборочная оценка 
сходится почти наверное к с, т. е.
или, кратко,
Для того чтобы убедиться в этом, рассмотрим условие оптимальности (2.1.5), которому удовлетворяет оценка 
Разлагая 
в ряд Тейлора относительно с и ограничиваясь линейным приближением, получим вместо (2.1.5) приближенно
Если выполнены условия усиленного закона больших чисел, то
и
поэтому из (2.1.12) получаем
Таким образом, с ростом 
оценка 
сходится к оптимальному решению с почти наверное.
