§ 3. Априорная информация в задачах восстановления зависимостей по эмпирическим данным

Итак, для того чтобы получить гарантированное решение задачи минимизации среднего риска по ограниченному объему эмпирических данных, необходимо использовать априорную информацию о возможных выбросах случайных величин Величины возможных выбросов могут быть охарактеризованы либо абсолютной оценкой величины потерь (2.17), либо оценкой относительной величины дисперсии (2.18).

Насколько же обременительно получение априорной информации об абсолютной или относительной оценках для рассматриваемых в этой книге задач восстановления зависимостей: обучения распознаванию образов, восстановления регрессии, интерпретации результатов косвенных экспериментов?

Замечательная особенность задачи обучения распознаванию образов состоит в том, что для нее абсолютная величина потерь всегда не превосходит единицу. Действительно, согласно постановке задачи распознавания,

функция потерь

равна либо нулю, либо единице.

Таким образом, существование априорной абсолютной оценки величины потерь в задаче обучения распознаванию образов является тривиальным фактом.

В отличие от задачи распознавания образов, в задачах восстановления регрессии или интерпретации результатов косвенных экспериментов существование абсолютной оценки величины потерь — факт далеко не тривиальный. Чаще оказывается, что абсолютной оценки не существует. Такая ситуация возникает уже при восстановлении линейной регрессии. В самом деле, функция потерь в этом случае равна

и если на значения параметров а не наложено никаких специальных ограничений, то в классе линейных функций найдется такая функция, что величина потерь может стать достаточно большой, даже если величины у и х ограничены.

Поэтому при решении задач восстановления регрессии и интерпретации результатов косвенных экспериментов будем использовать информацию не об абсолютной оценке возможных потерь, а об оценке относительной величины дисперсии потерь.

В каком же соотношении находится эта априорная информация с обычно используемой априорной информацией в задаче восстановления зависимостей?

Зафискируем в функцию а. Тогда плотность распределения вероятностей индуцирует случайную величину

и, следовательно, оценка относительной величины дисперсии есть априорная информация о плотности распределения вероятностей случайных величин

Если бы величина для любого а была распределена по нормальному закону, то оценка относительной

величины дисперсии потерь была бы равна

независимо от параметров закона.

Если бы величина для любого а была распределена по равномерному закону, то оценка равнялась бы

Наконец, если бы величина для любого была распределена по закону Лапласа, то оценка равнялась бы

Эти оценки также не зависят от параметров закона.

Априорная информация о распределении в терминах оценки относительной величины дисперсии потерь является минимальной априорной информацией, которая будет использоваться в книге.

Другим видом априорной информации, которая обычно используется при восстановлении функциональной зависимости (см. гл. IV и V), является тип плотности распределения вероятностей случайной величины а (например, задается нормальный закон, или закон Лапласа). Необходимость задания такой априорной

информации является значительно более сильным требованием, чем задание оценки относительной величины дисперсии потерь.

В самом деле, гипотеза о том, что допускает возможность нормального закона, равномерного закона, закона Лапласа и многих других, в то время как гипотеза о конкретном виде распределения позволяет получать гарантированные результаты только при этом фиксированном типе распределения.