ГЛАВА 4. Оптимальные на классе функции потерь

§ 4.1. Априорная информация о помехах и классы распределений

До сих пор мы предполагали, что плотность распределения помех полностью известна. Это позволило определить оптимальную Функцию потерь и сформировать абсолютно оптимальные алгоритмы, обладающие предельно возможной максимальной скоростью сходимости, которая не может быть превзойдена никакими иными алгоритмами. Если плотность распределения помех известна с точностью До параметра масштаба, то можно также определить с точностью до параметра оптимальную функцию потерь и сформировать абсолютно оптимальные алгоритмы с настройкой параметра масштаба.

Часто столь полная априорная информация о помехах отсутствует. Это значит, что плотность распределения помех полностью не известна, однако могут быть известны какие-либо сведения о которые определяют тот или иной уровень априорной информации. Каждому уровню априорной информации о помехах соответствует определенный класс распределений V, которому принадлежит неизвестная нам истинная плотность распределения помех Чем ниже Уровень априорной информации о помехах, тем шире

соответствующий класс распределений. Так, при полной априорной информации, т. е. априорной информации максимального уровня, мы приходим к наиболее узкому классу распределений, включающему единственную плотность распределения. При априорной информации минимального уровня, соответствующей лишь факту существования плотности распределения, мы приходим к наиболее широкому классу распределений, включающему все плотности распределения.

Далее мы будем интересоваться только симметричными непрерывными унимодальными плотностями распределения

имеющими конечную фишеровскую информацию, не оговаривая этого каждый раз. Естественно, все плотности распределения должны удовлетворять условиям неотрицательности и нормировки

Условия (4.1.1) и (4.1.2) для упрощения записи мы не будем выписывать каждый раз при определении классов распределений помех.

Приведем примеры типовых классов распределений, которые представляются наиболее естественными и удобными для описания априорной информации о помехах.

класс нееыроясденныг распределений:

Этот класс распределений — наиболее широкий. В него входят все плотности распределения, для которых значение в нуле отделено от нуля. Условие принадлежности плотности распределения этому классу: по существу, близко к полному отсутствию априорной информации о помехах.

класс распределений с ограниченной дисперсией:

К этому классу относятся распределения, дисперсия которых равномерно ограничена. Распределения Коши, разумеется, не входят в этот класс.

класс приближенно нормальных распределений:

Плотности распределения, входящие в этот класс, представляют собой смесь нормальной, или гауссовой плотности распределения

с нулевым средним и дисперсией и произвольной плотностью распределения Параметр характеризует степень «засорения» нормальной плотности распределения; соответствует чистой нормальной плотности распределения, а соответствует полному отсутствию информации о плотности распределения.

— класс приближенно экспоненциальных распределений:

Плотности этого класса представляют собой смесь двойной экспоненциальной, или лапласовой плотности распределения с нулевым средним и параметром масштаба и произвольной неизвестной плотности распределения Параметр характеризует степень близости к экспоненциальной плотности распределения

— класс приближенно равномерных распределений:

Входящие в этот класс плотности распределения представляют собой смесь равномерной плотности распределения с нулевым средним и параметром финптности и произвольной неизвестной плотности распределения Параметр характеризует степень близости к равномерной плотности распределения класс финитных распределений:

Этот класс соответствует ограниченности по абсолютной величине помехи (т. е. с вероятностью единица При этом какие-либо дополнительные сведения о плотности распределения помехи отсутствуют.

класс приближенно финитных распределений:

Параметр характеризует степень приближения к финитной плотности распределения. Условие, определяющее этот класс, означает, что с вероятностью имеет место неравенство Очевидно, что класс финитных плотностей распределения является частным случаем класса

Наряду с этими основными классами распределении введем более узкие классы, которые получаются из основных введением дополнительных ограничений снизу или сверху на дисперсии

классы невырожденных распределений с ограниченной снизу или сверху дисперсией:

и

Эти классы выделяют из общего класса плотности распределения, дисперсия которых не меньше или не больше заданного значения класс распределений с ограниченной снизу дисперсией:

Этот класс распределений, в отличие от класса охватывает все плотности распределения, дисперсия которых не меньше заданной величины в отличие от класса не налагается ограничение на значение — классы приближенно нормальных распределений с ограниченной дисперсией:

и

классы приближенно экспоненциальных распределений с ограниченной дисперсией:

и

классы приближенно равномерных распределений с ограниченной дисперсией:

и

Интервал финитности, определяемый параметром может быть не фиксирован.

Отметим, что в классах распределений дисперсия «засоряющей» плотности распределения ограничена снизу (4.1.14), (4.1.16), (4.1.18) или сверху (4.1.15), (4.1.17), (4.1.19).

классы финитных распределений с ограниченной дисперсией:

и

Естественно, для этих классов величина не произвольна, она не может превосходить по крайней мере дисперсии равномерного распределения, т. е. Интервал финитности может быть не фиксирован.

— классы приближенно финитных распределений с ограниченной дисперсией:

и

Здесь, как и ранее,

Число классов распределений можно существенно увеличить, если, например, выбрать в классах, подобных в качестве основных плотностей распределения какие-либо симметричные плотности распределения, отличные от нормальной, двойной экспоненциальной и равномерной (см. табл. 2.1). Однако мы не будем этого делать. Оставим эту возможность заинтересованному читателю.

Заданные плотности распределения определяющие оптимальные функции потерь, можно рассматривать как плотности распределения, принадлежащие вырожденным классам типа при

Приведенные классы распределений хотя и не исчерпывают все возможности, но они достаточно типичны и соответствуют широкому

диапазону уровней априорной информации о помехах: от почти полного незнания плотности распределения (класс ) до полного знания плотности распределения (классы типа при Все эти классы распределений, как нетрудно в этом убедиться, выпуклые.