§ 4. Об оценке качества алгоритмов восстановления плотности вероятностей

Итак, построение дискриминантной функции по эмпирическим данным сводится к восстановлению законов распределения и оценке параметра

Параметр определяет долю пар и может быть оценен величиной где число пар в выборке с объем выборки.

Какие же алгоритмы следует использовать для восстановления плотности распределения вероятностей

Для того чтобы ответить на этот вопрос, надо, прежде всего, договориться о том, как следует оценивать качество алгоритмов восстановления плотности на выборках ограниченного объема.

Качество фиксированного алгоритма восстанавливающего по выборке плотность естественно определить как расстояние от этой плотности до восстановленной функции т. е. величиной

Будем определять близость плотностей метрикой т. е.

Поскольку выбор плотности зависит от состава выборки величина является случайной. Будем характеризовать качество алгоритма А математическим ожиданием величины

Для восстановления плотности на выборках длины I тот алгоритм лучше, для которого величина меньше.

Итак, определено, как должно измеряться качество алгоритма предназначенного для восстановления фиксированной плотности Теперь следует договориться о том, как измерять качество алгоритма, предназначенного для восстановления любой плотности, тринадлежащей заданному классу нашем

случае класс плотностей задан с точностью до значения вектора параметров а).

В теории статистических решений в таких ситуациях используются два принципа:

— принцип Байеса,

— принцип минимакса.

Принцип Байеса состоит в том, чтобы оценивать качество алгоритма как среднее качество по множеству восстанавливаемых плотностей. Для того чтобы оценить среднее качество алгоритма, надо знать, как часто придется восстанавливать тот или иной закон из т. е., в нашем случае, знать плотность распределения вероятностей вектора параметров а. Тогда качество алгоритма определится так:

Тот алгоритм А считается лучшим, для которого величина меньше.

Принцип минимакса состоит в том, чтобы оценивать качество алгоритма по наиболее неблагоприятному для данного алгоритма распределению а.

Здесь, напротив, совершенно не принимается во внимание то, какие плотности придется восстанавливать на практике. Поэтому может оказаться, что качество алгоритма определяет случай, который никогда не встретится.

Качество алгоритма, согласно принципу минимакса, определяется так:

Тот алгоритм считается лучшим, для которого величина меньше.