3.6. ДОСТАТОЧНЫЕ СТАТИСТИКИ

На практике формальное решение задачи, задаваемое (14), (34) и (35), лишено привлекательности из-за большого объема вычислений. В задачах классификации образов нередко приходится иметь дело с десятками и сотнями неизвестных параметров и тысячами выборок, что крайне затрудняет непосредственное вычисление и составление таблиц для или Вся надежда на то, что для преодоления трудности вычислений можно будет найти параметрическую форму которая, с одной стороны, будет соответствовать. существу поставленной задачи, а с другой стороны, даст возможность получить удовлетворительное аналитическое решение.

Рассмотрим, какого рода упрощения можно достичь при решении задачи обучения среднему значению в случае многих нормально распределенных переменных. Если предположить, что априорная плотность нормальна, то апостериорная плотность также будет нормальной. В равной степени важно и то, что, согласно (31) и (32), главная цель наших действий по обработке данных — это просто вычисление выборочного среднего . В этой статистике, вычисление которой не требует сложных математических преобразований, содержится вся информация, получаемая из выборок и требуемая для получения неизвестного среднего по множеству. Может показаться, что простота эта связана всего лишь с еще одним хорошим свойством, присущим именно нормальному распределению, а в других случаях ее трудно было бы ожидать. Хотя это в большой степени и верно, однако существует группа распределений, для которых можно получить решения, удобные с точки зрения вычислений, причем простота их применения заложена в понятии достаточной статистики.

Прежде всего заметим, что любая функция выборок является статистикой. Грубо говоря, достаточная статистика s есть такая

функция выборок , которая содержит полную информацию об оценке некоторого параметра Интуитивно может показаться, что под этим определением достаточной статистики подразумевается удовлетворение требованию Отсюда, однако, последует необходимость обращения с как случайной величиной, из-за чего придется ограничиться байесовским подходом. Стандартное определение поэтому формулируется в следующем виде: говорят, что статистика s будет достаточной для , если не зависит от . Полагая случайной величиной, можно написать

откуда становится очевидным, что если s достаточна для . И обратно, если s есть статистика, для которой , и если то легко показать, что не зависит от . Таким образом, интуитивное и стандартное определения, по сути дела, эквивалентны.

Основной теоремой для достаточных статистик является теорема факторизации, которая утверждает, что s достаточна для тогда и только тогда, когда можно представить как произведение двух функций, одна из которых зависит только от s и , а другая — только от выборок. К достоинствам теоремы следует отнести то, что при определении достаточной статистика она позволяет вместо рассмотрения сравнительно сложной плотности воспользоваться более простой функцией вида

К тому же, согласно теореме факторизации, выясняется, что свойства достаточной статистики полностью определяются плотностью и не связаны с удачным выбором априорной плотности Доказательство теоремы факторизации для непрерывного случая несколько затруднительно, так как включает вырожденные ситуации. В связи с тем что это доказательство все же представляет определенный интерес, мы приведем его для простейшего дискретного случая.

Теорема факторизации. Статистика s достаточна для тогда и только тогда, когда вероятность можно записать в виде произведения

    (37)

Доказательство, а) Допустим сначала, что s достаточна для , т. е. не зависит от . Так как наша цель состоит

в том, чтобы показать, что можно представить в виде произведения, сосредоточим внимание на выражении через . Проделаем это, суммируя совместные вероятности для всех значений

Но, поскольку возможно лишь одно значение для s, так что

Кроме того, так как, согласно предположению, не зависит от , первый множитель зависит только от X. Отождествляя , можно видеть, что вероятность представима в виде произведения, что и требовалось доказать.

б) Для того чтобы показать, что из существования представления в виде произведения следует достаточность статистики s для , надо показать, что такое представление означает независимость условной вероятности от . Так как то установление величины s сводит возможные множества выборок к некоторому множеству . Формально это означает, что . Если пусто, то никакие заданные значения выборок не могут привести к требуемой величине s, и Исключив такие случаи, т. е. рассматривая только те значения s, которые могут быть получены, придем к выражению

Знаменатель выражения можно вычислить, просуммировав значения числителя для всех значений . Так как числитель будет равен нулю в случае , то можно ограничиться суммированием только для . Таким образом,

Но в соответствии с соображениями, которыми мы руководствовались ранее, , так как . Кроме того, следует иметь в виду, что, согласно принятой гипотезе, Таким образом, приходим к выражению

которое не зависит от . Отсюда, согласно определению, s достаточна для .

Как будет показано, существуют простые способы построения достаточных статистик. Например, можно определить s как вектор, компоненты которого представлены выборками так что Можно даже построить скалярную достаточную статистику, пользуясь приемом вписания цифр в десятичных разложениях компонент для выборок. Достаточные статистики такого сорта существенного интереса не представляют, так как не приводят к более простым результатам. Возможность представления функции в виде произведения интересна только в случае, когда функция g и достаточная статистика s просты.

Следует также заметить, что выражение в виде произведения очевидно, не единственно. Если есть любая функция от s, то есть эквивалентные множители. Такого рода неопределенность можно исключить, введя понятие ядра плотности

которое инвариантно для этого вида оценок.

Каково же значение достаточных статистик и ядер плотности при оценке параметров? Общий ответ состоит в том, что функции плотности, содержащие достаточные статистики и простые ядра плотности, используются при практическом оценивании параметров для классификации образов. В случае оценки по максимуму правдоподобия, когда отыскивается величина 0, которая максимизирует можно вполне удовлетвориться величиной . В этом случае нормирование посредством (38) не дает больших преимуществ, если не проще, чем Удобство применения ядра плотности выявляется в байесовском случае. Если подставить в , то получим

Если наше апостериорное знание о очень неопределенно, то близка к постоянной, мало меняясь с изменением 0. Если близка к равномерной, то примерно равна ядру плотности. Грубо говоря, ядро плотности представляет апостериорное

распределение параметрического вектора в случае, когда априорное распределение равномерно. Даже когда априорное распределение сильно отличается от равномерного, ядро плотности обычно дает асимптотическое распределение вектора параметров. В частности, когда не дифференцируема и число выборок велико, обычно имеет острый пик при некотором значении . Если априорная плотность непрерывна при не равна нулю, то функция приближается к ядру плотности