§ 2. Аппроксимация плотности вероятности р(х)

Широко известны методы аппроксимации распределения вероятностей (а значит, и плотности вероятности), основанные на построении гистограмм. Эти методы пригодны при весьма широких предположениях об аппроксимируемых функциях, но именно потому они и требуют знания большого числа точек, которое быстро растет с увеличением размерности пространства . В задачах обучения, которые интересуют нас в этой книге, приходится иметь дело с пространством высокой размерности, и методы построения гистограмм оказываются практически непригодными.

В этом параграфе мы изложим иной метод аппроксимации плотности вероятности, предложенный Н. Н. Ченцовым [12] и тесно промыкающий к излагаемому в этой книге кругу идей.

Пусть в пространстве X существует плотность вероятности . В соответствии с этой плотностью вероятности появляются точки Задача состоит в аппроксимации функции по этой последовательности точек.

Процедура, используемая в этом параграфе для решения задачи аппроксимации отличается следующей особенностью. Система функции предполагается конечной и ортонормированной, т. е.

где символ Кронекера, а потенциальная функция выбирается в виде

т. е. полагается и, следовательно,

Таким образом, пространство (см. § 4 гл. II) есть -мерное пространство функций, представимых разложением Как обычно, мы будем различать задачи восстановления и приближения функции При решении задачи восстановления предполагается, что т. е. функция представима рядом

При решении задачи приближения ниже предполагается лишь, что интеграл существует.

Предлагаемая в этом параграфе процедура получается из общей процедуры (гл. II) метода потенциальных функций, если положить в ней

так что процедура приобретает вид

В качестве последовательности участвующей в процедуре, как обычно, может быть выбрана любая

последовательность, удовлетворяющая одному из следующих двух условий:

или

Как всегда, процедура (6) допускает также персептронную реализацию вида (см. гл. II). При выборе в соответствии с (5) персептронная реализация приобретает вид

Процедура (9), как это обычно имеет место для процедур метода потенциальных функций, является градиентной по отношению к функционалу, вид которого может быть определен с помощью формулы (36а) главы II. Учитывая, что в рассматриваемом случае и что (так как все выбрав аддитивную константу в формуле в виде получим х

Принимая теперь во внимание, что в силу ортонормированности системы функций

и что

получаем для функционала выражение

Сходимость процедуры (6), (9) к минимуму функционала (10) устанавливает следующая теорема.

Теорема 1. Пусть существует интеграл Тогда в силу процедуры (6), (9) при

если выполнено условие (7), и

если выполнено условие (8).

Прежде чем перейти к доказательству теоремы I, заметим, что если представить в виде

где

то в силу ортонормированности системы функций функционал (10) можно записать следующим образом:

Поскольку второй член в правой части (13) не зависит от с, то минимум функционала достигается при

и равен

Поэтому для доказательства теоремы I достаточно показать, что (почти наверное или по вероятности) при Если при этом т. е. то

и в этом случае в силу теоремы т. е. процедура (6), (9) решает задачу восстановления функции Если же не представима разложением (4), то и теорема I устанавливает тогда, в каком смысле процедура (6), (9) приближает функцию

Доказательство теоремы Доказательство этой теоремы основано на использовании теорем § 3 главы Как уже было отмечено, для установления теоремы I надо доказать лишь, что (почти наверное или по вероятности) при Положим

где с определяются формулой (12), и установим связь, между В силу (9)

Вычислим условное математическое ожидание величины или обратив внимание на то, что в силу (12) После несложных преобразований получим

Сумма в последнем слагаемом равенства (16) не зависит от и может быть оценена сверху некоторой константой так как

по принятому всюду в этой книге предположению об ограниченности функции Имея в виду, что в условиях (7), (8) и что поэтому при достаточно больших из (16) получаем

Если теперь удовлетворяет условию (7), то последнее соотношение совпадает с условием теоремы III главы IV (поскольку в данном случае и из следует, что и . В силу утверждения этой теоремы

Если же последовательность удовлетворяет условию (8), то условие (17) совпадает с условием теоремы V главы IV, и в силу утверждения этой теоремы

Теорема I доказана.