Глава IX. О СХОДИМОСТИ РЕКУРРЕНТНЫХ АЛГОРИТМОВ ОБУЧЕНИЯ РАСПОЗНАВАНИЮ ОБРАЗОВ

§ 1. Определение понятия сходимости

В первой части книги задача обучения распознаванию образов была рассмотрена с точки зрения проблемы минимизации среднего риска, т. е. приводилась к следующей постановке: найти минимум функционала

,                  (9.1)

если функция  неизвестна, но зато дана случайная и независимая выборка .

Было установлено, что решение этой задачи может быть получено с помощью рекуррентных процедур вида

.                       (9.2)

Каждая такая процедура позволяет получать последовательность значений параметров :

,                  (9.3)

которая определяет последовательность величин

.                  (9.4)

Как последовательность (9.3), так и последовательность (9.4) суть случайные последовательности, которые порождаются реализацией случайного процесса (9.2).

Исследование сходимости алгоритмов, минимизирующих средний риск, сводится, таким образом, к исследованию сходимости последовательностей (9.3) и (9.4).

Существуют различные понятия сходимости случайных последовательностей. Ниже будут использованы два понятия: сходимость по вероятности и сходимость с вероятностью единица.

Определение 1. Последовательность случайных векторов  сходится к вектору  по вероятности, если, каково бы ни было  , вероятность выполнения неравенства

при  стремится к единице, т. е.

.

Факт сходимости по вероятности записывается так:

.

Определение 2. Последовательность случайных векторов  сходится к вектору  почти наверное (иногда говорят также с вероятностью единица), если, каково бы ни было , вероятность выполнения неравенства

при  стремится к единице, т. е.

.

Сходимость почти наверное принято обозначать так:

.

Приведенные определения сходимости случайных последовательностей отражают различные требования к понятию сходимости.

В первом случае событие  выделяет множество последовательностей, для которых выполняется условие  для заданного фиксированного . При этом каждая последовательность с ростом  может то удовлетворять этому условию, то не удовлетворять ему. Сходимость по вероятности есть в некотором смысле «слабая» сходимость – она не дает никаких гарантий того, что каждая конкретная реализация  сходится в обычном смысле.

Напротив, сходимость почти наверное есть понятие «сильной» сходимости. Оно означает, что почти все реализации сходятся в обычном смысле. Сходимость почти наверное может быть определена еще и так.

Определение 2а. Последовательность случайных величин  сходится почти наверное к , если вероятность множества реализаций, для которых существует предел

,

равна единице, т. е.

.

Легко видеть, что из сходимости почти наверное следует сходимость по вероятности. В самом деле, так как для любого  справедливо неравенство

,

то из условия

следует

.

Обратное утверждение, вообще говоря, неверно.

Нашей целью является установление условий сходимости случайных последовательностей (9.3), (9.4).

Для непрерывных  из сходимости последовательности (9.3) следует сходимость последовательности (9.4). Обратное утверждение, однако, неверно: может случиться так, что существует множество  точек , на котором функционал (9.1) достигает минимума. В этом случае различные реализации процесса (9.2) могут сходиться к различным элементам , в то время как последовательность (9.4) будет сходиться к одной и той же величине.

Постановка задачи обучения распознаванию образов сводится к минимизации функционала (9.1). Таким образом, исследованию подлежит сходимость последовательности (9.4). В том случае, когда точка минимума функционала (9.1) единственна, из сходимости (9.3) следует сходимость (9.4) и, наоборот, из сходимости (9.4) следует сходимость (9.3).

Итак, будем исследовать сходимость ряда (9.4), т. е. наша цель – определить условия, при которых

в том случае, когда  существует.