7.2. Обучение без поощрения с помощью стохастической аппроксимации

В данном параграфе задача обучения без поощрения формулируется в общем виде как задача оценки параметров в совместном распределении. Для оценки неизвестных параметров применена процедура стохастической аппроксимации [2, 3]. Для иллюстрации интересно отметить, что алгоритм (6.33) также является частным видом алгоритма стохастической аппроксимации, у которого является гармонической последовательностью. Уравнение (6.33) можно переписать в следующем виде:

при где удовлетворяет условиям (7.3). Пусть

где истинное значение оцениваемого среднего. Тогда

где удовлетворяет условию Дворецкого Следовательно, сходимость оценок к истинному среднему значению в среднеквадратичном с вероятностью единица вытекает из теоремы Дворецкого.

Пусть в основу процесса обучения без поощрения положены следующие предположения.

(1) Существует классов распределений вероятностей, соответствующих классам образов, априорные вероятности которых фиксированы, но неизвестны.

(2) Функция распределения вероятностей (или плотности) каждого класса со характеризуется некоторым множеством параметров

(3) Предполагается, что обучающие наблюдения взяты из совместного распределения, построенного из составляющих распределений, т. е.

где обозначает функцию совместного распределения, характеризуемую параметрами и вероятностями

(4) Существуют несмещенные оценки некоторых статистик (например, первый момент, второй момент и т. д.). Функциональное соотношение между и множествами параметров и известно. Например, для каждого шага процесса обучения известно уравнение вида

(5) Имеются дополнительные соотношения, например вида обеспечивающие получение единственного решения для неизвестных параметров и

Если (1) — (5) выполняются с вероятностью единица, то истинные параметры и определяются в пределе уравнениями Процесс обучения тогда сводится к отысканию единственного решения для и с помощью функциональных соотношений где может быть получено из последовательных оценок задано априори или найдено с помощью вспомогательных процедур оценки. Ниже приводятся примеры для иллюстрации оценки и с помощью стохастической аппроксимации.

7.2.1. Иллюстрирующие примеры.

Пример 1. Пусть Каждая составляющая функция плотности характеризуется своим средним значением и дисперсией, т. е.

Совместная функция плотности характеризуется параметрами задано так

Задача заключается в оценке неизвестных параметров по классифицированным обучающим наблюдениям полученным из

Пусть первый, второй и третий моменты х для вычислены согласно (7.47)

Случай 1. Положим, что фиксированы и известны. Пусть является оцениваемым параметром. Из можно непосредственно определить

Остается лишь получить последовательные оценки значения Применим стохастическую аппроксимацию для получения асимптотической несмещенной оценки которая в свою очередь дает несмещенную оценку величины Определим оценку величины следующим образом:

где удовлетворяет условиям Таким образом, согласно теореме Дворецкого,

откуда следует, что

Таким образом, истинное значение оценено в среднеквадратичном с вероятностью единица.

Случай 2. Пусть известно и Задача заключается в оценке Уравнения (7.48) и (7.49) дают

Решения для можно получить путем оценки первого и второго моментов совместного распределения и поочередного применения формул (7.57) и (7.58). Как и в случае 1 можно применить процедуру стохастической аппроксимации для получения асимптотических несмещенных оценок моментов которые в свою очередь дадут несмещенные опенки величин

Случай 3. Пусть суть параметры, подлежащие оценке по первым трем моментам. Уравнения (7.48), (7.49) и (7.50) получают вид

Решая совместно (7.59), (7.60) и (7.61), получаем

Так как (7.62) является квадратным уравнением относительно то его дискриминант, как легко видеть, равен

Если подставить (7.59), (7.60) и (7.61) вместо моментов, дискриминант будет равен Так как то условием единственности решения будет

Таким образом, когда Для совместного распределения, параметры могут быть оценены с помощью (7.59), (7.60) и (7.61), если применить алгоритмы стохастической аппроксимации, дающие асимптотически несмещенные оценки величин В противном случае задача будет иметь несколько решений.

Отметим, что на каждом шаге описанного процесса обучения параметры последовательно оцениваются посредством оценок моментов совместных распределений. Сделанные в этих случаях допущения в сущности являются теми ограничениями, которые приходится иногда налагать на составляющие распределения с тем, чтобы получить единственное решение для неизвестных параметров, используя лишь статистики первого, второго и третьего порядков. В случае, когда неизвестны и не равны друг другу, потребуются моменты смешанного распределения более высокого порядка для получения достаточных функциональных связей между неизвестными параметрами.

Обычно, как в случае 3, неоднозначности следует ожидать при совместном решении нелинейных уравнений, полученных в результате применения данной процедуры. Единственное решение можно получить только в том случае, если имеется дополнительная информация о параметрах, гарантирующая, что именно полученное решение характеризует данное совместное распределение. Эти дополнительные ограничения вполне можно трактовать как условия идентифицируемости [5] при оценке совместного распределения с помощью стохастической аппроксимации.

Пример 2. Пусть Каждая составляющая в совместном распределении подчиняется биномиальному распределению

Пусть независимые одинаково распределенные случайные величины с функцией распределения

Задача заключается в оценке в предположении, что известно. Вычислим первый и второй моменты величины х для по формуле (7.63):

Чтобы получить единственное решение для параметров предположим, что и потребуем, чтобы Тогда можно определить, что

С помощью (7.66) и (7.67) можно получить последовательные оценки определив алгоритмы стохастической аппроксимации для отыскания оценок величин Так как алгоритмы стохастической аппроксимации дают асимптотически несмещенные оценки моментов то они в свою очередь дают несмещенные оценки для Отметим, что предположения (1) и являются априорной информацией, необходимой для получения единственной характеристики совместного распределения при известном Первое предположение представляет собой требование к объему выборки, а второе — условие, наложенное на параметры составляющих распределений.

7.2.2. Частный случай.

Если в (5.83) неизвестным является только множество то

Можно построить алгоритм стохастической аппроксимации для непосредственной оценки априорных вероятностей Эта задача формулируется [8, 9] как выбор минимизирующих

величину

где множитель Лагранжа. Решение получается путем совместного решения системы линейных уравнений, полученных приравниванием нулю частных производных по для что дает

где

(1) D - есть матрица, элементы которой равны

(2) - m-мерный вектор-столбец с составляющей ;

(3) - m-мерный вектор-столбец с составляющей

(4) есть -мерный вектор-столбец, все составляющих которого равны единице.

Требуется, чтобы определитель не был равен нулю. Тогда составляющая вектора удовлетворяющего (7.70), имеет вид

где алгебраическое дополнение элемента матрицы Так как (7.70) обладает единственным

решением и то где

Априорная вероятность может быть оценена по неклассифицированным независимым обучающим наблюдениям взятым из совместного распределения вероятности Пусть обозначает оценку Для оценки предлагается следующий алгоритм стохастической аппроксимации:

где а Последовательность удовлетворяет условиям (частный случай II Дворецкого). Согласно теореме Дворецкого

где -мерный вектор-столбец с составляющей и -мерный вектор-столбец с составляющей Из (7.75) средняя норма

где -мерный вектор-столбец с составляющей

случайная величина со средним значением, равным нулю, и дисперсией Пусть

Тогда, согласно (7.78),

Аналогично (7.39) и (7.40), итерируя (7.82) для

получим минимальное значение

когда