6.2. Обучение без поощрения на основе байесовых методов оценки

Поскольку в случае обучения без поощрения правильная классификация обучающих наблюдений неизвестна, то почти невозможно точно отнести каждое обучающее наблюдение к правильному классу образов для корректирующей информации. Поэтому единственный метод состоит в том, что задача обучения без поощрения формулируется как задача оценки параметров общего распределения (называемого совместным распределением [7]). Обучающие наблюдения считаются принадлежащими к этому совместному распределению, а его составляющие могут быть распределениями каждого класса образов, или распределениями, соответствующими различным разбиениям пространства наблюдений (признаков).

Функция совместного распределения (или плотности) получается, когда множество обучающих наблюдений может быть разбито на ячеек Например, если каждое может относиться к одному из классов распределений, то Совместное распределение определяется следующим

образом:

где называется условным распределением для разбиения, параметром разбиения. Если считать, что совместное распределение характеризуется множествами некоторых параметров, то параметрически-условное совместное распределение может быть построено на основе семейства параметрически-условных распределении с двумя множествами параметров Основное уравнение (6.30) запишется в виде

Задачу обучения без поощрения можно теперь свести к отысканию единственного решения для и при заданном Известно, что класс совместных распределений, для которых существует единственное решение для и ограничен и возможность получения единственного решения будет зависеть от идентифицируемости данного совместного распределения [8, 9]. Параметрически-условное совместное распределение можно рассматривать как образ при некотором отображении множества параметров и определяемом согласно (6.31). Говорят, что идентифицируемо, есть есть взаимно однозначное отображение и на

Следует заметить, что вопрос об идентифицируемости есть вопрос об однозначности характеристики. То есть для любого частного семейства разбиений совместное распределение однозначно определяет множество параметров и Ясно, что если задача обучения без поощрения такова, что совместное распределение не однозначно характеризуется параметрами и (не идентифицируемо), то задача не имеет однозначного решения. Метод оценки этих параметров зависит от частной задачи. В этом параграфе

рассматривается обучение без поощрения, использующее метод байесовой оценки.

А. Оценка параметров решающей границы.

Пусть имеются обучающих наблюдений взятых от одного из двух классов образов, которые имеют одномерные гауссовы распределения с какими-то неизвестными параметрами. Оптимальная решающая граница, минимизирующая вероятность ошибочного распознавания при классификации наблюдений в один из двух классов образов, является в общем случае функцией априорных вероятностей, средних и дисперсий. В частности, известно, что в непоследовательном байесовом процессе классификации (см. § 1.4) при равных априорных вероятностях и равных дисперсиях оптимальная решающая граница есть среднее от двух средних. В случае схемы обучения с поощрением эти два средних могут быть легко оценены по классифицированным обучающим наблюдениям. При обучении без поощрения задача может рассматриваться как оценка среднего для совместного распределения где [10]

Из (6.32) нетрудно видеть, что оптимальная решающая граница является просто средним этого совместного распределения Для его оценки (изучения) используется выборочное среднее

Этот подход может быть распространен на задачи с неравными априорными вероятностями и с многомерными совместными гауссовыми распределениями. Было показано [11], что решения этих задач связаны с оценкой моментов более высокого порядка совместного распределения.

В. Оценка параметров совместных распределений.

Предположим, что имеется два класса образов Вид функции плотности вероятности известен, но неизвестен некоторый параметр и полностью известна Задача состоит в оценке параметра по обучающим наблюдения с неизвестными классификациями. Поскольку правильные классификации обучающих наблюдений неизвестны, каждое наблюдение может рассматриваться происходящим как из класса так и из класса Если последовательность разбить на все возможные комбинации по классам то всего будет таких комбинаций. Пусть обозначает разбиение последовательности тогда апостериорная плотность вероятности будет

Теперь задача свелась к обучению с поощрением для каждого из разбиений [12]. Оценка производится путем взятия взвешенной суммы результатов, полученных для каждого разбиения, с весами, равными вероятностям каждого разбиения Из (6.34) видно, что объем вычислений растет экспоненциально с увеличением По этой причине данный метод оказывается непрактичным при большом числе обучающих наблюдений.

Для преодоления затруднений, связанных с экспоненциальным ростом объема вычислений, развито другое решение этой задачи [13]. Применяя теорему Байеса, получим

Предположим, что обучающие наблюдения условно независимы, т. е.

Таким образом, функция

есть комбинация Предположение об условной независимости служит главным основанием для того, чтобы не хранить в памяти все обучающие наблюдения. Подставляя (6.37) в (6.35), получим рекуррентное соотношение для оценки 8 в виде

Если известны, то по формуле (6.38) можно вычислить Предположим, что известны. Для отыскания при всех значениях следует предположить, что к величине можно применить конечное квантование, чтобы объем вычислений был конечным.

В случае нескольких классов, если неизвестные параметры имеются у более чем одного класса образов, обозначим через неизвестный параметр, относящийся к классу Предполагая условную независимость обучающих наблюдений и независимость параметров можно получить аналогичное (6.38) рекуррентное соотношение для оценки

В общем случае либо либо должны быть различны. В противном случае вычисления для всех 0; будут оценивать одно и то же (так как вычисляется одна величина) и система в целом ничему не будет обучена.