3.4. ОБУЧЕНИЕ ПРИ ВОССТАНОВЛЕНИИ СРЕДНЕГО ЗНАЧЕНИЯ НОРМАЛЬНОЙ ПЛОТНОСТИ

3.4.1. СЛУЧАЙ ОДНОЙ ПЕРЕМЕННОЙ

В данном разделе мы рассмотрим вычисление апостериорной плотности и требуемой плотности для случая, когда а вектор среднего значения есть неизвестный вектор параметров. Для простоты начнем с одномерного случая, при котором

где единственной неизвестной величиной является среднее значение Предположим, что любое исходное знание, которое мы можем иметь можно выразить посредством известной априорной плотности Кроме того, можно предположить, что

где и известны. Грубо говоря, величина есть наше лучшее исходное предположение относительно отражает неуверенность в отношении этого предположения. Предположение о том, что априорное распределение для (а нормальное, в дальнейшем упростит математические выражения. Однако решающее предположение заключается не столько в том, что априорное распределение нормально, сколько в том, что оно существует и известно.

Выбрав априорную плотность для можно представить ситуацию следующим образом. Вообразим, что величина получена из множества, подчиняющегося вероятностному закону Будучи однажды получена, эта величина представляет истинное значение и полностью определяет плотность для х. Предположим теперь, что из полученного множества независимо взято выборок Положив воспользуемся байесовским правилом, чтобы получить выражение

где а — масштабный множитель, зависящий от X, но не зависящий от Из этого уравнения видно, как наблюдение выборочного множества влияет на наше представление об истинном значении , «превращая» априорную плотность в апостериорную плотность как то имеем

где множители, не зависящие от включены в константы а и Таким образом, представляющая собой экспоненциальную функцию квадратичной функции от также является нормальной плотностью. Так как это остается в силе для любого числа выборок, то остается нормальной, когда число выборок возрастает, и называют воспроизводящей плотностью. Если воспользоваться то значения могут быть найдены приравниванием коэффициентов из уравнения (18) соответствующим коэффициентам из выражения

Отсюда получаем

и

где есть выборочное среднее

Решая уравнения в явном виде относительно получаем

и

Из этих уравнений видно, как комбинация априорной информации и эмпирической информации выборок дает апостериорную плотность . Грубо говоря, представляет наше лучшее предположение относительно после наблюдения выборок, а отражает нашу неуверенность относительно этого предположения. Так как монотонно убывает с ростом , стремясь к при стремлении к бесконечности, каждое добавочное наблюдение уменьшает нашу неуверенность относительно истинного значения

Рис. 3.2. Обучение среднему при нормальной плотности.

При возрастании функция все более заостряется, стремясь к дельтафункции при Такое поведение обычно называется байесовским обучением (рис. 3.2).

Вообще представляет линейную комбинацию с неотрицательными коэффициентами, сумма которых равна единице. Поэтому значение всегда лежит между При величина стремится к выборочному среднему при стремлении к бесконечности. Если то получаем вырожденный случай, при котором априорная уверенность в том, что настолько

тверда, что никакое число наблюдений не сможет изменить нашего мнения. При другой крайности, когда мы настолько не уверены в априорном предположении, что принимаем исходя при оценке только из выборок. Вообще относительный баланс между исходным представлением и опытными данными определяется отношением называемым иногда догматизмом. Если догматизм не бесконечен, то после получения достаточного числа выборок предполагаемые конкретные значения не играют роли, а стремится к выборочному среднему.

3.4.2. СЛУЧАЙ ОДНОЙ ПЕРЕМЕННОЙ

После получения апостериорной плотности остается только определить «условную по классу» плотность Из уравнений (14), (15) и (19) имеем

где

Следовательно, поскольку плотность как функция х пропорциональна , то плотность распределена нормально со средним и дисперсией

Другими словами, для получения «условной по классу» плотности имеющей параметрическую форму следует просто заменить на на По сути дела, с условным средним обращаются так, как если бы оно было истинным средним, а увеличение дисперсии характеризует дополнительную неопределенность х из-за недостаточно точного представления о среднем значении Это и является окончательным результатом: плотность есть требуемая условная по классу плотность которая с априорными вероятностями составляет вероятностную информацию, требуемую для построения байесовского классификатора.

3.4.3. СЛУЧАЙ МНОГИХ ПЕРЕМЕННЫХ

Исследовать случай многих переменных можно, непосредственно обобщив случай с одной переменной. Поэтому мы ограничимся лишь беглым наброском относящихся к нему доказательств. Как и прежде, положим, что

и

где предполагаются известными. После того как получено множество , содержащее независимых выборок можно применить байесовское правило и получить выражение

которое представим в виде

Таким образом, и мы снова получили воспроизводящую плотность. Приравнивая коэффициенты, получим уравнения, аналогичные (20) и (21):

и

где есть выборочное среднее

Решение этих уравнений относительно можно облегчить, если принять во внимание матричное тождество

справедливое для двух любых невырожденных матриц А и В размера После несложных преобразований приходим к окончательному результату:

и

Для доказательства того, что надо, как и прежде, произвести интегрирование

Вместе с тем к тому же результату можно прийти с меньшими затратами, если принять во внимание, что х можно рассматривать как сумму двух случайных переменных — случайного вектора такого, что и независимого случайного вектора у, такого, что . В связи с тем что сумма двух независимых нормально распределенных векторов есть также нормально распределенный вектор со средним значением, равным сумме средних значений, и ковариационной матрицей, равной сумме ковариационных матриц, получим

что и завершает наше обобщение.