Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO
ГЛАВА 7. ОБУЧЕНИЕ В СИСТЕМАХ ПОСЛЕДОВАТЕЛЬНОГО РАСПОЗНАВАНИЯ НА ОСНОВЕ СТОХАСТИЧЕСКОЙ АППРОКСИМАЦИИ7.1. Обучение с поощрением с помощью стохастической аппроксимацииСтохастическая аппроксимация представляет собой процедуру последовательной оценки искомой величины (оцениваемого неизвестного параметра) в условиях, при которых вследствие стохастической природы задачи измерения или наблюдения содержат некоторые ошибки. Краткое введение в стохастическую аппроксимацию приведено в приложении Рассмотрим задачу оценки неизвестной вероятности
Так как
Если
то последовательные оценки
где
Для оценки коэффициентов
где Приведем здесь иное рассмотрение, преследуя две цели: во-первых, иллюстрировать применение стохастической аппроксимации к оценке параметра, и, во-вторых, чтобы показать связь метода байесовой оценки, описанного в § 6.1, с процедурой стохастической аппроксимации [2]. А. Оценка среднего вектора М при гауссовом распределении.Напомним формулы (6.7) и (6.8):
Добавляя и отнимая
Отметим, что (7.7) также является частным видом алгоритма стохастической аппроксимации. Сущность этого алгоритма легко можно увидеть в случае, когда
Пусть
удовлетворяющий условиям равенства нулю среднего значения и конечной дисперсии для каждой составляющей и для каждого
что удовлетворяет условиям (7.3). Тогда уравнение (7.8) принимает вид
Пусть теперь
тогда
где
Так как для начальной опенки
то
что подтверждает условие
Это просто означает, что (7.8) является частным случаем стохастической аппроксимации при сходимости оценок к истинному среднему вектору в среднеквадратичном с вероятностью единица. В. Оценка ковариационной матрицы К гауссова распределения.Перепишем уравнение оценки (6.14) в виде
Так как
то (7.17) принимает вид
Пусть
что удовлетворяет условиям (7.3). Можно показать, что (7.18) также является частным видом алгоритма процедуры стохастической аппроксимации Дворецкого [2]. Оценки, полученные из (7.18), сходятся к истинной ковариационной матрице (для каждого элемента) в среднеквадратичном с верятностью единица. Можно также показать, что байесова оценка среднего вектора и ковариационной матрицы гауссова распределения образует алгоритм стохастической аппроксимации. Детальный анализ этого мы опускаем. С. Оценка параметра биномиального распределения.Уравнение (6.29) можно переписать в следующем виде:
Введем величину
которая удовлетворяет условиям (7.3), и пусть
причем
Определим
Тогда (7.20) примет вид
где
При этом
удовлетворяет условиям
Условие Дворецкого
Наконец,
справедливо в силу предположений (7.23) относительно
Уравнения (7.28) и (7.29) вновь приводят к заключению о том, что сходимость оценок к истинному значению параметра D. Среднеквадратичная ошибка и оптимальная обучающая последовательность.На практике часто оказывается необходимым определять скорость сходимости алгоритма обучения, выраженную через среднеквадратичную ошибку оценки. В качестве примера рассмотрим алгоритм (7.10)
Пусть
Тогда, согласно (7.30),
где В — верхняя граница
где
то (7.33) принимает вид
Это означает, что для достаточно большого
Таким образом,
или
где
а помехи предполагаются стационарными, так что
для всех
Пусть начальная среднеквадратичная ошибка равна ошибки
где
|
1 |
Оглавление
|