7.2.4. Обобщение на многомерный случай.

До сих пор метод стохастической аппроксимации рассматривался для случая одной переменной. Это делалось, главным образом, ради простоты изложения. Выводы и критерии для выбора последовательности остаются в силе и для многомерного случая, и предыдущее рассмотрение, включая доказательство сходимости, можно повторить без изменения, если заменить на

Таким образом, для метода Роббинса — Монро процедуру (7.33) можно переписать следующим образом:

где последовательность по-прежнему должна удовлетворять условиям (7.34) — (7.36). При условии, что дисперсия шума и функция регрессии ограничены, эта процедура гарантирует сходимость в среднем квадратичном и с вероятностью 1.

В методе Кифера — Вольфовица частные производные можно аппроксимировать следующим образом:

или

где — единичный вектор координаты . Тогда процедуру (7.54) можно обобщить на многомерный случай следующим образом:

На рис. 7.6 показано, как измеряются частпые производные; измерение по формуле (7.60) требует наблюдений, по формуле наблюдении. Как и в одномерном случае, гарантируется сходимость в среднем квадратичном и с вероятностью 1, при условии, что дисперсии шума и крутизна функции регрессии ограничены.

Рис. 7.6. Метод Кифера — Вольфовица для многомерного случая.

Теперь мы можем применить метод стохастической аппроксимации к задаче построения классификатора. Построим классификатор, минимизирующий среднеквадратичную ошибку, т. е. отклонение желаемого выхода фактического где для для Хотя здесь рассматривается только этот критерий, аналогично можно рассмотреть и другие критерии качества классификатора. Процедуру последовательной корректировки вектора параметров W (4.48) можно переписать следующим образом:

Другими словами, для модификации используются векторы выборочного среднего случайной величины Поэтому, если можно использовать все объектов для вычисления вектора выборочного среднего при данном то последовательная корректировка превращается в простой процесс оптимизации функции регрессии. Когда же для корректировки

можпо использовать лишь один объект в каждый момент времени, (7.63) принимает вид

Эта процедура идентична методу Роббинса — Монро для многомерного случая (7.59), где в (7.64) соответствует

Таким образом, хотя рассматриваемая задача является задачей поиска максимума, в этом случае имеется возможность вычислить частные производные на каждом шаге и применить более простой метод Роббинса — Монро, а метод Кифера — Вольфовица.

Пример 7.3. Применим метод Роббинса — Монро к задаче классификации шести объектов, приведенных в примере 7.2, которые линейно не разделимы и для которых метод предыдущего параграфа не позволяет построить сходящуюся последовательность

Таблица 7.3 (см. скан) Пример построения классификатора с использованисд! отдельных объектов

Результаты показаны в табл. 7.3, где начальное значение равно для — последовательность, принимающая значения Такая последоватеность

выбрана главным образом потому, что интуитивно чувствуется, что все шесть объектов должны вносить равный вклад в построение классификатора (по крайней мере на начальной стадии), а последовательность придает слишком большой вес объекту Последовательность удовлетворяет условиям (7.34)-(7.36). Легко видеть, что разделяющая прямая минимизирует среднеквадратичную ошибку, а табл. 7.3 показывает, что последовательность приближается к оптимальному классификатору.

Пример. 7.4, Для сравнения найдем последовательность воспользовавшись процедурой (7.63) вместо (7.64) для тех же шести объектов.

Таблица 7.4 (см. скан) Пример построения классификатора с использованием функции регрессии

В соответствии с этой процедурой вектор модифицируется после того, как предъявлены все шесть объектов. Результаты приведены в табл. 7.4. Начав процесс с и используя последовав тельность получаем оптимальный классификатор за две итерации.