6.3.3. Алгоритм наименьшей среднеквадратичной ошибки
Алгоритм, построенный в п. 6.3.2, аппроксимирует плотность распределения 
в смысле минимизации абсолютной величины расхождения. С тем же успехом для построения алгоритма обучения можно воспользоваться аппроксимацией по критерию наименьшей среднеквадратичной ошибки (НСКО). Рассмотрим функцию критерия
Эта функция также, как и требуется, достигает минимума при правильной классификации всех образов.
Взяв частную производную функции критерия 
по вектору весов 
, получим
Положив 
и подставив эту функцию в общее выражение (6.3.8) для алгоритма, получим
где начальное значение весового вектора 
выбирается произвольным образом, а 
равно 1 или 0 в зависимости от того, входит образ 
в класс 
или нет. Отметим, что этот алгоритм также на каждом шаге итерации корректирует значения вектора весов 
но величины этих коррекций отличаются от коррекций, вводимых алгоритмом из 
множителями 
. НСКО-алгоритм сходится к решению, минимизирующему функцию критерия (6.3.16), при выполнении следующих условий (Блейдон [1967]):
1) элементы последовательности 
удовлетворяют условиям (6.2.5);
2) математические ожидания 
существуют и положительно определены;
3) математические ожидания 
существуют.
При разделении двух классов уравнение (6.3.18) принимает вид
где начальное значение вектора весов 
произвольно. Следует иметь в виду, что формулировка алгоритма предполагает, что решения принимаются на основе правила 
сформулированного в (6.3.15).
Пример. Решим тот же пример из 
воспользовавшись НСКО-алгоритмом. Пополненные образы образуют классы 
.
Положим 
и применим алгоритм (6.3.19); получим
На следующем шаге 
. Поэтому
Легко убедиться в том, что 
следующем шаге 
поскольку образ 
принадлежит классу 
так что
Рис. 6.5. Разделяющая граница, найденная с помощью метода наименьшей среднеквадратичной ошибки.
Продолжая эту процедуру и проверяя после каждого шага итерации правильность классификации всех образов с помощью
нового вектора весов, мы обнаруживаем, что НСКО-алгоритм сходится при 
определив вектор весов
Как и в предыдущем примере, разделяющая граница определяется уравнением 
т. е.
Образы, использованные в этом примере, и соответствующие разделяющие поверхности приведены на рис. 6.5.
