1.6. Обучение в системах последовательного распознавания образов

В предыдущих параграфах предполагалось, что известна вся информация, относящаяся к статистическим характеристикам образов каждого класса, например, На практике, однако, эта информация, необходимая для оптимального построения устройства отбора признаков или классификатора, оказывается часто лишь частично известной.

Один из предложенных подходов заключается в построении такой системы распознавания образов, которую можно обучать во время работы, сообщая ей новую информацию. Решения (отбор образов или классификация) принимаются на основе полученной при обучении информации. Если полученная при обучении информация постепенно приближается к верной информации, то решения, основанные на полученной при обучении информации, соответственно постепенно приближаются к оптимальным решениям, как будто вся необходимая информация известна системе. Таким образом качество системы во время работы постепенно улучшается. Этот процесс, при котором информация, необходимая для решения, приобретается во время работы системы, что улучшает систему, обычно называют обучением.

Для обучения было предложено несколько методов, основанных на теории статистических оценок. Методы параметрических оценок можно применить, если неизвестной информацией являются значения параметров некоторой данной функции, как например, или уравнения решающей границы. В общем случае, когда неизвестны как вид функции, так и значения ее параметров, должны быть использованы непараметрические методы. Однако, как будет видно из последующего, оба случая можно сформулировать в виде задачи последовательной оценки неизвестных параметров.

Во время работы системы распознавания образов система изучает (оценивает) необходимую информацию относительно каждого класса образов, факттески наблюдая различные образы. Другими словами, отсутствовавшая информация получается из этих наблюдаемых образов. В зависимости от того, известна или неизвестна

правильная классификация распознавания образов, процесс обучения, осуществляемый системой называют «обучением с учителем» или «обучением с поощрением» и «обучение без учителя» или «обучением без поощрения».

В случае обучения с поощрением можно использовать байесову оценку [7] и стохастическую аппроксимацию [8] для последовательной оценки неизвестных параметров при заданном виде функции распределения признаков каждого класса Последовательную оценку непрерывных условных вероятностей каждого класса образов можно выполнить с помощью метода потенциальных функций [9] или стохастической аппроксимации. Связь между некоторыми байесовыми схемами оценки и обобщенным алгоритмом стохастической аппроксимации была показана в [10, 15]. Было показано также, что некоторые алгоритмы обучения на основе метода потенциальных функций принадлежат к классу алгоритмов стохастической аппроксимации [11—13].

При обучении без поощрения нельзя получить правильную классификацию наблюдаемых образов, и задача обучения часто сводится к процессу последовательной оценки некоторых неизвестных параметров либо в некотором совместном распределении всех возможных классов образов, либо в известной решающей границе.

Для уменьшения вероятностей ошибок (ложного распознавания) с целью повышения точности классификации с помощью изменения останавливающих границ (порогов) можно использовать одно свойство п. к. о. в. Висманом было показано [16], что в последовательном анализе при повышении верхнего порога А и понижении нижнего порога В по меньшей мере одна из вероятностей ошибок уменьшается, если только новый п. к. о. в. (после изменения порогов) не оказывается эквивалентным старому, тогда вероятности ошибок остаются неизменными. Это свойство п. к. о. в. можно легко распространить на о. п. к. о. в. [17]. При последовательной классификации классов образов, если все останавливающие границы не увеличиваются после выполнения каждого измерения признаков (по меньшей мере один из этих порогов уменьшается), то вероятность ошибок будет уменьшаться с ростом числа измерений признаков.

Останавливающие границы могут быть предварительно установлены конструктором или определены во время работы системы путем проверки по какой из классов имеет наибольшую вероятность исключения. Останавливающая граница, соответствующая этому классу образов, может быть изменена (уменьшена) в значительно меньшей степени, чем другие.

Другое преимущество изменения останавливающих границ заключается в том, что, начиная с относительно больших значений порогов и постепенно уменьшая их, мы получим среднее значение испытаний не таким большим, как в случае, когда в течение всего процесса используется малая величина порога. Таким образом, правильной установкой останавливающих границ можно в известной мере одновременно управлять вероятностью ложного распознавания и средним числом испытаний.

Несколько способов обучения при последовательном распознавании образов будет детально рассмотрено в главах 6 и 7.