4.7. ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ

Основным результатом данной главы является построение байесовского классификационного правила на основе элементарной теории статистических решений. С точки зрения теории распознавания образов частный случай, соответствующий допущению о двоичной (принимающей значения 0 или 1) функции потерь, устанавливает верхнюю границу качества, которое в среднем может обеспечить любой классификатор, построенный на основе концепции решающей функции. Этот важный теоретический результат относится, следовательно, ко всем схемам классификации, рассмотренным в гл. 3—6.

Так как реализация байесовского классификатора предполагает знание плотности распределения для каждого класса, то становится совершенно очевидным, что оценка плотностей — основная проблема применения такой схемы классификации. Воспользовавшись принципом максимума энтропии, мы показали, что в тех случаях, когда единственными известными параметрами являются математическое ожидание и дисперсия, целесообразно пользоваться плотностью нормального распределения. Так как эта задача имеет и практическую, и теоретическую ценность, для развития методов оценки параметров были затрачены существенные усилия. Если параметрическая оценка не

приносит желаемого успеха, можно обратиться к методам непосредственной аппроксимации плотностей распределения с помощью функций. Как указывалось в предыдущем разделе, истинную плотность распределения можно с произвольной степенью точности аппроксимировать путем увеличения числа включенных в разложение членов, так же как и числа образов, использованных при определении коэффициентов.

В гл. 6 мы вернемся к задаче аппроксимации плотностей распределений посредством функций, рассмотрев ее с иных позиций. Стоит заметить, что несмотря на то, что предметом обсуждения служили статистические решающие функции, эти функции вполне укладываются в общую схему, сформулированную в гл. 2. Соответствующие свидетельства были получены при построении байесовского классификатора для нормально распределенных образов, а также для образов, характеризующихся плотностью распределения седьмого пирсоновского типа. Это же справедливо и для более общего метода аппроксимации посредством функций, описанного в п. 4.6.4. Очевидно, что после аппроксимации плотности распределения в виде разложения по системе базисных функций (например, полиномиальных функций) формы статистических решающих функций и решающих функций того же типа, полученных детерминистскими средствами, отличаться не будут. Качество соответствующих решающих функций несомненно зависит от метода, выбранного для вычисления.

Библиография

Статистические игры и теория решений имеют обширную литературу. Отличным источником, в частности, может служить монография Блекуэлла и Гиршнка [1958]. К результатам, приведенным в § 4.2, можно прийти с позиций теории связи. Технические аспекты построения байесовского классификационного правила рассматриваются в монографиях Реза [1961], Ван Триса [19721 и Хелстрома [1963].

Классификация нормально распределенных образов с номощыо байесовских процедур — также хорошо представленная в литературе тема. Дополнительные сведения по этому поводу можно найти в работах П. Купера [1967], Андерсона и Бахадура [1962]. монографиях Фукунаги [1972]. Патрика [1972 , работах Ту [1969а|. Кэнэла и Рандла [1964], монографиях Нильсона [1967], Дуды и Харта [1976], Фу [1977] и Майзела [1972].

Первые упоминания о применении байесовского обучения для определения вектора математического ожидания и ковариационной матрицы можно иайтп в статьях Абрамсона и Бравермана [1962] и Кипа [1965]. Кроме того, эта проблема с разной степенью подробности рассматривается почти во всех книгах по статистическому распознаванию образов. Монографии Патрика, Фукунаги и Дуды и Харта посвящены статистическим методам распознавания образов и поэтому являются отличным дополнением к материалу, изложенному в этой главе. Дополнительный материал по проблеме аппроксимации посредством функций можно найти в работах Ту [1969а, 19696] и моно-графин Майзела [1972].

Задачи

(см. скан)

(см. скан)