Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO
4.2. КЛАССИФИКАЦИЯ ОБРАЗОВ КАК ЗАДАЧА ТЕОРИИ СТАТИСТИЧЕСКИХ РЕШЕНИЙПроцесс принятия решений в распознавании образов можно рассматривать как игру статистического характера, которую классификационный механизм системы распознавания образов ведет с природой. Этот процесс аналогичен игре двух лиц с нулевой суммой, в которой игроком А является природа, а игроком В — классификационный механизм системы распознавания. Игрой с нулевой суммой называется такая игра, в которой выигрыш одного участника точно равен по величине проигрышу другого участника. В играх такого типа используются различные стратегии, в частности байесовская стратегия, минимаксная стратегия и стратегия Неймана — Пирсона. Задача классификационного механизма заключается в том, чтобы определить такое оптимальное решение, которое обеспечит минимизацию среднего риска или стоимости потерь. Игра характеризуется определенным набором правил, обладающих специфической формальной структурой и определяющих поведение отдельных лиц или групп, выступающих под именем игроков. Игра
называется конечной, если оба множества стратегий
и
то пространство
Матрица
называется матрицей выигрышей или матрицей потерь игры использует стратегию В настоящем параграфе приводятся основные сведения из элементарной теории статистических решений, являющиеся обобщением результатов теории игр двух лиц с нулевой суммой. Как отмечалось выше, процесс принятия решений в распознавании образов можно рассматривать как игру против природы — последнюю можно считать игроком А, а классификатор — игроком В. Стратегии, используемые игроком А, называются состояниями природы и обозначаются через При каждой реализации игры природа выбирает стратегию Игру классифицирующего механизма против природы отличают от обычной игры два основных фактора. Игры рассматриваемого нами типа часто называют статистическими. Во-первых, природа не является «разумным противником», который способен сознательно выбирать свои стратегии таким образом, чтобы добиться максимизации наших потерь. Можно допустить, что природа выбирает стратегии, основываясь на вероятностях Пусть при реализации игры между природой и классификатором природа выбирает класс
в теории статистических решений эту величину часто называют условным средним риском или условными средними потерями. При распознавании каждого образа, предъявляемого природой, классификатор может отнести его к одной из М возможных категорий. Если для каждого образа Воспользовавшись формулой Байеса
выражение (4.2.5) можно представить в следующем виде:
где
При
а при выборе стратегии 2 —
Как уже отмечалось выше, байесовский классификатор обеспечивает отнесение образа
или, что то же самое,
Обычно считается, что
выполнение которых определяет зачисление образа
(оно является отношением двух функций правдоподобия). Итак, для случая 1) образ 2) образ 3) решение выбирается произвольным образом, если имеет место равенство Величину
Пример. Рассмотрим простую схему классификации, обеспечивающую разделение сигналов, представленных в виде единиц и нулей на выходе. канала с шумом, как это показно на рис. 4.1. Каждый входной сигнал представляет собой 0 или 1, и в результате каждого эксперимента на выходе канала воспроизводится величина Пусть
Рис. 4.1. Пример простой задачи классификации. Пусть
где
а плотность вероятности принятого сигнала при условии передачи символа 1 — выражением
Итак, отношение правдоподобия имеет вид
и, следовательно, принимается решение о принадлежности классу
Другими словами, применение байесовского решающего правила приводит к выводу о передаче символа 0, если выполнено условие
Эти результаты совпадают с интуитивными предположениями только в тех случаях, когда В общем случае разделения на несколько классов образ
Неравенство (4.2.16) можно с помощью приемов, аналогичных использованным при разделении на два класса, перевести на язык отношений правдоподобия и соответствующих пороговых величин. В принципе для представления общего случая разделения на несколько классов лучше всего использовать функцию потерь специального вида. В большинстве задач распознавания образов при принятии правильного решения потери равны нулю и одинаковы при принятии любого неправильного решения. Поэтому функцию потерь можно представить как
где
Байесовский классификатор обеспечивает отнесение образа
или условие
Необходимо отметить, что из проведенного в гл. 2 обсуждения свойств решающих функций следует эквивалентность байесовского решающего правила, представленного соотношением (4.2.20), решающим функциям вида
причем образ Выражение, эквивалентное (4.2.21), но не требующее знания в явном виде вероятностей
Поскольку, однако, вероятность
Формулы (4.2.21) и (4.2.23) выражают два различных, хотя и эквивалентных подхода к решению одной и той же задачи. Поскольку оценка априорной вероятности классов Остальная часть данной главы посвящена проблемам, связанным с описанием и оценкой плостностей распределения
Рис. 4.2. Принципиальная схема байесовского классификатора. Проведенное обсуждение позволяет реализовать схему распознавания в виде, представленном на рис. 4.2. Это частный случай байесовского классификатора, в котором правильной классификации соответствуют нулевые потери, а при любых не, правильных классификациях потери одинаковы, причем оптимальное решение минимизирует вероятность ошибки классификации. Благодаря этому важному свойству, а также весьма разумному назначению потерь, такая схема классификации часто используется как постановка задачи распознавания. При отсутствии специальных оговорок все, что в нашей книге говорится о байесовских классификаторах, относится именно к этому его варианту. Синтез байесовского классификатора на основе решающих функций (4.2.21) требует знания априорных вероятностей и плотностей распределения для каждого класса образов, а также и стоимостей принятия соответствующих решений. Оптимальность (в статистическом смысле) решений все еще может быть достигнута и при отсутствии этих сведений. Если априорные вероятности не известны или не поддаются непосредственной оценке, то существует другая возможность решения этой задачи — использовать минимаксный критерий. Идея, лежащая в основе минимаксного критерия, заключается в выборе такого решающего правила, которое минимизирует средние потери при наихудших возможных условиях. В этом случае можно быть уверенным в том, что нейтрализуются любые неблагоприятные случайности, связанные с недостатком информации об априорных вероятностях. Если же не известны ни априорные вероятности, ни значения потерь, то можно обратиться к критерию Неймана — Пирсона. Хотя все три упомянутые выше критерия явно различны, построение минимаксного решающего правила и решающего правила по Нейману—Пирсону показывает, что все они основываются на том же отношении правдоподобия. Единственный фактор, который изменяется при переходе от одного критерия принятия решения к другому, — это вид пороговой величины. Несмотря на то что и минимаксный критерий, и критерий Неймана — Пирсона были тщательно изучены в связи с решением многих прикладных задач, в распознавании образов значительно большее распространение получил критерий Байеса. Это определяется тем обстоятельством, что в большинстве задач распознавания образов оказывается возможным задать априорные вероятности и потери. В следующем параграфе подробно рассматривается один из вариантов байесовского классификатора.
|
1 |
Оглавление
|