11.1. О различии между ценностями различных родов информации. Предварительные формы

Пусть имеется бейесовская система т. е. задана случайная величина х из вероятностного пространства -измеримая функция штрафов с где измеримого пространства принимаемая оценка. В гл. 9 для такой системы были определены функции ценности различных количеств информации: хартлиевского, больцмановского и шенноновского. Эти функции соответствуют минимальным средним потерям достижимым при приеме заданных количеств информации. Информация хартлиевского типа состоит в указании, какой области из оптимального разбиения принадлежит значение х. Минимальные потери

определяются минимизацией как по оценкам и, так и по различным разбиениям. Ограничение хартлиевского количества информации значением соответствует ограничению числа указанных областей.

При ограничении шенноновского количества информации рассматриваются минимальные штрафы

где минимизация производится по условным распределениям совместимым с неравенством

Минимальные потери соответствующие ограничению больцмановского количества информации, согласно (9.6.6) заключены между потерями (11.1.1) и (11.1.2):

Поэтому все три функции будут близки друг к другу, если близки

Из определения функций непосредственно следует лишь неравенство (11.1.3). Возникает вопрос, насколько сильно отличаются друг от друга функции и Если они не сильно различаются, то вместо трудно вычисляемой функции можно рассматривать значительно легче вычисляемую функцию обладающую такими удобными свойствами как дифференцируемость и пр. Исследованию различия между функциями а значит и между функциями ценности посвящена настоящая глава. Оказывается, что для бейесовских систем определенного типа — систем, обладающих свойством «информационной устойчивости», имеет место асимптотическое совпадение указанных функций. Этот фундаментальный асимптотический результат — третью асимптотическую теорему, по глубине и значимости можно сравнить с соответствующими асимптотическими результатами первой и второй теорем.

Прежде чем давать определение информационно устойчивых бейесовских систем, рассмотрим составные системы, обобщением которых являются информационно устойчивые системы. Назовем бейесовскую систему степенью системы если случайная величина является совокупностью из одинаково распределенных, независимых, случайных величин, являющихся копией величины х, т. е.

оценка является совокупностью одинаковых , а функция штрафа является суммой

Как к системе так и к ее степени можно применять формулы (11.1.1), (11.1.2). Количество информации для составной системы естественно взять в раз больше, чем для простой системы. Тогда экстремальное распределение , соответствующее формуле (11.1.2) для составной системы, распадается согласно (9.4.21) на произведение

где - аналогичное экстремальное распределение для простой системы. В соответствии с (11.1.2) имеем

Для степени вследствие (11.1.5), (11.1.7) будем иметь

Сложнее обстоит дело в отношении функции (11.1.1). Функции сложной и составной системы уже не связаны таким простым соотношением. Для составной системы число областей разбиения можно брать равным тогда как для простой системы (скобки обозначают целую часть). Очевидно, что поэтому разбиение

пространства на областей, индуцируемое экстремальным разбиением малой системы, входит в число допустимых разбиений, перебираемых в формуле

Отсюда вытекает, что

Кроме разбиений (11.1.9), однако, теперь имеется большое число допустимых разбиений другого вида. Поэтому есть основание ожидать, что будет существенно больше, чем Есть основание ожидать, что для некоторых систем удельные потери [заведомо превосходящие ( в силу (11.1.3), (11.1.8)], убывают с ростом и приближаются к своему предельно малому возможному значению, которое оказывается совпадающим именно с Этот факт и составляет содержание основного результата (третьей асимптотической теоремы). При его доказательстве попутно получается и другой важный результат, а именно обнаруживается рецепт, как находить разбиение близкое (в асимптотическом смысле) к оптимальному. Оказывается для этого пригодна процедура, аналогичная декодированию по случайному коду Шеннона (см. § 7.2). Берутся М кодовых точек (напомним, что каждая из них представляет собой блок Эти точки являются результатом М-кратного случайного выбрасывания, совершаемого с вероятностями

где оптимальное распределение (11.1.6). Число кодовых точек берем таким: не зависит от причем величину для доказательства последующей теоремы 11.1 следует полагать несколько отличающейся от величины

входящей в (11.1.12). Указанные кодовые точки и «расстояние» от до определяют разбиение

Область содержит те точки Е, которые «ближе» к точке чем к другим точкам (равноудаленные точки можно по произволу отнести к любой из конкурирующих областей). Если для указанного разбиения (11.1.13) в качестве оценки вместо точки , минимизирующей выражение выбрать точку при помощи которой построена область то это будет сопряжено с некоторой оптимальностью, т. е.

Сравнивая левую часть неравенства (11.1.14) с (11.1.10), очевидно, имеем

В выражении точки предполагаются фиксированными. Записывая его подробнее как следовательно, имеем неравенство

которое пригодится в следующем параграфе.

Для дальнейшего полезно напомнить также (см. гл. 9), что экстремальное распределение (11.1.12) формулой (9.4.23), т. е. формулой

или

связано с функциями Последние после усреднения дают потенциалы

позволяющие вычислить средние штрафы

и количество информации

согласно (9.4.10), (9.4.29), (9.4.30).