Глава 9. ОПРЕДЕЛЕНИЕ ЦЕННОСТИ ИНФОРМАЦИИ

Понятие ценности информации, вводимое в настоящей главе, связывает шенноновскую теорию информации с теорией стастистических решений. В последней теории основным является понятие средних потерь или риска, которое характеризирует качество принимаемых решений. Ценность информации специализируется как та максимальная польза, которую данное количество информации способно принести в деле уменьшения средних потерь. Такое определение ценности информации оказывается связанным с формулировкой и решением определенных условных вариационных задач.

Ввести понятие ценности информации можно тремя родственными способами, выбирая за основу хартлиевское, больцмановское или шенноновское количество информации. При выборе шенноновского количества информации нужно решать третью вариационную задачу. Между указанными определениями существует известная связь, и одно понятие может служить удобной заменой другого. Все эти понятия характеризуют определенный объект — бейесовскую систему, который наряду с каналом является важнейшим объектом исследования теории информации.

Прежде чем теория ценности информации превратилась в самостоятельный раздел теории информации, существующий и развивающийся независимо от теории передачи сообщений по каналам, некоторые ее элементы и результаты вызревали в недрах традиционной теории, исследующей каналы. К. Шенноном в 1948 г. [1] была рассмотрена третья вариационная задача, взятая в форме минимизации энтропии при заданном уровне потерь или, в шенноновской терминологии, при заданной точности воспроизведения. Использованная при этом терминология далека от терминологии статистических решений, но это, разумеется, не меняет математической сущности. Позднее (Колмогоров [1]) было введено основанное на указанной вариационной задаче понятие -энтропии и получен ряд относящихся к нему результатов. Вместо термина -энтропия мы используем здесь термин а - и нформация, поскольку рассматривается все-таки не энтропия, а шенноновская информация.

В настоящее время в работах американских авторов вслед за работами Шеннона [1, 3] данная теория (в первоначальной шенноновской интерпретации) получила значительное развитие (см.

особенно монографию Бергера [1]). Мы придерживаемся, однако, другой интерпретации и другой терминологиии.

В принятом нами способе изложения понятия и результаты теории рассматриваются независимо от понятия каналов с помехами, их пропускной способности. Мы хотим подчеркнуть, что круг вопросов, связанный с третьей вариационной задачей, равноправен кругу вопросов, относящихся ко второй или первой вариационной задаче (это, конечно, не исключает возможности объединенного рассмотрения, например, формулировки обобщенной теоремы Шеннона, см. § 11.5).