§ IV.5. СВЯЗЬ С ТЕОРИЕЙ ИНФОРМАЦИИ

Результаты параграфов IV.2 и IV.3 выясняют связи между сравнительно недавно возникшей теорией информации Шеннона [79] и более ранней статистической теорией оптимального выбора между гипотезами. Поводов на этот счет по ходу изложения материала книги было достаточно, так как многие результаты цитированных работ интерпретируются их авторами с позиций теории информации (ом., например, [11, 40]).

Однако мы нигде до сих нор не давали такой интерпретации, так как содержательная часть этих работ в ней не нуждалась, а введение новых понятий энтропии, информации, скорости передачи, пропускной способности и т. д. могло отвлечь внимание читателя от прослеживания основных статистических идей книги. Вместе с тем, нельзя пройти мимо того, что в настоящее время делаются серьезные попытки теоретико-информационной интерпретации решения статистических задач [11, 81, 82], хотя эти попытки часто носят чисто формальный характер, сводясь к аналогиям между характерными «энтропийными» выражениями.

Сопоставление результатов предельной теоремы с основной теоремой Шеннона для дискретного канала с нулевой памятью (см., например, [93]), соответствующего рассмотренному дискретному каналу с независимыми шумами, показывает, что такого рода аналогии не случайны, а коренятся в глубоком статистическом смысле, заложенном в самой теории информации.

В самом деле, Шеннон [79], отправляясь в дискретном случае от распределения и условного распределения формально ввел величины энтропии

и условной энтропии

Далее он формально определил скорость передачи

и пропускную способность канала

Разумным оправданием введения этих величин и самостоятельного изучения их свойств является то, что с их помощью можно доказать основную теорему Шеннона о существовании оптимальных (в указанном в § IV.2 смысле) способов кодирования и декодирования для широкого класса каналов с шумами.

Сравнение основной теоремы Шеннона для рассматриваемого канала [93] с предельной теоремой § IV.3 показывает, что для случая близких гипотез результаты первой следуют из результатов второй (во второй содержится эффективное построение оптимальной процедуры декодирования, чего нет первой).

Вместе с тем в предельной теореме § IV.3 заранее формально не вводятся величины (последние сами возникают то ходу решения задачи известными статистическими методами).

Таким образом, первоначальное формальное введение величин в рассматриваемой ситуации вряд ли оправдано и предельная теорема § IV.3 полностью выясняет их статистический смысл.

В гл. 2 (2.128) упоминались и другие характерные величины, структура которых особенно прозрачна в случае близких гипотез.

Кроме того, пронумеровав пары с помощью индекса будем иметь (см. IV. 15)

где

В случае близких гипотез [см. гл. 2 (2.128)] имеем

Шеннон [79] называет величину скоростью создания сообщений. В [80] величина названа мерой информации Фишера, а величина мерой информации Вальда, а также приводится общее аксиоматическое определение меры информации, из которого, как частный случай, следуют перечисленные выше величины. Из соотношения следует, что появившийся в гл. 1 и никак там не названный коэффициент является мерой информации Фишера, что, впрочем, ничего не может добавить к его смыслу.