ГЛАВА 7. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАЦИИ

§ 41. О возможности измерения неопределенности результатов наблюдений случайных явлений

Случайными явлениями, как мы знаем, называются такие явления, которые вследствие действия бесчисленного множества связей данного явления с другими явлениями могут протекать различно и приводить к различным конечным результатам. Вследствие этого результат каждого наблюдения случайного явления нельзя определить заранее до производства данного наблюдения. Результатам наблюдения всякого случайного явления a priori присуща некоторая неопределенность. Эту неопределенность в некоторых случаях мы можем качественно оценивать, сравнивать степени неопределенности различных опытов. Так, например, если в результате одного опыта появляется одно из двух противоположных событий с вероятностями, соответственно равными 0,99 и 0,01, а в результате другого опыта появляется одно из двух равновероятных противоположных событий то ясно, что неопределенность второго опыта больше, чем первого, так как в результате первого опыта мы почти наверное можем ожидать появления события в то время как в результате второго опыта с одинаковой вероятностью следует ожидать появления как события В, так и события В. Опыт, в результате которого появляется одно из двух противоположных событий с вероятностями, соответственно равными 0,9 и 0,1, обладает неопределенностью большей, чем первый из двух рассмотренных выше опытов, и меньшей, чем второй. Точно так же мы можем считать неопределенность опыта, в результате которого появляется одно из трех несовместных равновероятных событий, образующих полную группу, большей, чем неопределенность опыта, в результате которого появляется одно из двух равновероятных противоположных событий. Однако эти чисто качественные сравнения не дают пока еще оснований для количественной оценки неопределенности результатов

наблюдений случайных явлений. В последние годы в связи с развитием новой прикладной ветви теории вероятностей — теории информации — выявилась необходимость измерения неопределенности результатов наблюдения случайных явлений. В связи с этим возникло и получило развитие учение об энтропии, которое в настоящее время должно быть признано неотъемлемой частью теории вероятностей.

Для того чтобы выяснить, что может служить мерой неопределенности результатов наблюдения случайного явления, рассмотрим опыт, в результате которого появляется одно из несовместных событий образующих полную группу. Результат рассматриваемого опыта проще всего можно характеризовать номером появляющегося события Для этого необходимо перенумеровать все возможные результаты опыта в какой-нибудь системе счисления. В технических приложениях часто бывает удобно пользоваться двоичной системой счисления. Всякое число может быть представлено в двоичной системе счисления выражением

где каждое из чисел может быть равно единице или нулю. Число вполне определяется в двоичной системе последовательностью чисел совершенно так же, как в десятичной системе всякое число вполне определяется последовательностью чисел, показывающих, сколько в данном числе содержится единиц, десятков, сотен и т. д. Число является числом двоичных знаков, которыми изображается число В качестве примера приведем запись в двоичной системе целых чисел от нуля до восьми:

Установим следующие правила нумерации возможных результатов опыта:

1) равновероятные результаты опыта будем обозначать одним и тем же числом двоичных знаков;

2) чем больше вероятность данного результата опыта, тем меньшим числом двоичных знаков будем стараться его обозначить.

Произвести нумерацию возможных результатов опыта в двоичной системе, руководствуясь перечисленными двумя правилами, можно, например, следующим образом. Разобьем все возможные результаты

опыта на две группы так, чтобы сумма вероятностей результатов опыта, входящих в одну группу, была как можно ближе к 1/2. Всем результатам опыта, входящим в одну группу, припишем первый двоичный знак 1, а всем результатам опыта, входящим в другую группу, припишем первый двоичный знак 0. Для определения второго двоичного знака разобьем каждую из двух групп в свою очередь на две подгруппы так, чтобы сумма вероятностей результатов опытов, входящих в каждую подгруппу, была как можно ближе к Продолжая таким образом, мы получим после разбиений такие группы, что сумма вероятностей входящих в каждую группу результатов опытов будет приблизительно равна Если после разбиений в какой-либо из полученных групп окажется только один возможный результат опыта, то дальнейшее разбиение этой группы будет невозможным, и мы выразим номер составляющего эту группу результата опыта полученным -значным двоичным числом. Легко видеть, что если вероятность какого-нибудь возможного результата опыта равна где какое-нибудь целое положительное число, то его номер выразится -значным двоичным числом. Для того чтобы понять, как можно измерить неопределенность результата рассматриваемого опыта, предположим, что вероятности всех возможных результатов опыта выражаются числами где целые положительные числа, такие, что

Тогда номер результата опыта, вероятность которого равна выразится тгзначным двоичным числом. При таком способе нумерации количество двоичных знаков в том числе, которым придется зарегистрировать полученный результат опыта, чтобы полностью определить его, можно рассматривать как случайную величину с возможными значениями вероятности которых равны соответственно Естественно попытаться принять за меру неопределенности рассматриваемого опыта математическое ожидание числа двоичных знаков, необходимых для того, чтобы полностью определить результат этого опыта, т. е. величину

Так, например, если имеется восемь возможных результатов опыта с вероятностями то изложенный способ разбиения результатов опытов на группы и определения номера каждого результата опыта в двоичной системе можно представить следующей таблицей.

(см. скан)

Математическое ожидание количества двоичных знаков, необходимых для того, чтобы полностью определить результат опыта, в данном случае равно:

Если вероятности всех восьми возможных результатов опыта равны друг другу, то мы получим:

(см. скан)

и

Совершенно так же можно определить номера возможных результатов опыта в какой-нибудь другой, например в -ичной, системе. Для этого следует разбить все возможные результаты опыта на групп и каждой группе приписать одно из возможных значений первого знака -ичного числа. Затем каждую из групп разбить на подгрупп, приписав каждой из подгрупп одно из возможных значений второго знака -ичного числа. Если вероятности всех возможных результатов опыта равны где такие целые числа, что

то результат опыта, имеющий вероятность получит номер, выражаемый -значным числом в -ичной системе счисления. Рассматривая число знаков в -ичном числе, которым придется обозначить полученный результат опыта, чтобы полностью определить его, как случайную величину, можно принять за меру неопределенности разультата опыта математическое ожидание этой случайной величины:

Формулы (41.3) и (41.5) могут быть объединены формулой

где а логарифмы следует взять при основании 2 в случае формулы (41.3) и при основании а в случае формулы (41.5). Так как

то вопрос о выборе основания логарифмов является вопросом о единицах измерения неопределенности опыта. В случае формулы (41.3) неопределенность измеряется в двоичных знаках, а в случае формулы (41.5) — в -ичных знаках. Таким образом, за меру неопределенности результатов опыта в случае, когда вероятности всех возможных результатов опыта могут быть выражены целыми отрицательными степенями какого-нибудь целого числа , может быть принята величина определяемая формулой (41.6),