§ 44. Информация и ее измерение

Определяя значение, которое случайная величина принимает в результате опыта, мы получаем некоторую информацию и о других случайных величинах, связанных со случдйной величиной К. Для технических приложений "имеет значение вопрос об измерении этой информации. Информация о некоторой случайной величине получаемая в результате наблюдения случайной величины изменяет неопределенность случайной величины X, чтохарактеризуется заменой ее безусловной энтропии средней условной энтропией относительно величины К. Поэтому естественно за меру, кдличества информации о величине X, содержащейся в величине принять, разность безусловной энтропии величины X и ее средней условной энтропии относительно величины

Из формулы (43.20) следует, что количество информации о величине X, содержащейся в величине равно нулю в том случае, когда случайные величины независимы. Это вполне согласуется с нашими представлениями о неопределенности и информации: наблюдение величины никак не связанной с величиной не дает никакой информации о величине . В случае, когда величины зависимы количество информации о величине X, получаемое в результате наблюдения величины , положительно. Для того чтобы доказать это, заменим в формуле их выражениями (43.3) и Тогда получим:

Но на основании неравенства (43.6)

Следовательно,

Таким образом, количество информации о случайной величине X, содержащейся в случайной величине К, не может быть отрицательным и равно нулю только в том случае, когда случайные величины независимы.

На основании (17.1) формула (44.2) может быть представлена в виде:

Легко понять, что формулы (44.2) и (44.5) определяют количество информации для любых случайных величин, в отличие от формулы (43.1), определяющей энтропию только для непрерывных величин. Так, например, для прерывных величин выражая плотности вероятности в (44.5) формулами вида (9.23), получим:

Таким же образом, выражая плотности вероятности формулами вида (9.24), можно получить формулу, выражающую количество информации для смешанных случайных величин.

Непосредственно из симметрии второй части формул (44.2) и (44.5) следует, что количество информации о величине X, содержащейся в величине У, равно количеству информации о величине К, содержащейся в величине X:

Из определения количества информации (44.1) и неравенства (44.4) следует, что средняя условная энтропия случайной величины не может быть больше ее безусловной энтропии:

Из (44.8), (43.24) и (43.25) следует, что

Рассмотрим теперь функцию случайной величины X:

Если существует однозначная в области возможных значений величины X обратная функция

то плотность вероятности случайной величины выражается формулой (32.5) (в случае скалярных или формулой (33.14) (в случае, когда векторы одного и того же числа измерений). Обе эти формулы можно записать коротко в виде:

где производная функция в случае скалярных и якобиан составляющих функции в случае векторных Формула (44.12) связывает как безусловные плотности вероятности величин так и их условные плотности вероятности относительно любой величины Следовательно, количество информации о величине содержащееся в величине К, на основании (44.2), (44.12) и (44.11) равно:

Следовательно, наблюдение случайной величины дает одно и то же количество информации о случайной величине X и обо всех случайных величинах, связанных с X взаимно однозначной функциональной зависимостью.

Совершенно так же из (43.3), (44.12) и (44.11) получаем зависимость между энтропиями случайных величин и X:

Обозначая через производную функции в случае скалярных и якобиан составляющих функции в случае векторных и имея в виду, что в обоих случаях

можем представить формулу (44.14) в виде:

Замечая, что эта формула справедлива также и для средних условных энтропий величин снова получим равенство (44.13).

Бели в частном случае формула (44.10) выражает линейное преобразование случайного вектора X с матрицей А:

то якобиан равен определителю А матрицы А и, следовательно, не зависит от X, а поэтому не является случайной величиной. Формула (44.16) принимает в данном случае вид:

Таким образом, при линейном преобразовании случайной величины X энтропия получает приращение

Если выбрать в качестве объем, в который переходит объем при преобразовании (44.17), то будем иметь Следовательно, энтропия случайной величины остается неизменной при линейном преобразовании случайного вектора, если за принять результат преобразования при данном линейном преобразовании случайного вектора.

Очевидно, что и в случае произвольного нелинейного преобразования случайной величины X, выраженного общей формулой (44.10), величину всегда можно выбрать так, чтобы энтропии случайных величин были равны друг другу..

На основании (44.7) из формулы (44.13) следует, что во всех случайных величинах, связанных с величиной X взаимно однозначными функциональными зависимостями, содержится то же количество информации о величине К, что и в величине Иными словами, при любом вполне определенном обратимом функциональном преобразовании наблюдаемой случайной величины X количество информации о величине У остается неизменным. Однако практически любое преобразование наблюдаемого сигнала сопровождается шумами и помехами. Вследствие этого при каждом данном значении х наблюдаемой величины X результат ее преобразования является случайной величиной. В результате любое преобразование наблюдаемого сигнала практически всегда сопровождается потерей информации. Для того чтобы доказать это, обозначим через условную плотность вероятности случайной величины относительно X и предположим, что при каждом данном значении величины X случайные величины независимы. Это предположение соответствует тому

факту, что шумы и помехи в преобразующих, устройствах вызываются внутренними причинами, независимыми от той величины, инфор мадию о которой необходимо получить. При этих условиях совместная плотность вероятности случайных величин определяется формулой

Оценим изменение количества информации, вызванное преобразованием наблюдаемой случайной величины X, дающим в результате случайную величину На основании формул (44.1) и (43.19) имеем:

где условная плотность вероятности величины У относительно равная на основании (16.5), (15.8), (15.17) и (44.19)

Из формул (44.20) и (44.19) следует, что

На основании неравенства (43.6) правая часть формулы (44.22) не может быть отрицательной. Следовательно,

что и доказывает высказанное утверждение.

Знак равенства в (44.23) может иметь место только в том случае, когда условные плотности вероятности величины У тождественно равны друг другу при любых в области возможных значений случайных величин . А это возможно лишь тогда, когда величины независимы или когда величины связаны взаимно однозначной функциональной зависимостью. Если величины независимы, то, как показывает формула (44.21), и величины независимы. В этом случае Если величины связаны взаимно однозначной функциональной

зависимостью (44.10), то и вследствие формулы (44.21) плотности вероятности тождественно равны друг другу при любом значении х и соответствующем значении

Пример. Случайная величина X имеет 16 равновероятных возможных значений, которые разделены на четыре группы по четыре возможных значения в каждой группе. Во время опыта определяется номер группы, к которой принадлежит появляющееся в результате опыта значение случайной величины Требуется определить количество информации о случайной величине X, получаемое в результате опыта.

Номер группы, к которой принадлежит появляющееся в результате опыта значение случайной величины X, можно рассматривать как случайную величину К, имеющую четыре равновероятных значения. При каждом данном значении величины случайная величина X имеет четыре равновероятных значения и, следовательно, условная энтропия величины X при каждом данном значении величины равна . Средняя условная энтропия случайной величины X относительно как математическое ожидание условной энтропии, также равна . Безусловная энтропия случайной величины X равна . Применяя формулу (44.1), находим количество информации о величине X, доставляемое регистрацией значения величины

Полученный результат имеет определенный физический смысл. До рассматриваемого опыта для определения значения случайной величины X необходимо четыре двоичных знака в соответствии с двоичной нумерацией всех возможных значений случайной величины X:

Первые два двоичных знака номера возможного значения величины X можно рассматривать как двоичный номер группы. Вторые два двоичных знака номера возможного значения величины можно рассматривать как двоичный номер этого значения в данной группе. После опыта, когда номер группы становится известным, для полного определения значения случайной величины X необходимы два двоичных знака.

Приведенный пример наглядно иллюстрирует понятие количества информации. Следует, однако, заметить, что такая простая и наглядная иллюстрация получается только в случае равновероятных значений как случайной величины X, так и случайной величины К. В других случаях энтропия случайной величины X и количество информации о величине X, доставляемое наблюдением величины К, не будут выражаться целыми числами, и наглядность примера теряется. Однако эта потеря наглядности не может считаться существенной, если принять во внимание, что энтропия и количество информации как математические ожидания определяют лишь средние количества двоичных знаков, необходимые для регистрации значений случайной величины и результатов опыта.