ИНФОРМАЦИИ КОЛИЧЕСТВО

— теоретико-информационная мера величины информации, содержащейся в одной случайной величине относительно другой случайной величины. Если и — дискретные случайные величины и соответственно распределения вероятностей случайных величин и пары , то И. к.

В общем случае, когда случайные величины принимают значения в некоторых измеримых пространствах X и Y соответственно, И. к. определяют следующим образом. Пусть измеримые ф-ции, принимающие конечное число значений. Тогда дискретные случайные величины, и И. к. в относительно

где верхняя грань берется по всем парам ф-ций принимающих конечное число значений. Если дискретные величины, определение (2) сводится к определению (1). Если же — непрерывные величины, имеющие совместную плотность распределения с маргинальными плотностями , то из следует, что

Хотя данное выше определение И. к. оказалось полезным с точки зрения проблем информации передачи, оно не может быть единой мерой И. к., равноприменимой во всех случаях. Меру И. к. нужно выбирать в каждом конкретном случае, исходя из конкретных обстоятельств. Напр., далеко не во всех случаях целесообразно задавать И. к. в терминах распределения вероятностей. математик А. Н. Колмогоров определяет И. к. в объекте как сложность его вычисления при помощи некоторого универсального алгоритма. В некоторых ситуациях более разумной мерой неопределенности, чем энтропия, может служить, напр., дисперсия случайной величины g, поэтому разность безусловной и сред, значения условной дисперсии

можно с равным основанием считать мерой И. к. g относительно Некоторые основные свойства И. к. таковы: 1) величина не зависит от значений, принимаемых случайными величинами , а зависит лишь от совместного распределения этих величин; 2) величина причем тогда и только тогда, когда g и независимы, может обращаться и в величина симметрична относительно , это означает, что И. к. в g относительно совпадает с И. к. в относительно g; 4) если любая ф-ция, заданная на пространстве X, то что вполне согласуется с представлением о том, что И. к. в g относительно ) не меньше, чем И. к. в некоторой ф-ции от g относительно ; что также согласуется с интуитивным представлением о И. к.; 6) в случае, когда — дискретная случайная величина, И. к. где энтропия g. В остальных случаях всегда Между И. к. и энтропией в дискретном случае (или дифф. энтропией в непрерывном случае) существует следующая связь. В дискретном случае

где соответственно энтропии величин и пары а сред, условная энтропия g при условии

где распределение , а условное распределение g при фиксированном значении . Аналогично этому, для непрерывных

где соответственно дифф. энтропии величин и пары сред, условная дифф. энтропия g при условии

где плотность распределения величины , а условная плотность распределения g при условии . Среди других свойств И. к. важно отметить свойство «условной информации», выраженное ф-лой:

где — сред. условное И. к., которое определяют аналогично тому, как была определена сред, условная энтропия, и свойство «тройной информации», выраженное ф-лой

Для гауссовского случая можно привести ф-лу явного вычисления И. к. Если - -мерные гауссовские величины, причем пара

также имеет гауссовское распределение, то 1

где — соответственно определители корреляционных матриц величин и пары . В частности, в одномерном случае , где — коэфф. корреляции

Лит. см. к ст. Информации передача.

Р. Л. Добрушип, В. В. Прелое.