СКОРОСТЬ СОЗДАНИЯ СООБЩЕНИЯ

— величина, характеризующая информации количество, создаваемое источником сообщения. Если источник сообщений с дискретным временем вырабатывает в моменты времени сообщение причем пространство X значений случайных величин является дискретным, то С. с. с. этим источником является величина

где энтропия отрезка [0, t) сообщений, если этот предел существует. В частности, если последовательность моментов возникновения сообщений совпадает с последовательностью целых неотрицательных чисел е. сообщения возникают раз в единицу времени, что для простоты будем предполагать и в дальнейшем), то С. с. с.

где энтропия -мерной случайной величины Для источников с непрерывным временем и для источников с непрерывным пространством значений сообщений С. с. с. равна , т. к. энтропия непрерывной случайной величины всегда равна

Для источников с независимыми компонентами величины взаимно независимы и

если же, кроме того, одинаково распределены, то Напр., если источник раз в единицу времени вырабатывает независимо одно из двух сообщений, «0» или «1», с вероятностями 1/2, то С. с. с.

Доказательство существования предела в равенствах (1) или (2) и его явное вычисление — сложная матем. задача, решить которую пока удалось лишь для некоторых частных (хотя и важных) случаев. Доказано, напр., что предел в равенстве (2) существует для стационарных источников. Явные выражения через конечномерные распределения найдены лишь для источников с независимыми одинаково распределенными компонентами марковских стационарных источников и для источников, вырабатывающих сообщения, являющиеся некоторыми ф-циями от Маркова цепи. Для произвольного стационарного источника С. с. с.

где средняя условная энтропия. Для стационарной цепи Маркова порядка к ф-ла (3) приводит к равенству

правая часть которого может быть явно выражена через переходные вероятности цепи Маркова.

В общем случае дискретного источника, когда С. с. с. точно вычислить не удается, пользуются приближенными ф-лами для . В частности, при больших значениях величина МН служит хорошим приближением для стационарного источника; при этом можно показать, что МН при экспоненциальной скоростью.

Р. Л. Добрушин, В. В. Прелое.