29. Вычисление скорости создания сообщений
Определение скорости создания сообщений во многих отношениях аналогично определению пропускной способности канала. В первом случае
при фиксированных
Во втором случае
при фиксированном 
и при наложении возможно одного или более других ограничений (например, ограничения средней мощности) вида
Для общей задачи о нахождении максимума, возникающей при вычислении скорости создания сообщений источником, можно найти решение в частном случае. Используя метод Лагранжа, рассмотрим
Вариационное уравнение [когда берется первая вариация по 
приводит к равенству
где К определяется из условия для достижения требуемой точности воспроизведения, а 
подбирается так, чтобы удовлетворялось равенство
Это показывает, что при наилучшем кодировании условная вероятность 
экспоненциально зависит от 
— функции расстояния между рассматриваемыми х к у.
В частном случае, когда функция расстояния 
зависит только от разности (векторной) между х и у,
имеем
Следовательно, 
— константа, скажем а, и
К сожалению, в конкретных случаях эти формальные решения трудно численно оценить и поэтому их ценность представляется небольшой. Фактическое вычисление скорости создания сообщений удалось провести лишь для немногих простых случаев.
Если функция расстояния 
является среднеквадратичньщ отклонением х от у и ансамбль сообщений представляет собой белый шум, то скорость создания сообщений может быть определена. В этом случае мы имеем
и при этом 
Но максимум 
достигается в том случае, когда 
есть белый шум, и этот максимум равен 
где 
— полоса частот ансамбля сообщений. Поэтому
где 
— средняя мощность сообщений. Таким образом, доказана следующая теорема:
Теорема 22. Скорость создания сообщений для источника белого шума мощности 
с полосой частот 
при среднеквадратичном критерии точности воспроизведения равна
где 
— допустимый средний квадрат отклонения воспроизводимого сообщения от исходного.
В более общем случае для любого источника сообщений можно получить неравенства, ограничивающие скорость создания сообщений при критерии среднеквадрэтичной ошибки.
Теорема 23. Скорость создания сообщений для любого источника с полосой частот 
ограничена неравенствами:
где 
— средняя мощность источника, 
энтропийная мощность источника и 
— допустимая среднеквадратичная ошибка.
Нижняя граница следует из того, что 
при данном 
достигается для белого шума. Верхняя граница получается, если разместить точки, использованные при доказательстве теоремы 21, не лучшим образом, а случайно в сфере радиуса 
Благодарность
Автор благодарен своим коллегам по лаборатории, особенно докторам Боде, Пирсу, Мак-Миллану, Оливеру за многие полезные предложения и критические замечания, высказанные во время работы над настоящей статьей. Следует выразить признательность также профессору Винеру, чье изящное решение задач фильтрации и предсказания стационарных ансамблей оказало значительное влияние на представления автора в этой области.
