V. СКОРОСТЬ СОЗДАНИЯ СООБЩЕНИЙ ДЛЯ НЕПРЕРЫВНОГО ИСТОЧНИКА

27. Функции оценки точности воспроизведения

В случае дискретного источника сообщений было можно установить определенную скорость создания сообщений, а именно энтропию соответствующего вероятностного процесса. Для

непрерывлого источника положение оказывается значительно сложнее. Прежде всего непрерывно изменяющаяся величина может принимать бесконечное число значений, и поэтому для точного задания этой величины требуется бесконечное число двоичных единиц. Это означает, что при передаче от непрерывного источника для точного воспроизведения в точке приема, вообще говоря, необходим канал с бесконечной пропускной способностью (в битах в сек.). Поскольку в каналах имеется обычно некоторый уровень шумов и, следовательно, пропускная способность ограничена, точная передача невозможна.

Это рассуждение, однако, обходит основной вопрос. Практически при непрерывном источнике нас интересует не точная передача, а передача с определенным допуском. Вопрос заключается в том, можно ли приписать непрерывному источнику определенную скорость создания сообщений в том случае, когда требуется только определенная точность воспроизведения, измеренная подходящим способом. Разумеется, при возрастании требований к точности воспроизведения скорость будет возрастать. Как будет показано ниже, можно в очень общих случаях определить такую скорость создания сообщений. Она будет обладать тем свойством, что при надлежащем кодировании можно передать по каналу информацию, удовлетворив при этом требования к точности воспроизведения, если только пропускная способность канала равна рассматриваемой скорости. Меньшая пропускная способность оказывается для этого недостаточной.

Прежде всего необходимо дать общую математическую формулировку понятия точности передачи. Рассмотрим множество сообщений большой длительности, скажем Т секунд. Источник описывается заданием в соответствующем пространстве плотности распределения вероятностей того, что будет выбрано данное сообщение. Данная система связи описывается (с внешней точки зрения) заданием условной вероятности того, что если источник создал сообщение х, то воспроизводимое сообщение в точке приема будет у.

Система в целом (включая источник и передающую систему) описывается совместным распределением вероятностей того, что имеются передаваемое сообщение х и воспроизведенное сообщение у. Если известна эта функция, то тем самым полностью известны свойства системы с точки зрения точности воспроизведения. Любая оценка точности воспроизведения должна математически соответствовать некоторой операции над функцией Эта операция должна по крайней мере приводить к простому упорядочению систем, т. е. для двух систем, задаваемых функциями эта операция должна давать в соответствии с нашим критерием точности один из трех ответов: 1) первая система дает более высокую точность, 2) вторая система дает более высокую

точность или же 3) они дают одинаковую точность. Это означает, что критерий точности может быть представлен принимающей числовые значения функцией оценки:

аргументом которой может быть любое возможное распределение вероятностей Функция упорядочивает системы связи соответственно их точности воспроизведения, и для удобства примем, что меньшим значениям соответствует «более высокая точность».

Теперь покажем, что при самых общих и разумных предположениях функция может быть записана в форме, кажущейся много более частной, а именно как среднее некоторой функции взятое по множеству возможных значений х и у:

Для того чтобы это показать, достаточно предположить, 1) что источник и система являются эргодическими, так что очень длинная выборка будет с вероятностью, близкой к единице, типичной для ансамбля, и 2) что оценка является «разумной» в том смысле, что возможно на основе наблюдения типичной входной выборки и типичной выходной выборки образовать выборочную оценку, и если длительность этих выборок возрастает, то выборочная оценка будет с вероятностью единица стремиться к точной оценке, основанной на полном знании Пусть выборочная оценка обозначена через Тогда функция стремится (при ) к постоянной величине для почти всех которые находятся в высоковероятной области для данной системы:

можно также записать

так как

что и требовалось доказать.

Функция обладает общими свойствами «расстояния» между х и у. Она измеряет, насколько нежелательно (в соответствии с нашим критерием точности воспроизведения) принять у,

когда передано х. Полученный выше общий результат может быть переформулирован следующим образом: любая разумная оценка может быть представлена как среднее значение функции расстояния, усредненной по множеству исходных и воспроизводимых сообщений х и у, в соответствии с вероятностью при условии, что длительность сообщений Т берется достаточно большой.

Простыми примерами функций оценки являются следующие:

1. Среднеквадратичный критерий

В этом очень часто применяемом критерии точности функция расстояния равна (с точностью до постоянного множителя) квадрату обычного евклидова расстояния между точками х и у в соответствующем пространстве

2. Частотно-взвешенный средне-квадратичный критерий. Некоторое обобщение предыдущего критерия заключается в том, что перед использованием среднеквадратичной меры точности можно приписать различные веса разным частотным компонентам. Это эквивалентно пропусканию разности через формирующий фильтр с последующим определением средней мощности на выходе.

Итак, пусть

и

Тогда

3. Критерий абсолютной ошибки

4. Строение уха и мозга определяет неявно несколько оценок, применимых для случаев передачи речи или музыки. Так, например, существует критерий «понятности», в котором равна относительной частоте неправильно интерпретированных слов,

когда сообщение принимается как Хотя в этих случаях нельзя дать явного выражения для функции она все же может быть определена в принципе из достаточно обширных экспериментов. Некоторые ее свойства следуют из хорошо известных экспериментальных результатов по исследованию слуха, например из того, что ухо сравнительно нечувствительно к фазе, а его чувствительность к амплитуде и частоте приблизительно логарифмическая.

5. Дискретный случай может рассматриваться как тот частный случай, когда молчаливо подразумевается оценка, основанная на частоте ошибок. Функция определяется в этом случае как число символов в последовательности у, отличающихся от соответствующих символов в последовательности х, деленное на полное число символов в последовательности х.