Глава 8. ТЕОРИЯ ПЕРЕДАЧИ С ПОГРЕШНОСТЬЮ: ИСТОЧНИКИ С ПАМЯТЬЮ, ГАУССОВСКИЕ ИСТОЧНИКИ И УНИВЕРСАЛЬНОЕ КОДИРОВАНИЕ
8.1. Векторные источники без памяти
В гл. 7 была изложена теория передачи с погрешностью для источников без памяти, которые порождают дискретные или непрерывные случайные величины. Символы на выходе этих
источников появляются каждые 
секунд, а последовательности выходных символов образуют последовательности независимых случайных величин с одним и тем же распределением вероятностей. 
можем распространить полученные результаты на источники без памяти, выходные символы которых принадлежат алфавитам более общего вида. Например, выходом источника без памяти может быть случайный вектор, непрерывный по времени случайный процесс или случайное поле. Путем таких обобщений мы можем расширить теорию на более общие типы источников с памятью.
Рассмотрим источник без памяти, который каждые Та секунд порождает на выходе случайный 
-мерный вектор, обозначаемый через х. Здесь
где
Обозначим через 
общий для всех этих векторов алфавит и предположим, что распределение вероятностей для 
задано с помощью функции 
где 
Заметим, что компоненты вектора х не должны быть обязательно независимы. Рассмотрим 
-мерные выходные векторы источника
принадлежащие алфавиту 
где 
Будем полагать, что для каждой пары векторов источник — пользователь 
задана ограниченная погрешность, определяемая множеством 
мер погрешности
Источник без памяти, производящий каждые 
секунд некоторый 
-мерный вектор, можно рассматривать как 
источников без памяти, производящих каждые 
секунд набор выходных символов, которые, вообще говоря, могут зависеть друг от друга 
. Из рисунка видно, что имеется только один бесшумный канал связи. Согласно этой точке зрения каждый из 
пользователей старается оценить соответствующую выходную последовательность источника, причем каждой паре источник-пользователь соответствует мера погрешности, определенная соотношением (8.1.3).
Хотя для каждой пары источник-пользователь задана своя побуквенная мера погрешности, общего критерия точности для оценки всей системы кодер источника-декодер у нас пока нет. Например, векторная мера погрешности, состоящая из 
побуквенных мер, непригодна для этой цели, так как две системы, характеризуемые двумя средними векторными погрешностями, вообще говоря, нельзя сравнить, поскольку векторы в отличие от действительных чисел не могут быть полностью упорядочены. Поэтому для
дальнейшего анализа потребуется некоторая единая мера погрешности, принимающая действительные значения. Рассмотрим две таких меры погрешности.
Рис. 8.1. Система с многими источниками и пользователями
