3.1. МАТЕМАТИЧЕСКИЕ МОДЕЛИ ДЛЯ ИСТОЧНИКОВ ИНФОРМАЦИИ
Произвольный
источник информации создает выход, который является случайным, то выход
источника характеризуется статистически. Действительно, если выход источника
известен точно, то нет нужды его передавать. В этом разделе мы рассмотрим
дискретные аналоговые источники информации и сформулируем математические модели
для каждого типа источника.
Простейший
тип дискретного источника – это такой, который выдаёт последовательность букв
(символов), выбираемых из определенного алфавита. Например, двоичный
источник выдает двоичную последовательность вида 100101110...,
причём алфавит состоит из двух символов {0, 1}. В более общем случае источник
дискретен информации с алфавитом из
символов, скажем
, выдает последовательность
букв, выбираемых из этого алфавита.
Чтобы
конструировать математическую модель для дискретного источника предположим, что
каждый символ алфавита
имеет
заданную вероятность выбора
, т.е.
,
,
где
.
Мы
рассмотрим две математические модели для дискретных источников. В первой мы
предположим, что символы выходной последовательности источника статистически
независимы, т.е. выбираемый текущий символ статистически независим от всех
предыдущих и последующих. Источник, выход которого удовлетворяет условиям
статистической независимости символов в выбранной последовательности,
называется источником без памяти. Такой источник называется дискретным источником без памяти (ДИБП).
Если
отдельные выходные символы дискретного источника статистически взаимозависимы,
как, например, в английском тексте, мы можем сконструировать математическую
модель, основанную на статической стационарности. По определению дискретный
источник называется стационарным,
если совместные вероятности двух последовательностей длины
, допустим
и
одинаковые для всех
и при всех сдвигах
. Другими словами, совместные вероятности для
последовательностей источника произвольной длины инвариантны по отношению к
произвольному сдвигу во времени.
Аналоговый источник выдает сигнал
, который является
реализацией случайного процесса
. Предположим, что
- стационарный случайный
процесс с автокорреляционной функцией
и спектральной плотностью мощности
. Если
- частотно-ограниченный
случайный процесс, т.е.
для
, можно использовать теорему отсчётов
для представления
в виде
, (3.1.1)
где
- отсчёты процесса
, взятые
со скоростью Найквиста
1/с.
Используя теорему отсчётов, мы можем преобразовать аналоговый источник в
эквивалентный источник с дискретным временем. После этого выход источника характеризуется
совместной ФПВ
для
всех
, где
,
,
- случайные величины, соответствующие отсчётам
.
Заметим,
что выходные отсчёты
стационарного
источника обычно непрерывны, и, следовательно, их нельзя представить в цифровой
форме без потери точности представления. Например, мы можем квантовать каждый
отсчёт рядом дискретных значений, но процесс квантования вносит потери в
точность представления, и, следовательно, исходный сигнал не может быть
восстановлен точно по квантованным отсчётам. Позже мы рассмотрим искажения,
возникающие при квантовании уровней отсчётов аналогового источника.