5.9. ВЫВОДЫ

1. Основными информационными характеристиками источников дискретных сообщений являются энтропия, условная энтропия, производительность и избыточность. Энтропия — это среднее количество информации, приходящееся на один символ сообщения. Если символы сообщения коррелированы, то энтропия уменьшается. Чтобы это учесть, вводят понятие условной энтропии. Она характеризует среднее количество информации, которое несет последующий символ сообщения при условии, что уже известен ряд предыдущих символов. Корреляционные связи и неравномерность распределения вероятностей появления символов характеризует избыточность источника — отношение количества информации, теряемой из-за воздействия этих факторов, к максимальному количеству информации, которое несет один символ.

2. Основными информационными характеристиками дискретных каналов являются скорость передачи информации, пропускная способность и коэффициент использования. Если помехи в канале отсутствуют, скорость передачи информации равна производительности кодера. Пропускной способностью канала без шумов называют максимальную скорость передачи информации при фиксированных условиях передачи и приема сигналов. Степень согласования источника с каналом характеризуют отношением; скорости передачи информации к пропускной способности канала, называемым коэффициентом использования канала.

Среднее количество принятой информации определяют как разность среднего количества переданной информации и среднего, количества информации, потерянной в канале из-за помех. Скорость передачи информации и пропускную способность каналов: с шумами определяют через среднее количество принятой в единицу времени информации. Пропускная способность дискретных каналов с Сумами полностью определяется скоростью передачи кодовых символов, вероятностью появления ошибки при передаче одного символа и основанием кода. Влияние помех проявляется в том, что для обеспечения сколь угодно малой вероятности ошибки необходимо увеличивать избыточность кода.

3. Сущность оптимального эффективного кодирования заключается в том, что разрабатывают такие коды, которые позволяют перевести неравномерное распределение вероятностей коррелированных символов в равномерное распределение вероятностей появления независимых кодовых символов. Конечная цель оптимального кодирования — приблизить скорость передачи информации к пропускной способности канала. Наличие шумов в канале приводит к тому, что эффективность оптимального кодирования

падает. Кодирование сообщений дискретных источников с памятью выполняют в два этапа: на первом устраняют корреляцию символов первичного алфавита, на (втором -выравнивают распределение вероятностей появления независимых кодовых символов. Эффективное оптимальное кодирование полезно для тех реальных каналов, в которых отношение сигнал/шум значительно превышает единицу.

4. Основными информационными характеристиками источников непрерывных сообщений являются энтропия, условная энтропия, эпсилон-энтропия, эпсилон-производительность, избыточность и объем информации. Формулу для энтропии источника непрерывных сообщений получают из формулы для энтропии источника дискретных сообщений путем предельного перехода. Среди всех источников с ограниченной и одинаковой мощностью сигналов наибольшей энтропией обладает источник с гауссовскими сигналами. Энтропия гауссовского белого шума является максимальной в классе гауссовских непрерывных сигналов. Поэтому помеха типа «гауссовский белый шум» является наиболее тяжелой и ее часто используют для оценки качества связи в наихудшем случае. Отсюда же следует целесообразность применения сигналов-переносчиков, по свойствам близких к гауссовскому белому шуму. Понятие эпсилон-энтропии вводят потому, что невозможно передать непрерывный сигнал абсолютно точно. Эпсилон-энтропия характеризует то среднее количество информации в одном независимом отсчете непрерывного случайного процесса, которое необходимо для воспроизведения этого процесса с заданной среднеквадратической погрешностью. Максимального значения эпсилон-энтропия достигает для гауссовских процессов. Эпсилон-производительность определяют как произведение средней скорости выдачи отсчетов на эпсилон-энтропию одного отсчета. Максимальный объем информации, выданной источником за время существования сигнала, равен произведению максимальной эпсилон-производительности на длительность сигнала. Избыточность источника характеризуют формулой (5.75).

5. Основными информационными характеристиками непрерывных каналов, как и дискретных, являются скорость передачи информации, пропускная способность и коэффициент использования. Пропускная способность гауссова непрерывного канала определяется его полосой пропускания и отношением сигнал/шум в канале. Чем шире спектр сигнала при прочих равных условиях, тем ближе пропускная способность канала к предельному значению. Поэтому целесообразно применять широкополосные (шумоподобные) сигналы-переносчики.

6. Предельные возможности согласования источников с каналами определены в теоремах кодирования Шеннона. Сущность этих теорем в том, что существуют способы оптимального кодирования, при которых вероятности ошибки (или для непрерывных сообщений среднеквадрагические отклонения принятых сигналов от переданных) будут сколь угодно малы, если

производительность источника меньше пропускной способности канала. Под. оптимальным кодированием непрерывных сообщений в (непрерывные сигналы понимают аналоговую модуляцию (см. § 3.1). Эффективность использования дискретными и непрерывными источниками пропускной способности непрерывного канала характеризуют коэффициентами (5.83), (5.87).

7. Сравнение пропускных способностей дискретного и «непрерывного каналов показывает, что пропускная способность дискретного канала всегда меньше или равна пропускной способности соответствующего непрерывного канала. Равенство имеет место только тогда, когда и отношение сигнал/шум, и основание кода стремятся к бесконечности. Если вместо флуктуационной помехи в канале действует сосредоточенная помеха, то пропускная способность канала увеличивается. Если имеют место искажения и замирания сигналов в канале, то отношение сигнал/шум падает, а это приводит к уменьшению пропускной способности каналов.

8. Энтропия и производительность источника, скорость передачи информации и пропускная способность канала, коэффициенты (5.83), (5.87) широко используют для согласования характеристик функциональных узлов различных информационных систем.