Курс теории информации

Научная библиотека

Научная библиотека

Курс теории информации

Курс теории информации. Колесник В. Д., Полтырев Г. Ш. — М.: Наука. Главная редакция физико-математической литературы. 1982. — 416 с.

Теория информации представляет собой ветвь статистической теории связи, круг проблем которой можно охарактеризовать как исследования кодирования для обработки и передачи сообщений. Книга состоит из следующих пяти разделов: кодирование дискретных источников, кодирование в дискретных каналах, кодирование в непрерывных каналах, кодирование непрерывных источников и кодирование в системах с многими пользователями. Основные параграфы книги задуманы как пособие для студентов, впервые знакомящихся с теорией информации. Дополнительные параграфы, отмеченные звездочкой, предназначены для углубленного изучения «традиционной» теории информации и могут быть полезны аспирантам. Особое место в книге занимает глава, посвященная кодированию в системах с многими пользователями, содержащая наиболее поздние результаты теории информации. Для чтения этой части нужна определенная теоретико-информационная эрудиция. Каждая глава снабжена рядом задач и упражнений.

Оглавление

ПРЕДИСЛОВИЕ
Глава 1. КОДИРОВАНИЕ ДИСКРЕТНЫХ ИСТОЧНИКОВ
§ 1.2. Случайные величины. Закон больших чисел
§ 1.3. Количество информации в сообщении. Энтропия
§ 1.4. Условная информация. Условная энтропия
§ 1.5. Энтропия на сообщение дискретного стационарного источника
§ 1.6. Постановка задачи кодирования дискретных источников равномерными кодами
§ 1.7. Теорема о высоковероятных множествах дискретного источника без памяти
§ 1.8. Скорость создания информации дискретным источником без памяти при равномерном кодировании
§ 1.9. Эргодические дискретные источники
§ 1.10. Постановка задачи неравномерного кодирования дискретных источников. Коды с однозначным декодированием
§ 1.11. Кодовые деревья. Неравенство Крафта
§ 1.12. Неравномерное кодирование дискретных стационарных источников
§ 1.13. Оптимальные неравномерные коды
§ 1.14. Обсуждение основных результатов
Глава 2. ВЗАИМНАЯ ИНФОРМАЦИЯ И ЕЕ СВОЙСТВА
§ 2.1. Количество информации между дискретными ансамблями
§ 2.2. Непрерывные ансамбли и источники. Обобщение понятия количества информации
§ 2.3. Относительная энтропия и ее свойства
§ 2.4. Ортогональные преобразования случайных векторов
§ 2.5. Выпуклость средней взаимной информации
§ 2.6. Случайные процессы непрерывного времени
§ 2.7. Средняя взаимная информация между случайными процессами
§ 2.8. Поиск экстремумов
2.8.2. Необходимые условия Куна-Таккера.
2.8.3. Достаточность условий Куна-Таккера для выпуклых функций.
2.8.4. Поиск экстремумов на множестве вероятностных векторов.
Глава 3. КОДИРОВАНИЕ В ДИСКРЕТНЫХ КАНАЛАХ
§ 3.2. Постановка задачи кодирования в дискретном канале
§ 3.3. Неравенство Фано
§ 3.4. Общая обратная теорема кодирования для дискретных каналов
§ 3.5. Информационная емкость дискретных каналов без памяти
3.5.2. Вычисление информационной емкости дискретного канала без памяти.
§ 3.6. Симметричные дискретные каналы без памяти
§ 3.7. Дискретные стационарные каналы с аддитивным по модулю L шумом
§ 3.8. Неравенство Файнстейна
§ 3.9. Прямая теорема кодирования для дискретных каналов без памяти
§ 3.10. Прямая теорема кодирования для дискретных стационарных каналов с аддитивным эргодическим шумом
§ 3.11. Декодирование для кодов с заданным множеством кодовых слов
§ 3.12. Верхняя граница вероятности ошибки декодирования для дискретных каналов без памяти
3.12.3. Оценка средней по ансамблю кодов вероятности ошибки декодирования для дискретных каналов без памяти.
3.12.4. Свойства функции … и построение экспоненты случайного кодирования.
3.12.5. Показатель экспоненты случайного кодирования для симметричных каналов без памяти.
§ 3.13. Нижняя граница вероятности ошибки декодирования для дискретных каналов без памяти (граница сферической упаковки)
3.13.2. Коды с фиксированной композицией.
3.13.3. Нижняя граница для вероятности ошибки декодирования кода с фиксированной композицией.
3.13.4. Совместное рассмотрение экспонент случайного кодирования и сферической упаковки.
Глава 4. КОДИРОВАНИЕ В НЕПРЕРЫВНЫХ КАНАЛАХ
§ 4.1. Непрерывные каналы с дискретным временем. Обратная теорема кодирования
§ 4.2. Непрерывные каналы без памяти с дискретным временем
§ 4.3. Каналы с непрерывным временем. Обратная теорема кодирования
§ 4.4. Прямая теорема кодирования для непрерывных каналов с аддитивным белым гауссовским шумом
Глава 5. КОДИРОВАНИЕ ИСТОЧНИКОВ С ЗАДАННЫМ КРИТЕРИЕМ КАЧЕСТВА
§ 5.1. Критерии качества. Постановка задачи кодирования с заданным критерием качества
§ 5.2. Эпсилон-энтропия и ее свойства
§ 5.3. Обратная теорема кодирования непрерывных источников при заданном критерии качества
§ 5.4. Эпсилон-энтропия гауссовского источника без памяти
§ 5.5. Прямая теорема кодирования стационарного источника независимых гауссовских сообщений при квадратическом критерии качества
5.5.2. Аппроксимация векторов, лежащих на поверхности n-мерной сферы.
5.5.3. Аппроксимация последовательностей сообщений источника с помощью e-сети на n-мерной сфере.
5.5.4. Прямая теорема кодирования.
5.5.5. Обсуждение.
§ 5.6. Эпсилон-энтропия гауссовского случайного вектора
5.6.2. Эпсилон-энтропия системы зависимых гауссовских случайных величин.
§ 5.7. Эпсилон-энтропия стационарного гауссовского процесса дискретного времени
§ 5.8. Формулировка прямой теоремы кодирования для стационарного гауссовского источника с дискретным временем
Глава 6. КОДИРОВАНИЕ В СИСТЕМАХ С МНОГИМИ ПОЛЬЗОВАТЕЛЯМИ
§ 6.1. Кодирование зависимых источников
§ 6.2. Кодирование источников с дополнительной информацией
§ 6.3. Кодирование в каналах с множественным доступом
§ 6.4. Кодирование в широковещательных каналах
6.4.2. Ухудшающиеся широковещательные каналы (УШК).
6.4.3. Двоичный симметричный широковещательный канал.
6.4.4. Обратная теорема кодирования.
6.4.5. Прямая теорема кодирования.