БИБЛИОГРАФИЯ РАБОТ ПО ШЕННОНОВСКОЙ ТЕОРИИ ОПТИМАЛЬНОГО КОДИРОВАНИЯ ИНФОРМАЦИИ
Работы Шеннона, помещенные в данном сборнике, послужили толчком к созданию новой отрасли прикладной математики с резко выраженными границами, которая интенсивно развивается за последнее десятилетие. Эту отрасль математической науки можно назвать «шенноновской теорией оптимального кодирования информации», рассматривая ее как часть теории информации в широком смысле этого термина. Основным ее содержанием является выделение и исследование оптимальных и близких к оптимальным методов кодирования информации при передаче ее по каналам связи. Эту теорию естественно назвать шенноновской, поскольку ее основы были заложены в известной работе «Математическая теория связи» и, кроме того, большая часть ее идей была или впервые выдвинута, или существенно развита в работах Шеннона.
В рамках данного сборника не представляется возможным дать достаточно полный обзор истории развития шенноновской теории оптимального кодирования информации. Ввиду этого в библиографию, составленную М. А. Ратнер, включены наиболее интересные работы, имеющие существенный теоретический интерес.
Все отобранные работы разделены на 11 разделов, обозначенных буквами русского алфавита. В алфавитном списке литературыэти буквы, указывающие соответствующий раздел, стоят в конце наименования работы.
Ниже приводится содержание каждого из 11 разделов и наиболее интересные работы по каждому из них.
А. Книги и обзорные статьи, посвященные общему изложению теории. В качестве первого введения в теорию информации для инженеров в настоящее время можно рекомендовать книги Fano [2] и Reza [1], а также статьи Шеннона [1,3]; для математика более подходит книга Файнстейна [1]. Физические аспекты теории информации отражены в книге Бриллюэна [1]. Лучшей из популярных книг является книга Яглома и Яглома [1]. Для ознакомления с самыми современными актуальными проблемами теории можно рекомендовать книгу Wolfowitz [13] и обзорную статью Добрушина [3]. Имеется библиография Stumpers [1-4]. Кроме того, выделим следующие работы: Голдман [1], Добрушин [9], Колмогоров [1], Bell [1], Cherry [1], Hancock [1], Jakobs [1], Zemanek [1],
Б. Общие свойства энтропии и информации. Основные свойства энтропии в случае дискретных величин подробно изложены в книге Файнстейна [1] и статье Хинчина [1]. Свойства информации в случае представления информации в непрерывной форме изложены во вводных разделах статьи Добрушина [5] и книги Пинскера [7]. Из работ, не отраженных в этих книгах и обзорах, отметим следующие статьи: Добру шин [8], Birch [1], Csiszar [1], Renyi [1-3], Renyi, Balatoni [1]. К этой теме относятся также следующие работы: Гельфанд, Колмогоров, Яглом [1, 2], Гельфанд, Яглом [1], Колмогоров [1], Розенблат-Рот [1], Рохлин [1], Синай [1, 2], Фадеев [1], Хинчин [1], Цзян Цзэ-пей [1], Ху Го-дин [2], Billingsley [1], Ikeda [1-3], Perez [1], Segal [1], Tverberg [1].
В. Исследование условий, при которых верна основная теорема Шеннона о возможности передачи информации. Итоги первого этапа исследований, посвященного обоснованию теоремы Шеннона для дискретных каналов, подведены в монографиях Файнстейна [1] и Wolfowitz [13]. Наиболее общие результаты для непрерывных каналов содержатся в работах Добрушина [5] и Пинскера [6, 7]. Теорема Шеннона для сообщений с заданным критерием точности изучена математически строго в работах Шеннона [13] и Добрушина [8].
Отметим, кроме того, следующие работы: Блекуэлл, Брейман, Томасян [1], Перез [1], Розенблат-Рот [1—3], Хинчин [1,2], Ху Годин [2], Adler [1], Blackwell [1], Breiman [1, 2], Carleson [1], Chung [1], Feinstein [1, 3], Jakobs [1, 3, 4], Kinney [1], McMillan [1], Moy Shu-Teh [1, 2], Nedoma [1,2], Parthasarathy [1], Perez [1, 2, 4], Takano [1], Wolfowitz [2, 4, 7, 10, 12].
Г. Вычисление скорости передачи информации, пропускной способности и е-энтропии (скорости передачи как функции искажения). Обзорные изложения этого вопроса до сих пор отсутствуют, хотя некоторые факты собраны в книгах Reza [1] и Fano [2]. Вычислению пропускной способности каналов без памяти посвящены работы Шеннона [7] и Muroga [1-4]. По поводу вычисления энтропии в случае дискретного канала см. Шеннон [13], Ерохин [1]: Большая литература посвящена случаю гауссовского канала: Гельфанд, Яглом [1], Пинскер [1—6], Good, Doog [1, 2], Powers [1], Korezlioglu [1]. Существует обширная литература по вычислению пропускной способности для моделей реальных каналов связи: Gilbert [4], Добрушин, Хургин, Цыбаков [1], Линь Хай-цюань [1, 2], Овсеевич, Пинскер [1—8], Хургин [1], Сифоров [6—8], Цыбаков [1—4, 6, 7]. Отметим работы по статистической оценке энтропии и пропускной способности: Башарин [1], Добрушин [2], Lomnizky, Zaremba [1].
Выделим также следующие работы: Блекуэлл [1], Добрушин [6], Колмогоров, Тихомиров [1], Любич [1], Рубинштейн, Урбаник [1], Синай [1], Шеннон [5, 10, 11], Abramson [3], Blachman [3, 4], Chang [2], Huang, Johnson [1], Swerling [1].
Д. Обобщения основной постановки задачи: двусторонние каналы с обратной связью-, каналы с неизвестными параметрами (совместные каналы). Некоторые результаты по этому поводу собраны в книге Wolfowitz [13]. Более общие дальнейшие результаты содержатся в работах: Добрушин [12, 14, 15], Шеннон [14], Bleckwell, Breiman, Thomasian [3], Kesten [1]. Выделим также следующие работы: Добрушин [1], Шеннон [9], Bellman, Kalada [1, 2], Blackwell, Breiman, Thomasian [1], Chang [1, 3], Kelly [1, 2], Wolfowitz [8-10, 12].
E. Исследование вероятности ошибки при передаче новыми кодами. В качестве введения в эту тематику рекомендуется последняя глава книги Файнстейна [1]. Наиболее сильные результаты для случая дискретного канала содержатся в последних главах книги Fano [2], а для случая непрерывного канала в работах: Шеннон [12], Thomasian [3]; см. также следующие работы: Добрушин [7, 10—13], Шеннон [7, 10, 11], Элайес [1,2], Юшкевич [1], Abramson [3], Blackwell, Breiman, Thomasian [2], Elias [1-3], Feinstein
Ж. Комбинаторно-алгебраическая теория кодов, исправляющих ошибки. Основные результаты, содержащиеся в обширной литературе по этому вопросу, собраны в книге Peterson [4], где даны также подробные ссылки на литературу.
3. Последовательное декодирование. Литература по этому вопросу немногочисленна; см. следующие работы: Возенкрафт, Рейффен [1], Рейффен [1], Epstein [1], Perry, Wozencraft [1], Wozencraft [1,2], Ziv [1]. Подробнее всего метод последовательного декодирования изложен в книге Возенкрафт, Рейффен [1].
И. Статистическое кодирование сообщений (неравномерные коды). Некоторые результаты собраны в статье: Гилберт, Мур [1]. Интересный более общий подход применен в работах: Глебский [1, 2], Левенштейн [2, 4, 5], Марков ]1, 4]; см. также работы: Блох [2, 3], Мак-Миллан [1], Сардинас, Патерсон [1], Хаффмен [2], Blachman [2], Jaynes [2], Karp [1], Neumann [2], Schiitzenberger, Marcus [1].
К. Применение идей шенноновской теории оптимального кодирования информации в математической статистике. Эта тематика подробно изложена в книге: Kullback [3]; см. также следующие работы: Айвазян [1], Линдли [1], Сакагучи [1], Hajek [1], Ikeda [2], Kullback [1,2], Lindley [1, 2], Mourier [1], Sakaguchy [1, 2], Stam [1], Vincze [1], Watanabe [4].
Л. Приложения шенноновской теории оптимального кодирования информации в технике связи, физике, лингвистике и т. д. Обзор возможностей технических приложений см. Элайес [3]; по поводу приложения к физике — Бриллюэн [1]; приложения к лингвистике—Добрушин, Яглом, Яглом [1], Шеннон [16]; приложения к психологии - Quastler [1].
