3. Символы, слова и сообщения при кодировании последовательностей

Предположим, что мы выбрали символы и что мы хотим воспользоваться комбинациями этих символов для построения слов или сообщений. Это представляет типичный случай кодирования последовательностей. Наши символы могут соответствовать буквам, которые, сочетаясь, образуют слова, или они могут представлять цифры, последовательность которых дает некоторое число. Более общая задача включает случай цифр или букв, применяемых для представления целых предложений. В случае речи каждое слово представлено комбинацией элементарных звуков, или фонем, которые играют роль символов.

Каждый символ имеет определенную цену, и способ подсчета этих цен зависит от физической системы передачи. В наших первых задачах мы будем полагать, что цена соответствует длительности сигнала, представляющего символ. Это есть главная проблема связи, где необходимая мощность мала и где задача сводится к передаче возможно большего количества сообщений за некоторое время Т. Каждый символ

имеет определенную длительность и многие символы могут иметь одинаковую длительность; это имеет место, в частности, если применяются импульсы переменной интенсивности или различной частоты. Аналогично обстоит дело и с телеграфными сигналами, состоящими из комбинаций посылок и пауз, когда все комбинации имеют одинаковую длину.

Мы не предполагаем каких-либо ограничений, наложенных на возможные последовательности символов. Если мы применяем буквы, то это значит, что мы допускаем последовательности, непроизносимые и не имеющие смысла ни в каком языке. Среди наших символов мы можем выбрать один какой-либо для обозначения пробела, или можно использовать для этой цели некоторую комбинацию символов. Рассортируем теперь наши символы по цене (или длительности). Мы имеем:

Если о означает наибольшую возможную длительность символа, а n есть полное число символов, то

Величины — неотрицательные целые числа, и мы можем считать длительности также целыми. Это предположение отвечает действительности, так как длительности всегда определяются лишь с определенной погрешностью.

Следуя программе, намеченной в п. 2, мы подсчитаем теперь число различных сообщений общей длительностью t. Это число N удовлетворяет соотношению:

которое означает, что сообщения длительностью могут быть дополнены любым из символов длительностью для образования сообщения общей длительностью t, и аналогично для .

Равенство (4.8) представляет собой линейное уравнение в конечных разностях. Оно имеет о независимых решений (см. приложение в конце этой главы) вида

а общее решение выражается линейной комбинацией

с постоянными коэффициентами . Подставляя частное решение мы убеждаемся, что являются корнями уравнения

или

Это называется характеристическим уравнением уравнения (4.8). Умножая на , чтобы избавиться от отрицательных степеней X, получаем алгебраическое уравнение степени:

Здесь имеется только одна перемена знака и, следовательно, по правилу Декарта, один положительный корень. Так как наша задача требует по меньшей мере двух символов, то многочлен отрицателен при , так что

Многочлен становится положительным при очень большом X. Поэтому мы имеем: