ПРИЛОЖЕНИЕ 5В. ОПТИМИЗАЦИЯ R0

Пусть задан произвольный алфавит передатчика и соответствующие вероятности Согласно аддитивной границе случайного кодирования, даваемой соотношением для канала с аддитивным белым гауссопстшм шумом имеем

где

и

В неравенстве через обозначена вероятность ошибки для кода длины усредненная по ансамблю систем связи, в котором вероятность того, что компонента сигнала примет значение равна независимо от выбора других компонент сигнала.

Мы хотим найти совокупность для которой принимает максимальное значение при условии

и

Показатель экспоненты может быть максимизирован путем минимизации двойной суммы в правой части Пусть множитель Лагранжа. Тогда

Приравнивая каждую частную производную нулю, получим систему А неоднородных линейных уравнений

Величина X определяется из условия .

Любая совокупность неотрицательных чисел являющаяся решением уравнения максимизирует Отсюда получим

и

Если все суммы равны одному и тому же числу

то значения всех вероятностей, задаваемых решением системы равны между собой. Это непосредственно следует из того, что система в этом случае принимает

Тогда

Если некоторые числа из совокупности являющиеся решением системы отрицательны, то решение методом Лагранжа не задает распределение вероятностей. Это означает, что некоторые числа нужно положить равными нулю, т. е. в алфавите передатчика слишком много букв. Техническое решение состоит тогда в том, чтобы уменьшить число букв, с тем чтобы их можно было расположить подальше друг от друга, не нарушая в то же время условие, наложенное на энергию.