9. Проблема согласования

Условие (4.61) или (4.66) соответствует системе кодирования, наиболее эффективно выполняющей согласование с каналом. Оно играет в проблемах кодирования такую же важную роль, как условие согласования характеристических сопротивлений в проблемах теории цепей. В одной специальной задаче Шеннон применяет процедуру, приводящую к весьма сходному правилу. Мы доказали, что результат является совершенно общим и применим ко всем задачам кодирования. Специальные применения и примеры будут обсуждены в следующей главе.

Заметим в заключение, что совпадение среднего и наиболее вероятного распределения является хорошо известным результатом для весьма большого числа событий. Это правило играет важную роль в статистической термодинамике, где с его помощью объясняется совпадение различных определений энтропии, данных Гиббсом, Максвеллом, Больцманом и Планком. Этот вопрос очень ясно изложен у Лоренца).