4. Достаточность и обратимость

В первом параграфе было указано, что приемник имеет два назначения: сохранять нужную информацию и разрушать ненужную. Отсюда следует, что вообще в приемнике над у должна совершаться необратимая операция, так как в противном случае никакая информация не была бы разрушена. С "информационной" точки зрения все остальные — обратимые — операции не существенны: они не влияют на информацию. Мы можем поэтому определить как достаточный приемник такой, который производит над у те же необратимые операции, которые должны быть произведены для получения Другими словами, выход такого достаточного приемника должен быть эквивалентен хотя он может и не вырабатывать или представлять в явном виде. Эквивалентность означает не только то, что может быть получена из выходного сигнала, она означает также, что выход приемника должен однозначно определяться через этим обеспечивается разрушение всей посторонней информации.

Теперь мы можем вернуться к примеру предыдущего параграфа, чтобы посмотреть, можно ли упростить уравнение (14) более

строгим способом. Первая операция над у, согласно (14), есть образование интеграла (для всех значений

Так как в окончательном результате нормируется путем соответствующего выбора постоянной первый член в правой части (16), не зависящий от х, может быть опущен. Он может быть включен в Третий член вообще не представляет собой операцию над у, он может быть вынесен в виде отдельного множителя, подобного априорной вероятности. Таким образом,

Сразу видно, что необратимая операция над у заключается в вычислении

и что все остальное, необходимое для образования может быть получено без обращения к у. Итак, формула (18) дает по крайней мере достаточное представление информации, имеющейся относительно сообщения. Кроме того, нетрудно показать, что выражение (18) не более чем достаточно, ибо его значение можно получить из функции не зная у. Таким образом, на основании чисто статистических соображений, упрощенная формула (15) обосновывается не тем, что она дает наиболее вероятное значение и, когда произвольно выбрано равномерным (как было сделано в § 3), а тем, что она эквивалентна в "информационном" отношении полному апостериорному распределению, каково бы ни было априорное распределение — в этом и заключается истинный критерий.

Решение, состоящее в выборе того значения х, которое обращает в максимум известно в статистике как метод максимального правдоподобия; он часто употребляется в тех случаях, когда метод обратной вероятности не может быть применен за неимением априорного распределения вероятностей. Однако некоторые авторы, повидимому, не замечают того факта, что такое решение не всегда является достаточным, как можно видеть на примере гл. III, § 8 и как снова будет видно в ряде дальнейших примеров. Полная функция правдоподобия в отличие от значения х, для которого она максимальна, разумеется, всегда является достаточной; иногда, однако, она более чем достаточна. Так обстоит дело в примере, обсужденном в этом параграфе.