Глава 5. ВЫЧИСЛЕНИЕ ЭНТРОПИИ ДЛЯ ЧАСТНЫХ СЛУЧАЕВ. ЭНТРОПИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ
В настоящей главе излагаются методы подсчета энтропии многих случайных величин или случайного процесса в дискретном и непрерывном времени.
Особый интерес с принципиальной, а также прикладной точки зрения представляют стационарные случайные процессы и их теоретико-информационные характеристики, в частности, энтропия. Такие процессы являются относительно простыми объектами, особенно дискретный процесс, т. е. стационарный процесс с дискретными состояниями, протекающий в дискретном времени. Поэтому на его примере удобно иллюстрировать основные положения, и мы с него начнем.
Основное внимание будет уделено определению такой важной характеристики стационарного процесса, как удельная энтропия, т. е. энтропия, отнесенная к единице времени, к одному такту. Кроме того вводится энтропия Г конца отрезка. Она вместе с удельной энтропией 
определяет энтропию длинного отрезка длины Т по приближенной формуле
которая тем точнее, чем больше Т. Обе постоянные 
вычисляются для дискретного марковского процесса.
Обобщенное определение энтропии, данное в § 1.6, позволяет применять это понятие как к непрерывно-значным случайным величинам, так и к тому случаю, когда число этих случайных величин континуально, т. е. к случайному процессу с непрерывным параметром (временем).
Ниже показано, что на случай непрерывного пространства значений и на случай непрерывного времени могут быть распространены многие результаты, относящиеся к дискретному процессу. Так, для стационарных процессов в непрерывном времени может быть введена удельная энтропия, отнесенная уже не к одному такту, а к единице времени, и энтропия конца отрезка. Энтропия случайного процесса на отрезке приближенно представляется в виде двух членов по аналогии с приведенной выше формулой.
Для нестационарных процессов с непрерывным временем, вместо постоянной удельной энтропии, нужно рассматривать плотность энтропии, которая, вообще говоря, непостоянна во времени.
Энтропия и ее плотность подсчитываются для различных важных случаев процессов с непрерывным временем: гауссовых процессов и диффузионных марковских процессов.
Проводимый здесь подсчет энтропии случайных процессов дает возможность подсчитывать для случайных процессов шенноновское количество информации, о котором будет сказано в гл. 6.
