23. Энтропия суммы двух ансамблей
Если имеются два ансамбля функций
то можно образовать новый ансамбль путем «сложения». Допустим, что первый ансамбль имеет плотность распределения вероятностей
а второй -
. Тогда плотность распределения для суммы дается сверткой:
физически это соответствует сложению шумов или сигналов, представляемых первоначальными ансамблями функций.
Следующее положение доказывается в приложении 6.
Теорема 15. Пусть средние мощности двух ансамблей равны
а их энтропийные мощности пусть равны
и
Тогда энтропийная мощность суммы,
ограничена неравенствами
Белый гауссовский шум обладает характерным свойством поглощать любой другой шум или ансамбль сигналов, которые могут быть сложены с ним, и при этом результирующая энтропийная мощность приблизительно равна сумме мощности белого шума и мощности сигнала (измеренной от среднего значения сигнала, которое обычно равно нулю), если только мощность сигнала мала (в некотором смысле) по сравнению с шумом.
Рассмотрим функциональное пространство, связанное с этими ансамблями и имеющее размерность
Белый шум соответствует сферическому гауссовскому распределению в этом пространстве. Ансамбль сигналов соответствует другому распределению, не обязательно нормальному или сферическому. Пусть вторые моменты этого распределения относительно его центра тяжести равны
Другими словами, если
— плотность распределения вероятностей, то
где
координаты центра тяжести. Далее,
является положительно определенной квадратичной формой, и можно повернуть нашу систему координат так, чтобы направить оси координат по главным направлениям этой формы. Тогда
приведется к диагональной форме
Потребуем, чтобы каждое
было мало по сравнению с
— квадратом радиуса сферического распределения.
В этом случае свертка шума и сигнала дает приблизительно гауссовское распределение, соответствующая квадратичная форма которого есть
Энтропийная мощность этого распределения равна
или приблизительно
Последнее слагаемое есть мощность сигнала, первое — мощность шума.