8.4. Коэффициент корреляции и теория информации

Важно отметить, что коэффициент корреляции и корреляционная функция связаны с энергией взаимодействия процессов, описываемых двумя случайными функциями с положительным, отрицательным или нулевым временным сдвигом Функции могут совпадать, в этом случае имеем автокорреляцию. Термин «энергия взаимодействия» является более обоснованным для отражения связи двух случайных процессов, чем такие термины как «связь» или «зависимость». Действительно, изменение процессов на интервале всегда можно представить в виде уравнений . Исключая из последних двух уравнений, получаем зависимость между и у. Поэтому нельзя считать, что х и у независимы. Но если среднее значение произведения равно нулю, то можно утверждать, что в среднем обмен энергией не происходит, т. е. энергия взаимодействия равна нулю. Энергия, передаваемая одним процессом другому в некотором интервале компенсируется передачей энергии в противоположном направлении в другом временном интервале. Эта глубокая связь между коэффициентом корреляции и обменом энергией физически обоснована и присуща самой природе процессов. Обмен информацией невозможен без передачи энергии; хотя количество передаваемой энергии может быть и небольшим, оно всегда отлично от нуля, в противном случае существовали бы усилители бесконечно большой мощности. Если энергия взаимодействия двух процессов равна нулю, то исследование одного из них не дает никакой информации о другом.

Следовательно, если коэффициент корреляции двух процессов равен нулю, то, хотя отсюда и не следует независимость

процессов, среднее значение информации, которой обмениваются процессы, в этом случае будет равно нулю. Впрочем, важно отметить, что количество информации о процессе х, содержащейся в процессе у, связано с коэффициентом взаимной корреляции этих двух процессов [1].