18-2. КОЛИЧЕСТВО ИНФОРМАЦИИ В ПРОЦЕССАХ УПРАВЛЕНИЯ

Информацией называются любые сведения, первичным источником которых является опыт, наблюдение. В теории информации введена количественная мера информации, тесно связанная с понятием энтропии. Количеством информации, содержащимся в каком-либо сообщении о состоянии или событии, называется логарифм отношения вероятности этого состояния или события, определенной после принятия сообщения, к вероятности до принятия сообщения:

Если после принятия сообщения событие превращается в достоверное, т. е., как принято говорить, отсутствуют ошибки или шумы, то и количество информации равно:

Сообщение, при котором в дальнейшем будем называть достоверным.

Если имеется не одно возможное состояние или событие, а возможных состояний или событий с вероятностями то математическое ожидание (среднее значение) количества информации в достоверном сообщении об этих состояниях равно:

Сопоставляя это выражение с для энтропии дискретного распределения, убеждаемся, что математическое ожидание количества информации в достоверном сообщении о дискретных состояниях равно энтропии этих состояний. Отсюда формулировка Больцмана: энтропия есть мера недостающей информации.

Здесь необходимо сделать одно важное разъяснение. В литературе по теории информации часто получение Информации о каком-либо процессе смешивается с понятием изменения энтропии самого этого процесса. Но согласно введенным выше понятиям приращение энтропии состояния процесса есть мера разброса процесса относительно некоторого желаемого его течения. Таким образом, изменение энтропии состояния процесса есть характеристика объективного реального его течения. Это изменение не может быть достигнуто только путем получения информации, т. е. получения некоторого «отражения» или «изображения» процесса. Для изменения энтропии в указанном ее понимании необходимо организованное изменение процесса, т. е. управление. Получение определенного количества информации о процессе необходимо, но еще недостаточно для осуществления управления.

На рис. 18-1 изображена общая схема процесса управления. Информация об управляемом процессе (координаты принимается с помощью системы получения информации, которая может включать различные измерительные устройства. Полученная информация обрабатывается в системе передачи и обработки информации. Обработанная информация поступает в систему формирования управляющих воздействий исполнительную систему. Управляющие воздействия оказывают влияние на управляемый процесс в направлении уменьшения энтропии процесса.

Информация передается посредством сигнала — физического носителя информации. Если сигнал передает непрерывную величину х, то количество переданной в одном сообщении (сигнале) информации выражается логарифмом отношения плотности вероятности после получения сигнала к плотности вероятности до получения сигнала:

Рис. 18-1, Общая схема процесса управления.

Эта формула обобщает (18-10) на случай непрерывных сигналов. По определению выражают вероятность нахождения величины в интервале после и до получения сигнала соответственно. Следует еще раз подчеркнуть, что преобразование распределения вероятности в распределение вероятности происходит лишь для того наблюдателя, который получил сигнал.

Если в одном сообщении передается несколько величин: то количество переданной информации выражается формулой

где -плотность вероятности до получения сигнала; -плотность вероятности после получения сигнала. При рассмотрении передачи и преобразования информации величины следует трактовать как входные величины системы получения и преобразования информации, как выходные величины этой системы (рис. 18-1). Таким образом, количество переданной и преобразованной информации выражается логарифмом отношения плотности вероятности входных величин после получения сигнала на выходе к плотности вероятности входных величин до получения сигнала на выходе.

Количество информации зависит от входных и выходных величин. Для общего описания процесса передачи и преобразования информации удобно рассматривать математическое ожидание или среднее значение количества информации.

Среднее количество информации при передаче одной величины выражается формулой

где плотность вероятности.

Величина выражает вероятность того, что переданная величина находится в интервале а принятая величина — в интервале

Аналогично для общего случая передачи величин математическое ожидание количества информации на одно сообщение равно:

Здесь

выражает вероятность одновременного нахождения передаваемых величин в интервалах

и принятых величин в интервалах

Формулы (18-14), (18-15) можно представить в нескольких эквивалентных видах. Для случая передачи одной величины согласно известным правилам теории вероятностей имеем:

где вероятность того, что принятая величина лежит в интервале если переданная величина неизвестна;

где вероятность нахождения переданной величины в интервале если принятый сигнал неизвестен.

Далее,

Заменяя в выражении получаем симметричную формулу для среднего количества информации при передаче сообщения

Используя (18-18), формулу (18-14) можно преобразовать также следующим образом:

но

есть усредненная по всем значениям у энтропия распределения вероятностей . С другой стороны,

так как

Таким образом, среднее количество информации при передаче равно разности энтропии распределения вероятностей входной величины до получения сигнала и усредненной энтропии распределения вероятностей этой величины после получения сигнала:

Величина является усредненной характеристикой эффекта действия шумов, а также запаздывания при передаче сигнала.

Производя преобразования, аналогичные проделанным, или непосредственно используя симметрию формулы (18-19), можно получить еще одно выражение для среднего количества информации, подобное (18-20):

где

Количество передаваемой информации падает с увеличением шумов и запаздывания при передаче сигнала. Чтобы проиллюстрировать это положение, рассмотрим случай нормального закона распределения вероятностей входной и выходной величин. Плотность нормального распределения двух величин выражается формулой 1

где — математические ожидания величин х, у 00 00

— коэффициент корреляции;

— дисперсии величин Плотности нормального распределения каждой из величин х, у равны:

Таким образом,

Логарифмируя, находим:

Математическое ожидание выражения в квадратных скобках равно нулю [см. (18-22) и (18-23)]. Подставляя (18-25) в (18-19), находим:

Таким образом, в случае нормального распределения вероятностей входной и выходной величин среднее количество информации при передаче весьма просто выражается через коэффициент корреляции входной и выходной величин.

Если выходная величина у не зависит от входной, то количество передаваемой информации равно нулю. Если выходная величина точно и без запаздывания повторяет непрерывную входную величину, то и количество информации равно бесконечности.

В том, что среднее количество информации при точном воспроизведении непрерывной величины равно бесконечности, можно убедиться непосредственно из (18-14), ибо в этом случае представляют собой -функции.

Если имеет место точное, но с запаздыванием на время воспроизведение стационарной случайной входной функции, то

и

где корреляционная функция центрированной случайной функции; дисперсия; нормированная корреляционная функция.

Таким образом, в данном случае среднее количество передаваемой одним сигналом информации равно:

Так как

Если входная величина воспроизводится без запаздывания, но имеется

шум и, не зависящий от входной величины, то

Второй интеграл в скобках равен нулю, так как по условию и не зависит от Таким образом, в данном случае

и среднее количество информации в одной передаче равно:

т. е.

Здесь уместно ввести понятие пропускной способности канала передачи информации. Пропускной способностью канала передачи информации называется максимальное количество информации, которое может быть передано по данному каналу в единицу времени.

Если канал имеет полосу пропускания частот то согласно теореме Котельникова по каналу может быть передано максимум значений входной величины в 1 сек.

Полагая, что количество передач в единицу времени составляет на основании (18-29) получаем выражение для пропускной способности С канала при независимом шуме (без учета запаздывания):

Дисперсии , а можно трактовать как мощности сигнала и шума: тогда (18-30) принимает вид:

Это выражение носит название формулы Шэннона, по имени одного из основоположников теории информации.

Формула и последующие выражения относятся к передаче одной скалярной величины или, как говорят, к случаю одномерной системы.

Однако при рассмотрении сложных систем автоматического управления часто лриходится иметь дело с одновременным параллельным измерением и передачей многих величин (многомерные системы). В связи с этим приведем выражения для количества информации при передаче вида

Выражение (18-15) математического ожидания количества информации при учете соотношения

можно записать в симметричном виде:

Производя преобразования, аналогичные приведенным, получаем:

или

где

— энтропия входных величин до получения сигналов на выходе;

— усредненное по выходным величинам значение энтропии координат после получения сигналов на выходе. Формулы (18-32) и (18-33) как по виду, так и по содержанию аналогичны (18-20) и (18-21) одномерной передачи информации.

Заметим, что величины так же как и величины можно рассматривать как компоненты -мерных векторов и передачу можно для краткости называть передачей -мерного вектора При нормальном законе распределения случайных векторов на входе и выходе количество информации в передаче можно выразить через коэффициенты корреляции подобно тому, как это имело место при передаче

Прежде чем записывать соответствующие выражения, поясним понятия корреляционной матрицы и корреляционного определителя случайного вектора. Корреляционные моменты есть математические ожидания произведений отклонений случайных величин:

Матрицы, составленные из корреляционных моментов, называются коореляционными матрицами, а определители, соответствующие матрицам, именуются корреляционными определителями:

Последний определитель в качестве элементов содержит корреляционные моменты для входных величин выходных величин и взаимные корреляционные моменты; входных и выходных величин Двумя минорами этого определителя, расположенными на главной диагонали, являются определители а минором на второй диагонали — определитель

Можно показать, что энтропия случайного вектора х, имеющего нормальный закон распределения равна:

где корреляционный определитель данного вектора.

В одномерном случае обращается ранее рассмотренную (18-8). Если компоненты вектора независимые случайные величины, то

т. е. все элементы определителя кроме диагональных, равны нулю и

Поэтому

что соответствует формуле (18-3) для случая независимых величин нормальным распределением.

Используя (18-31) и (18-35), легко получить выражение для математического ожидания количества информации в передаче вектора при нормальном распределении входных выходных величин:

Если выходной вектор не зависит от входного, [см. выражения (18-34)] и количество информации равно нулю: Для одномерного случая

и (18-36) обращается в формулу (18-26):

Для того чтобы завершить краткое рассмотрение понятий передачи информации в системах управления, необходимо сказать еще об информации при преобразовании координат и потере информации при прохождении сигнала через последовательно включенные системы.

В системах получения, передачи и обработки информации (рис. часто осуществляется преобразование координат. Преобразование координат

называется взаимно однозначным, если якобиан преобразования

отличен от нуля. Здесь некоторые дифференцируемые функции.

Возникает вопрос: меняется ли количество информации при преобразовании координат? Ответ дается без доказательства. Среднее количество передаваемой информации не меняется при взаимно однозначном преобразовании координат.

Для пояснения второго вопроса обратимся к схеме процесса управления (рис. 18-1). Информация, вырабатываемая в системе получения информации, проходит последовательно систему передачи и обработки информации и исполнительную систему. Система передачи и обработки информации и исполнительная система не имеют непосредственного воздействия со стороны управляемого процесса, ибо предполагается лишь однонаправленное действие управляющих координат на управляемый процесс. Если же управляемый процесс оказывает непосредственное обратное воздействие на управляющие координаты (исполнительную систему), то его можно привести к случаю однонаправленного действия

добавлением некоторой информации в систему получения информации. Вопрос ставится так: может ли количество информации при передаче превышать количество информации при передаче Отрицательный ответ на этот вопрос приводится без доказательства ввиду достаточной его очевидности.

Среднее количество информации при прохождении последовательно соединенных систем может только убывать либо (в предельном случае отсутствия дополнительных шумов) оставаться неизменным:

где среднее количество информации при передаче среднее количество информации при передаче