ГЛАВА ВОСЕМНАДЦАТАЯ. ЭНТРОПИЯ, ИНФОРМАЦИЯ, АЛГОРИТМ В СИСТЕМАХ АВТОМАТИЧЕОКОГО УПРАВЛЕНИЯ

Предыдущие разделы курса основ автоматики посвящены рассмотрению весьма важных, но частных систем автоматического управления. Между тем, помимо нарастающего разнообразия возможных частных видов автоматических устройств, в современной технике ясно выражена тенденция комплексного использования этих устройств — объединение автоматических устройств в единые системы. Понятие системы автоматического управления охватывает как простейшие автоматические устройства, так и сложнейшие комплексы автоматических систем. Такие системы комплексной автоматизации, как системы управления технологическими процессами целых предприятий и групп предприятий, системы автоматического управления боевыми действиями и т. п., могут включать множество источников информации, систем регулирования, вычислительных и управляющих машин, каналов передачи информации и других устройств.

Кроме того, комплексные системы автоматизации на всех этапах развития техники будут в той или иной мере использовать участие человека в процессах управления. Человек будет контролировать и утверждать наиболее важные решения управляющих машин» выполнять операции, не поддающиеся автоматизации при данном уровне техники. Оптимальное рзаимодействие человека с системой относится к чжцу важнейших вопросов построения комплексных автоматизированных систем.

Для качественного описания и исследования процессов в комплексных автоматических системах необт ходимы соответствующие определения и понятия.

Основные определения и понятия, используемые при анализе систем регулирования, как-то: передаточные функции, законы регулирования, частотные характеристики и т. д., недостаточны для анализа и бписания сложных систем автоматического управления. Необходимы более общие определения и понятия. Такие определения и понятия формируются в общей науке об управлении — кибернетике.

18-1. ЭНТРОПИЯ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ УПРАВЛЯЕМОГО ПРОЦЕССА

Пусть имеется некоторый процесс, управление которым подлежит автоматизации. Состояние процесса в каждый данный момент времени характеризуется совокупностью величин которые будем называть координатами процесса.

Координаты процесса всегда имеют разброс относительно желаемых значений, т. е. содержат случайные составляющие. Одним из основных назначений автоматизации управления процессом являются уменьшение неопределенности протекания процесса, уменьшение отклонений процесса от желаемого его течения. При этом требование

увеличения точности управления часто сочетается с требованием увеличения скорости протекания процесса.

Для иллюстрации тезиса о разбросе координат процесса, подлежащего автоматизации, приведем несколько примеров.

При пусках неуправляемых ракет наблюдается большое рассеивание как координат точек падений, так и координат в процессе полета. Назначение автоматического управления ракетой прежде всего заключается в уменьшении указанного рассеивания.

При работе генератора без регулятора напряжения имеют место большие колебания напряжения, вызванные случайными изменениями нагрузки и скорости вращения. Назначение регулятора заключается в уменьшении этих колебаний до допустимых пределов.

При. работе автоматического станка без контроля размеров обрабатываемой детали разброс конечных размеров деталей в некоторых случаях превосходит установленные допуски. Система автоматического контроля, воздействующая на настройку станка, увеличивает точность обработки.

Командир или штаб соединения, осуществляя управление боевой операцией, может допускать значительные отклонения от оптимальных решений. Автоматизация управления операцией уменьшит отклонения от оптимальных решений при одновременном увеличении скорости операции.

Число подобных примеров беспредельно велико.

Исчерпывающей характеристикой координат процесса в каждый заданный момент времени является распределение вероятностей этих величин.

Для непрерывных координат, принимающих произвольные значения в некоторых интервалах, будем рассматривать плотность вероятностей

Функция

выражает вероятность одновременного нахождения координат в интервалах

Если распределение дискретно, т. е. координаты могут иметь лишь дискретные значения, то функция плотности вероятности вырождается в сумму -функций.

Отметим, что координаты процесса, протекающего во времени, являются случайными функциями времени и выражение (18-1) (Следует рассматривать как плотность вероятности сечения случайных функций при заданном

Распределение вероятностей требует при эмпирическом определении большого числа экспериментов. В теории информации была введена интегральная характеристика неопределенности, названная энтропией. Эта характеристика имеет близкое родство с понятием энтропии в статистической физике и термодинамике.

В термодинамике, рассматривающей макроскопические тепловые процессы, энтропия определяется как функция теплового состояния тела, зависящая от таких макроскопических характеристик, как температура и приращение количества тепла. Статистическая физика, рассматривающая тела как системы частиц — атомов и молекул, вскрыла другое значение термодинамической или физической энтропии. Эта статистическая сущность физической энтропии состоит в следующем.

Молекулы, образующие тело, могут иметь различные скорости и координаты. Каждую совокупность значений скоростей и координат молекул данного тела можно рассматривать как определенное состояние тела.

Физическая энтропия есть характеристика распределения вероятностей состояний тела как системы молекул. Следует подчеркнуть» что физическая энтропия есть объективная характеристика макроскопического состояния тела, объективная в той же мере, как температура, количество тепла и т. п.

В теории вероятностей и теории информации понятие энтропии было распространено на распределения вероятностей любых переменных. Энтропией непрерывного распределения вероятностей переменных называется величина

Энтропия зависит только от распределения вероятностей — однозначно определяется плотностью вероятности Однако, для того чтобы указать величины, к распределению которых относится энтропия, мы будем часто обозначать

Теория информации рассматривает энтропию распределения вероятностей в системах получения и передачи информации. При этом считается, что после получения информации о какой-либо величине распределение вероятности этой величины и, стало быть, энтропия могут существенным образом измениться. Тем самым энтропии в теории информации приписывается смысл «субъективной» или относительной характеристики. Подобную энтропию будем называть информационной энтропией там, где это необходимо в интересах ясности изложения.

Информационная энтропия для данного наблюдателя изменяется всякий раз, когда этот наблюдатель получает информацию о рассматриваемых величинах. Информационной энтропии в наибольшей мере соответствует формулировка Больцмана, согласно которой энтропия есть мера недостающей информации.

Связь информационной энтропии с количеством информации подробно рассматривается далее. Здесь уместно отметить, что основание логарифма в выражении энтропии в принципе может быть произвольным положительным числом. Однако для удобства сопоставления с количеством информации это основание выбирают равным 2 (двоичный логарифм).

Помимо информационной энтропии, в теории автоматического управления целесообразно использовать другое понятие энтропии, которое является как бы приложением понятия физической энтропии к управляемым процесса характеризуемым не координатами множества молекул, а ограниченным числом различных величин — координат.

Этот вид энтропии будем называть энтропией распределения вероятностей координат управляемого процесса (объекта) или просто энтропией процесса. Указанные понятия энтропии имеют одинаковые математические выражения. Энтропия распределения вероятностей координат управляемого процесса выражается той же формулой, что и информационная энтропия:

Различие же имеет место в существе указанных понятий и заключается в следующем. Информационная. энтропия, как выше указывалось, существенным образом зависит от информации, получаемой данным наблюдателем, и является вследствие этого относительной «субъективной» характеристикой. Энтропия процесса и распределение вероятностей координат этого процесса — объективные характеристики, не зависящие от информации, полученной отдельным наблюдателем.

Иными словами, считается, что энтропию распределения вероятностей координат какого-либо процесса нельзя изменить, только измерив с той или иной точностью эти координаты. Для изменения энтропии процесса необходимо вмешательство в этот процесс, т. е. управление или «естественное» воздействие. Физическая энтропия есть частный случай энтропии процесса, а именно тот случай, когда координатами процесса являются координаты и скорости большого числа молекул.

Таким образом, есть два общих понятия энтропии, имеющие одинаковое математическое выражение: энтропия процесса и информационная энтропия.

Рассмотрим некоторые свойства энтропии. Поскольку математические определения информационной энтропии и энтропии процесса одинаковы, все соотношения в равной мере справедливы для обоих видов энтропии и в формулировках вид энтропии можно не указывать.

Если координаты независимы, то

и

где плотности распределения вероятностей величин

Таким образом, для независимых величин

Но по определению плотностей вероятности

Поэтому

где энтропия из независимых величин.

Итак, энтропия независимых координат процесса равна сумме энтропии, каждой координаты.

Если процесс характеризуется лишь одной координатой х, то энтропия равна:

Если координата х может принимать лишь дискретные значения, вероятности которых равны то энтропия такой координаты выражается формулой

Эта формула не может быть получена простым предельным переходом из (18-4).

Если дискретная величина не имеет разброса, т. е. значение ее строго фиксировано, то все вероятности кроме одной, равны нулю, а эта единственная вероятность равна единице. Таким образом, энтропия дискретной величины при отсутствии разброса равна нулю 1. Энтропия дискретной величины всегда положительна или равна нулю. Это непосредственно вытекает из выражения (18-5), где

Энтропия величины, могущей принимать значений, максимальна в том случае, когда все эти значения равновероятны, Для доказательства этого положения найдем условие максимума энтропии из (18-5) при учете очевидного соотношения

Согласно известному правилу отыскания эстремума функции, аргументы которой удовлетворяют определенным уравнениям (условный экстремум), значения определяются из уравнения

где множитель Лангранжа.

Производя дифференцирование, находим

Из этого равенства следует, что все вероятности соответствующие экстремуму, одинаковы:

и в силу (118-6) равны Легко проверить, что найденные значения соответствуют экстремуму максимуму.

Энтропия непрерывной величины, заданной абсолютно точно, равна отрицательной бесконечности. Это положение легко доказать, осуществляя предельный переход от распределения вероятностей с конечной дисперсией к случаю, когда дисперсия равна нулю. Плотность вероятности при таком переходе обращается в -функцию и энтропия стремится

Следует заметить, что возрастание абсолютной величины энтропии по мере уменьшения дисперсии (увеличения точности) происходит в логарифмической пропорции, т. е. «медленно». Обращение в бесконечность при точном задании непрерывной величины х нельзя считать недостатком понятия энтропии как характеристики неопределенности. Отмеченное положение указывает лишь на бесплодность использования понятия энтропии в тех случаях, когда применяется идеализация (модель) процесса с точным заданием непрерывных величин.

В реальных процессах физические величины никогда не могут быть измерены и заданы абсолютно точно, и энтропия никогда не обращается в бесконечность. Кроме того, предел непрерывности физических величин кладется квантовой структурой процессов.

Энтропия непрерывной величины, имеющей заданный средний квадрат, максимальна при нормальном законе распределения вероятностей. Для подтверждения этого положения найдем экстремум энтропии

при условиях

Условие экстремума функционала

заключается в равенстве

откуда

где

Определяя из условий (18-7), получаем формулу нормального распределения вероятностей

(распределение Гаусса). Легко проверить, что нормальное

распределение при заданных условиях соответствует именно максимуму энтропии и этот максимум равен:

Таким образом, при заданном среднем квадрате нормальное распределение соответствует наибольшей неопределенности величины х из всех возможных распределений.

Здесь необходимо указать на важное положение: практическое значение имеет не абсолютная величина энтропии, а ее приращение. Это положение справедливо, пожалуй, в той же мере, как утверждение, что значение имеет не абсолютная величина потенциала, а разность потенциалов. Оно снимает затруднение, связанное с размерностями величин. Действительно, если размерная физическая величина, то плотность вероятностей имеет размерность, обратную размерности х. Таким образом, под знаком логарифма появляется размерная величина. Однако в выражении разности энтропий всегда фигурирует логарифм отношения и физические размерности сокращаются. Это наглядно демонстрирует формула (188). Разность энтропий двух состояний, имеющих нормальные распределения и средние квадраты равна:

Для иллюстрации понятия энтропии состояния процесса, подлежащего управлению, приведем примеры.

Пример 1. Генератор переменного тока без регулятора напряжения и частоты имеет при некоторых условиях разброс напряжения в и частоты При включенной сфтеме регулирования напряжения и частоты и тех же условиях неопределенность координат характеризуется величинами Считая распределения вероятностей нормальными и координаты независимыми (что в данном случае неточно), найдем уменьшение энтропии при переходе от неуправляемого к управляемому процессу.

Поскольку величины приняты независимыми, общее приращение энтропии будет равно сумме приращений энтропий:

Пример 2. В результате полной дезорганизации управления самолетов движутся с произвольными случайными курсами. После восстановления управления все самолеты взчли общий курс сточностью Найдем уменьшение энтропии.

Считая в первом случае распределение вероятностей равномерным, а во втором случае — нормальным, находим: 130

Использование понятия энтропии, разумеется, не заменяет детального изучения управляемого процесса, так же как использование понятия общей энергии системы не заменяет определения каждой из координат системы. Однако рассмотрение энтропии позволяет установить некоторые общие условия организации управления процессами.