§ 4.7. Адаптивная идентификация параметров распределения

Пусть

— заданная плотность распределения скалярной случайной величины х, где — вектор неизвестных параметров распределения. Это означает, что плотность распределения (4.7.1) известна с точностью до параметров С, которые должны быть идентифицированы в процессе наблюдения за реализациями случайной величины

порожденными распределением (4.7.1) при

где С — искомый вектор неизвестных параметров. Таким образом, задача определения плотности (4.7.1) предполагается параметризованной.

Обычным (неадаптивным) способом решения этой задачи является известный метод максимума правдоподобия, при котором максимизируется функция правдоподобия вида

где или, логарифм этой функции

Максимум функции правдоподобия соответствует оптимальной оценке неизвестных параметров на базе наблюдений (4.7.2):

Эта оценка, как известно [120], обладает свойствами состоятельности

и асимптотической эффективности

где — знак дисперсии.

Однако задача минимизации функции (4.7.5) часто представляет собой не столько сложную, сколько громоздкую вычислительную задачу, которая обычно сводится к решению системы трансцендентных уравнений вида

Некоторое упрощение можно получить, если воспользоваться моментами случайной величины х. Для этого по распределению (4.7.1) определяются первых начальных моментов, которые являются функцией неизвестных параметров С:

Оценки этих же моментов можно найти по выборке (4.7.2):

Теперь, приравнивая эти выражения, получаем систему трансцендентных уравнений:

которую при можно решать, например, методом наименьших квадратов. Однако и этот подход сводится к чрезвычайно громоздким вычислениям (он был использован в работе [91] для случая

Эти соображения заставляют обратиться к итерационным методам оценки неизвестных параметров распределений. Рассмотрим применение методов адаптации к решению изложенной задачи.

Исходя из свойства (4.7.7), выражение (4.7.5) при можно записать в виде

т. е.

Задача оценки параметров С, обеспечивающих максимум этого выражения, теперь может быть сформулирована, например, в виде итеративного процесса адаптации [237]:

где — значение вектора определяемых параметров на шаге:

матрица коэффициентов

вектор градиента:

— элемент выборки (4.7.2), получаемый путем ее циклического обхода.

Для упрощения матрицу (4.7.17) удобно представить в диагональном виде

Проиллюстрируем этот метод на примере определения параметров нормального закона распределения

Здесь Пусть сначала определяется математическое ожидание , а дисперсия предполагается известной. Тогда и получаем

причем алгоритм адаптации (4.7.15) принимает вид

где — начальная априорная оценка а. При получаем известный алгоритм оценки среднего значения [237]:

Теперь рассмотрим адаптацию по двум параметрам — математическому ожиданию и дисперсии. В этом случае и

В результате получаем алгоритм адаптации в виде

где начальные значения равны априорным значениям параметров а и . Эти выражения могут быть упрощены:

где параметры выбираются в соответствии с поставленной задачей.

Так, при получаем известные оптимальные [102] оценки математического ожидания и дисперсии:

Покажем, как применяется адаптация такого рода для оценки параметров объекта в процессе его оптимизации методом случайного поиска.

Начнем с оценки модуля градиента показателя качества и дисперсии помехи, накладывающейся на Приращение показателя качества в процессе случайного поиска с парными пробами (3.3.5) имеет вид

где — оптимизируемые параметры; — величина пробного шага; — единичный случайный вектор, равномерно распределенный в пространстве параметров Помеха накладывается аддитивным образом на показатель качества:

Здесь — случайная помеха, имеющая нормальное распределение с дисперсией и нулевым средним. Подставляя (4.7.29) в (4.7.28), получим

Здесь оба слагаемых являются случайными величинами. Величина распределена при случайном поиске в линейном поле по закону [161]:

где - размерность оптимирируемого объекта,

Г — гамма-функция; к — модуль градиента оптимизируемой функции:

Помеха распределена нормально с нулевым математическим ожиданием и дисперсией

Определим плотность распределения случайной величины В соответствии с выражением (4.7.30) это будет композиция двух распределений (4.7.31) и (4.7.33). Стандартным образом [47] получаем

В простейшем случае для имеем

где Ф — функция Лапласа [47].

Теперь определим составляющие градиента логарифма функции (4.7.35):

Алгоритм адаптивной оценки модули градиента к и среднеквадратичного отклонения а имеет вид

Входящие в выражения (4.7.37) частные производные довольно громоздки. При приведенные зависимости будут еще сложнее, а при нечетных возможно, и не удастся найти их явное выражение для (4.7.34), необходимое для организации процесса адаптации в указанной форме. В таких случаях для оценки частных производных (4.7.18) целесообразно воспользоваться методом Монте-Карло. Рассмотрим этот подход в общем виде.

Пусть случайная величина х является заданной функцией независимых случайных величину

с заданными законами распределения

где — векторы параметров распределений (4.7.39), которые нужно определить по наблюдаемым реализациям (4.7.2) величины х.

Пусть плотность распределения х имеет по-прежнему вид (4.7.1), где, однако,

и

Ввиду сложности функции (4.7.38) зависимость (4.7.1) в явном виде представить нельзя. Поэтому в алгоритмы адаптивной идентификации (4.7.15) вместо градиента (4.7.18) следует ввести его оценку

Таким образом, задача сводится к определению оценки (4.7.42). Именно для нее и предлагается воспользоваться методом Монте-Карло. Сделать это можно следующим образом.

Пусть надо оценить частную производную по параметру

Как известно,

где

Т — объем «разыгрываний» случайной величины — число попаданий х в промежуток при параметрах С. Ограничиваясь конечным значением Т, можно для (4.7.44) получить следующую приближенную оценку:

Выбор величины промежутка должен быть оптимальным. Действительно, не должна быть слишком малой, так как тогда будет мало, оценка (4.7.46) будет слишком грубой и понадобится значительно увеличить объем Г, чтобы уточнить оценку. С другой стороны, величина 5 не должна быть слишком большой, иначе оценка будет носить не локальный характер.

Теперь частные производные (4.7.46) можно представить в виде приближенных выражений:

где — орт координаты пространства искомых параметров Здесь обозначает число попаданий случайной величины х в зону при параметрах С, варьированных на величину по параметру

Выбор величины как и , должен быть оптимальным — как при всяком численном дифференцировании.

Любопытно, что оценка (4.7.47) не зависит явно от объема испытаний Т. Однако этот объем должен быть одинаков для оценки при обеих вариациях параметров

Предложенный метод может примениться для идентификации параметров оптимизируемого объекта и как средство для организации оптимального поиска. Такими параметрами объекта, необходимыми для построения оптимальных алгоритмов поиска экстремума, являются модуль градиента показателя качества, дисперсия помехи, кривизна гиперповерхностей равного уровня показателя качества и др.