6d.3. Итерационный метод вычисления оценок условного максимального правдоподобия в случае систем со многими выходами.

Ранее было упомянуто, что оценка условного максимального правдоподобия параметра в общем случае не может быть выражена в замкнутой форме, в отличие от такой оценки в случае системы с одним выходом. Здесь будет разработан итерационный метод вычисления оценки условного максимального правдоподобия. Предположим, что где Совокупность наблюдений фиксирована. Используя эту совокупность наблюдений, будем роить последовательность оценок так, чтобы она сходилась к т. е. к оценкам условного максимальнбго правдоподобия для и основанным на

Важно отличать итерационный метод от рекуррентных методов, т. е. от методов вычислений в реальном масштабе времени. Последние методы осуществляют обновление (пересчет) оценок, т. е. оценка, основанная на совокупности наблюдений должна вычисляться путем использования оценки, основанной на совокупности наблюдений В первом же методе имеющаяся совокупность наблюдений фиксирована в своем объеме, различные оценки ( все основаны на знании одной и той же совокупности а предел последовательности равен требуемой оценке условного максимального правдоподобия или какой-либо другой. Лишь некоторые правила оценивания осуществимы в реальном масштабе времени.

Напомним, что логарифмическая функция правдоподобия имеет вид

Итерационная процедура. Пусть оценки, полученные на итерации. Опишем метод вычисления по

Получить максимизируя функцию правдоподобия относительно 0:

Получить следующую оценку для используя последнюю оценку для . Эта оценка для получается максимизацией относительно

Для того чтобы начать итерационный процесс, требуются начальные значения для Будем брать равным оценке максимального правдоподобия на основе ограниченной информации для . Тогда может быть определено по на шаге В.

Шаги чередуются некоторое число раз до тех пор, пока разность между последовательными оценками не станет несущественной. Обычно итерационный процесс заканчивается на шаге, если

где заранее заданное число. Или же можно использовать правило останова, в которое входит непосредственно логарифм функции правдоподобия, и процесс заканчивается на итера-» если

Обычно выбирается равным 0,005.

Сходимость итерационного процесса. Рассуждение, показывающее сходимость последовательности оценок к соответствующим оценкам условного максимального правдоподобия, таково:

на шаге А

на шаге В

Таким образом,

Поскольку вогнутая функция от приходим к заключению, что последовательность сходится к точке максимума функции относительно 0 и .