5. Иллюстративный пример

Применим метод, обсуждавшийся в предыдущем параграфе, к простой задаче регрессии.

Пусть модель регрессии с зависимой переменной и независимой переменной

Величины независимые случайные величины с одинаковым не зависящим от распределением, с Здесь известные действительные числа. Задача заключается в последовательном нахождении оценки 0. Для вычисления оценки 0 мы применим процесс стохастической аппроксимации типа Рассматривается среднеквадратичная ошибка для конечного числа наблюдений. С помощью неравенства Чебышева она позволяет сделать относительно оценки вероятностное утверждение. Указывается рекуррентное соотношение для вычислений. При соответствующих условиях доказано, что среднеквадратичная ошибка стремится к нулю, когда число наблюдений стремится к бесконечности.

Пример, (i) Пусть для натурального с независимой переменной .

(ii) — известные действительные числа и .

(iii) Величины независимы, имеют одинаковое распределение, не зависящее от известно).

(iv) Пусть последовательности положительных чисел и

(v) Пусть случайная величина и

Тогда

Условное математическое ожидание величины

при данном есть

а

Подставляя (2) и (3) в соотношение (1), получаем, что

Используя это рекуррентное соотношение, приходим к такому выводу:

Ошибка состоит из двух частей: ее первая часть обусловлена начальным выбором, а вторая часть — выборочным обследованием.

Рекуррентное соотношение. Рассмотрим случай, когда где с — положительная константа, — положительное целое и Тогда

Пусть

Для вычисления выражения (8) можно использовать рекуррентное соотношение

Асимптотическоеисследованиесредне-квадратичной ошибки (6). Предположим, что тогда

(Предпоследнее неравенство справедливо, так как а последнее неравенство справедливо В силу того, что Пусть

соответствующие константы,

(см. скан)

так как

Отсюда

Поскольку то

Таким образом, из (10) и мы получаем, что

Замечание. Нетрудно доказать этот результат с помощью леммы Кронекера. Однако метод, использованный для проведенных выше вычислений, будет нам полезен в дальнейшем.

6. Задачи

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)