РЕГРЕССИЯ

— закон изменения условного математического ожидания одной случайной величины в зависимости от значений другой. Р. от случайной величины г) на случайную величину это ф-ция от х, равная условному среднему значению величины при фиксированном значении величины . Ф-ция от ф-цией Р. Если то ф-ция линейной Р., а величины — коэфф. Р. Если независимы, то . Ф-ция Р. обладает следующим свойством минимальности: среди всех ф-ций от случайной величины ф-ция от минимизирует значение , т. е. ф-ция от дает наилучшее представление величины в том смысле, что среднее значение достигает минимума при . Ф-ция от является ф-цией, которая максимизирует коэфф. корреляции между величинами . Если случайные величины имеют совместное нормальное распределение с математическими ожиданиями дисперсиями и коэфф. корреляции , то на является линейной и равна

На практике часто используют так называемые ф-ции средней квадратической регрессии (с. к. р.), которые в большинстве случаев отличны от ф-ций Р. При рассмотрении ф-ций среди которых ищется ф-ция, минимизирующая ограничиваются обычно ф-циями, принадлежащими некоторому достаточно просто описываемому классу К. Если среди ф-ций принадлежащих заданному классу К, существует ф-ция минимизирующая величину то ф-цией с. к. р. Типичным и наиболее часто употребляемым классом К является класс ф-ций, описываемый конечным фиксированным числом параметров, напр., множество всех многочленов данной степени г или множество всех линейных комбинаций конечного числа известных ф-ций. Простейшим является случай линейной с. к. р. При этом ищется наилучшее линейное приближение величины с помощью величины ?, т. е. такая линейная ф-ция для которой значение величины принимает наименьшее значение. Простой подсчет показывает, что в этом случае соответственно средние значения, и дисперсии, коэфф. корреляции величин . Если случайные величины имеют совместное нормальное распределение, то ф-ция с. к. р. совпадает с ф-цией Р. Вообще, в том случае, когда ф-ция прямая линия, она совпадает с ф-цией линейной с. к. р.

Понятие ф-ции Р. обобщается на случай любого конечного числа случайных величин Ф-цией Р. величины относительно величин условное среднее значение величины h при условиях Если совместная плотность распределения вероятностей величин то

Множество точек расположенное в -мерном пространстве, наз. поверхностью Р. Аналогично случаю двух величин определяется и с. к. р. Напр., линейной с. к. р. величины относительно величина которая дает наилучшее приближение или линейную оценку величины с помощью в том смысле, что среднее значение принимает наименьшее возможное значение.

В практических приложениях часто встречаются задачи, в которых случайная величина зависит от одной или нескольких неслучайных переменных Среднее значение величины является ф-цией от от ф-цией Р. Большое число практически важных задач статистики, связанных с определением влияния некоторых известных факторов на случайный исход эксперимента, можно рассматривать как задачи определения ф-ции Р. Матем. исследование оценок ф-ции Р. и изучение качества этих оценок по данным эксперимента составляет содержание регрессионного анализа.

Предположим, что для наборов получено соответствующих им наблюдений величины . Последовательность наборов может либо определяться

условиями эксперимента, либо задаваться экспериментатором. Представляет интерес как оценка по наблюдениям неизвестной ф-ции P. так и качество полученной оценки. При рассмотрении этой задачи относительно наблюдений и вида ф-ции делаются (определенные предположения. Обычно предполагается, что ф-ция принадлежит некоторому классу ф-ций, зависящему от конечного числа параметров (напр., что имеет вид линейная . Значения параметров, отвечающие эксперименту, неизвестны. В этом случае для оценки ф-ции Р. оценивают по наблюдениям неизвестные параметры. Наиболее простым предположением о наблюдениях является предположение, что эти наблюдения независимы и имеют одинаковую неизвестную дисперсию Для оценки неизвестных параметров ф-ции Р. используются обычные методы оценки (см. Статистические оценки). Если известно распределение вероятностей величин то можно использовать метод макс. правдоподобия. Во многих случаях, напр., физ. гипотезы позволяют предполагать, что наблюдения имеют нормальное распределение. Если ф-ция Р. линейна и то совместная плотность распределения величин

а оценки макс. правдоподобии и для неизвестных параметров в имеют вид

Второй метод оценки неизвестных параметров ф-ции наименьших квадратов метод — используется чаще из-за простоты получения оцевок. Этот метод состоит в том, что в качестве оценок неизвестных параметров принимаются значения, минимизирующие сумму

Для случая гауссовских случайных величин полученные по методу наименьших квадратов, совпадают с оценками макс. правдоподобия. Хотя при заданном оценки, полученные по методу наименьших квадратов, могут быть значительно хуже оценок метода макс. правдоподобия, во многих случаях при больших качество оценок обоих типов примерно одинаково. Для случая связанных наблюдений получены результаты о свойствах оценок наименьших квадратов в основном при (задачи Р. в случайных процессов теории).

Понятие Р. широко применяется в практических задачах, которые выявляют влияние одного или нескольких факторов на случайный исход эксперимента.

Лит.: Крамер Г. Математические методы статистики. Пер. с англ. М., 1948 [библиогр. с. 612— 620]; Уилкс С. Математическая статистика. Пер. с англ. М., 1967 [библиогр. с. 601—619].

А. Я. Дороговцев.