§ 11.4. Оценивание векторного параметра

Рассмотрим теперь задачу оценивания вектора

при Стандартной функцией потерь для такой задачи является квадратическая функция потерь определяемая для любых формулой

Здесь симметрическая неотрицательно определенная -матрица. Если А — положительно определенная матрица, то любому ненулевому вектору погрешностей отвечает положительный ущерб. С другой стороны, если матрица А не является положительно определенной, то существуют ненулевые векторы погрешностей с нулевыми потерями. Такие векторы заведомо существуют, например, если статистик интересуется оценкой

лишь нескольких компонент значения же других компонент для него несущественны и рассматриваются как мешающие параметры.

Допустим, что для существуют вектор средних и ковариационная матрица, скажем, Байесовская оценка при заданном распределении это точка минимизирующая следующее математическое ожидание:

В правой части соотношения (2) решение не входит под знак математического ожидания. Поскольку А — неотрицательно определенная матрица, второй член этой правой части неотрицателен для всех значений Таким образом, байесовская оценка тогда и только тогда, когда

В частности, значение есть байесовская оценка для Далее, если А — положительно определенная матрица, то эта значение будет единственной байесовской оценкой. Если матрица А не является положительно определенной, то найдутся другие значения удовлетворяющие соотношению (3). Подчеркнем, однако, что вектор средних всегда является байесовской оценкой для любой симметрической неотрицательно определенной матрицы А.

Кроме того, можно показать (см. упр. 11), что

где — ковариационная матрица для размера Таким образом, из соотношения (2) следует, что математическое ожидание ущерба для любой байесовской оценки равно

Пусть X — наблюдение с условной о. в. п. при Из изложенного выше ясно, что байесовская решающая функция определяется равенством и байесовский риск при данной априорной о. в. п. равен

Здесь ковариационная матрица апостериорного распределения при заданном

Пусть, например, повторная выборка из нормального распределения, в котором среднее и мера точности R неизвестны и подлежат оценке. Предположим далее, что при оценках соответственно для ущерб

задается следующим образом:

Требование неотрицательной определенности матрицы А из (1) в случае (6) принимает вид:

Допустим теперь, что априорное совместное распределение для есть нормальное гамма-распределение из теоремы 1 § 9.6. Тогда апостериорное маргинальное распределение есть -распределение с параметром сдвига указанным в этой теореме. Для того чтобы дисперсия апостериорного распределения была конечной, предположим, что Поскольку любого -распределения симметрична относительно значения параметра сдвига, отсюда следует, что среднее значение апостериорного распределения есть Далее, из той же теоремы видно, что апостериорное распределение есть гамма-распределение со средним где значение приведено в теореме. Из сказанного в настоящем параграфе следует, что байесовскими оценками для являются средние указанных апостериорных распределений.

Предположим теперь, что мы хотим отразить неполноту нашей априорной информации относительно В соответствии с изложенным в § 10.2 можно положить в апостериорном распределении Из теоремы 1 § 9.6 следует, что для любых значений наблюдений предельное значение среднего апостериорного распределения и предельное значение среднего апостериорного распределения задаются формулами

Поэтому оценки (7) можно рассматривать как приближения к байесовским оценкам для когда априорная информация незначительна и функция потерь имеет вид (6).

Оценки максимального правдоподобия. Мы показали, что в некоторых задачах статистических решений среднее и медиана апостериорного распределения одномерного параметра являются байесовскими оценками. Для случая векторного параметра вектор средних апостериорного распределения также есть байесовская оценка при квадратической функции потерь. Так как не существует стандартного определения медианы многомерного распределения, то для случая векторного параметра нет и аналогичных изложенным в § 11.3 результатов.

В качестве другой оценки одномерного или векторного параметра, в особенности в случае когда функция потерь явно не указывается, можно использовать значение параметра, при котором достигается максимум о. в. Для любого значения х наблюдения или вектора наблюдений пусть обозначает апостериорную о. в. для на параметрическом пространстве Далее, пусть значение удовлетворяющее условию

Если такое значение существует для любого х, то говорят, что есть обобщенная оценка максимального правдоподобия для

Заметим, что обобщенная оценка максимального правдоподобия для векторного параметра определяется как точка в , максимизирующая апостериорную совместную о. в. п. его компонент Если оценка случайной величины определенная как значение максимизирующее апостериорную маргинальную о. в. п. то яе обязательно совпадает с и Каждую из этих дбух оценок можно было бы взять в качестве обобщенной оценки максимального правдоподобия для При большом числе наблюдений разность между этими оценками будет, вообще говоря, малой.

Хотя обобщенная оценка максимального правдоподобия может и не быть байесовской оценкой ни для какой из обычных функций потерь, из результатов гл. 10 следует, что она будет разумной оценкой, если априорное распределение и функция правдоподобия удовлетворяют определенным условиям регулярности и объем выборки достаточно велик. В частности, если априорная о. в. постоянна на параметрическом пространстве обобщенная оценка максимального правдоподобия совпадает с оценкой максимального правдоподобия, определенной в § 10,7, и обладает асимптотическими свойствами, обсуждавшимися в гл. 10. Если априорная о. в. не постоянна на то значением обобщенной оценки максимального правдоподобия будет то которое максимизирует произведение функции правдоподобия и Если зависимость от априорной о. в. становится при большом числе наблюдений пренебрежимой, то обобщенная оценка максимального правдоподобия имеет при больших объемах выборки такие же свойства, как и обычная оценка максимального правдоподобия.

Дальнейшие замечания и ссылки на литературу. Задачи оценивания рассматривались Блекуэллом и Гиршиком (1956), гл. 11, и Райффой и Шляйфером (1961), гл. 6. Более общие функции ротерь в случае как одномерного, так и векторного параметров рассматривались Де Гроотом и Рао (1963, 1966). Сэкс (1963)

й фаррелл (1964а) изучали несобственные априорные распределения в задачах оценивания. Интересные результаты, касающиеся недопустимости некоторых стандартных оценок, получены Стейном (1956, 1964) и Джеймсом и Стейном (1961). Эванс (1964, 1965) рассмотрел задачу оценивания параметров нормального и многомерного нормального распределений. Интересные сведения имеются в книгах Дойча (1965) и Гуда (1965). В последней излагаются общая теория оценивания и общие байесовские методы.