Приложение. Некоторые дополнительные формулы

П.1. Разбиение матрицы на блоки. Формула Фробениуса. Пусть -прямоугольные матрицы одинакового порядка Разобьем их одинаковым же образом на подматрицы

так что матрицы имеют порядок матрицы матрицы и матрицы Существуют простые формулы для блочного сложения и умножения матриц:

При умножении блочных матриц можно руководствоваться правилом «строка на столбец».

Приведем формулы блочного обращения матрицы. Для простоты будем рассматривать только симметричные матрицы. Итак, пусть А — симметричная матрица, разбитая на блоки:

Тогда

Доказательство этого несложно, оно следует непосредственно из определения обратной матрицы.

Далее, существует формула для вычисления определителя блочной матрицы:

Доказательство можно найти [58, с. 44]. Нам понадобится следующая формула:

где невырожденные матрицы и соответственно, -прямоугольная матрица .

П.2. Матричное дифференцирование. Пусть А — прямоугольная матрица порядка элементы которой являются функциями некоторой действительной переменной т. е. По определению полагаем

Легко показать, что если Вкхт не зависит от то верны следующие формулгы:

Пусть функция аргументов (дифференцируемая). Производной этой функции является вектор-столбец

Легко доказываются следующие формулы:

где постоянный вектор-столбец симметричная матрица

Теперь предположим, что есть векторная функция или отображение, т. е. тогда прямоугольная матрица элемент которой по определению равен В частности, если А — постоянная матрица то

Можно рассматривать дифференцирование по матрице. Пусть А — матрица действительная функция матрицы. По определению есть матрица того же порядка, т. е. и

Легко проверить, например, что

Если матрица с положительным определителем, то нетрудно убедиться в том, что

П. 3. Выпуклые функции и оптимизация. Допустим, есть дифференцируемая функция на Нас интересует глобальный минимум этой функции. Хорошо известно необходимое условие минимума функции: если минимум (может быть и локальный) функции то

Строго выпуклой вниз функцией называется функция, для которой при любых

для всех Класс строго выпуклых вниз функций важен тем, что любой локальный минимум является и глобальным. Если дважды дифференцируемая функция, то выпуклость вниз следует из положительной определенности матрицы вторых производных (гессиан функции) Исследование выпуклости функции можно свести к исследованию выпуклости функции одной переменной. Пусть любые, определим новую функцию одной переменной Функция является строго выпуклой вниз функцией тогда и только тогда, когда строго выпуклая вниз функция.

П.4. Характеристические числа и векторы. Для симметричных неотрицательно определенных матриц часто максимальное обозначаем минимальное — В книге неоднократно используется следующий факт. Пусть А — симметричная матрица В — прямоугольная матрица тогда

Докажем сначала Пусть тогда

откуда и следует Аналогично доказывается

П.5. Случайные квадратичные формы. Пусть случайный вектор, детерминированная симметричная матрица. Рассмотрим случайную квадратичную форму Предположим, (1 — единичная матрица), тогда

Действительно,

Допустим, случайный вектор имеет многомерное нормальное распределение с нулевым математическим ожиданием; компоненты вектора считаем некоррелируемыми, имеющими единичную дисперсию. Коротко это может быть записано как Тогда квадратичная форма имеет -распределение с степенями свободы тогда и только тогда, когда А — идемпотентная матрица

Далее, пусть В — детерминированная матрица и Тогда

Пусть по-прежнему тогда две квадратичные формы независимы тогда и только тогда, когда

Доказательство можно найти в [115].

П.6. Неравенства, связывающие элементы положительно определенной матрицы с ее максимальным характеристическим числом. Для любой положительно определенной матрицы имеют место следующие неравенства:

Пусть вектор единичной длины. Тогда

поскольку влечет для всех Таким образом, правая часть неравенства доказана.

Для доказательства левой части неравенства представим в виде произведения где невырожденная матрица. Применяя неравенство Коши, получим или

Далее легко видеть, что С учетом этого неравенства получаем