А.2. Дифференцирование матриц
Пусть а - это скалярная функция от вектора а и матрицы А, пусть 
это вектор-функция от скалярной величины 
и вектора с и пусть С—это матрица, являющаяся функцией от скалярной величины у. В табл. 
перечисляются различные производные, которые могут быть тогда образованы. Дифференцирование векторов по матрицам, матриц — по векторам и по матрицам требует более чем двух подстрочных индексов. Поэтому они не могут быть представлены в матричных обозначениях. В тех редких случаях, когда возникает в них необходимость, приходится использовать обозначения с верхними индексами.
Таблица А.1 (см. скан) Производные от матриц
Чтобы продифференцировать произведение векторов и матриц по элементам одного из сомножителей этого произведения, мы должны поступить следующим образом (предположив сейчас, что мы вычисляем 
1. Записать это произведение с помощью индексов и суммирований, не употребляя символы 
в качестве индексов суммирования.
2. Допустим, что в получившейся сумме произведений появляется сомножитель А. Опустить этот сомножитель, заменить оставшиеся индексы 
на индексы 
соответственно и убрать знак суммирования по индексам 
Результатом всего это о будет производная по элементу 
3. Упорядочить получившееся под знаком суммы выражение так, чтобы сомножитель, содержащий индекс 
стоял крайним слева, а сомножитель, содержащий индекс 
стоял крайним справа. Упорядочить другие сомножители так, чтобы любые два появления других индексов имели место в последовательных сомножителях. Может случиться, что некоторые сомножители окажутся слева во всех членах суммы Эти сомножители могут быть сгруппированы, образовав скалярную величину, которую можно вынести влево и подавить перед оставшимся матричным выражением, как это имеет место в примере (д) ниже.
4. Опустить все индексы и суммирования. Добавить символы транспонирования, где это необходимо.
Примеры.
Если символ элементов матрицы А появляется среди сомножителей более чем один раз, то с каждым его появлением следует работать от дельно, а результаты потом сложить.
Пример.
Обращение с другими производными аналогично.
Примеры.
(г) Вычислить 
, где 
4) 
. Если матрица А симметрична, то 
.
(д) Вычислить 
где 
(Заметим, что сомножитель 
— скалярная величина и может быть расположен в произведении где угодно.)
Нам понадобятся также следующие производные.
(е) Вычислим производные 
где 
это элемент 
строки и 
столбца матрицы 
По определению
где В — матрица, элементом 
строки и 
столбца которой является 
т. е. только элемент 
матрицы В равен единице, а все другие элементы равны нулю. Далее,
Для достаточно малого 
справедливо следующее разложение в ряд:
и мы легко можем проверить, что
Следовательно,
что и является желаемым результатом.
ж) Теперь мы можем вычислить, например, производную 
где 
Действительно,
так что
(з) Пусть 
Мы хотим вычислить 
Разложим определитель по алгебраическим дополнениям к 
строке, т. е.
где 
это алгебраическое дополнение к элементу 
не зависит ни от одного элемента 
строки.
Поэтому
Как это хорошо известно,
и
