§ 4. Метод регуляризации для отыскания нормального решения линейной системы

Снова возвратимся к рассмотрению общей линейной системы уравнений с неизвестными вида (3.1). Эту систему кратко запишем в матричной форме

Напомним, что в этой записи символ А обозначает матрицу , а символы X и В обозначают столбцы (или векторы) вида

первый из которых подлежит определению, а второй — задан.

Будем рассматривать случай, когда значения элементов матрицы А и столбца свободных членов В заданы нам лишь приближенно. Тогда естественно говорить лишь о приближенных

значениях искомого столбца X. Изложенные в предыдущей главе и основанные на формулах Крамера алгоритмы вычисления столбца решений X в этом случае могут приводить к большим погрешностям и теряют практический смысл

В этом параграфе мы изложим принадлежащий А. Н. Тихонову алгоритм, позволяющий находить так называемое нормальное (т. е. наиболее близкое к началу координат) решение X с точностью, соответствующей точности задания элементов матрицы А и столбца В.

Введем в рассмотрение так называемые сферические нормы столбцов В и X и матрицы А, положив их равными

Заметим, что нормы столбцов В и X определяются как обычные нормы векторов — элементов пространств и соответственно Норма матрицы А согласована с нормой n-мерного столбца X в том смысле, что норма -мерного столбца равного произведению матрицы А на столбец X, удовлетворяет условию

Будем считать, что вместо точных значений элементов матрицы и столбца правых частей нам заданы приближенные значения .

Матрицу А (столбец В) будем называть риближением матрицы А (столбца В), если справедливо неравенство

Назовем нормальным решением совместной системы (4.26) то ее решение норма которого является наименьшей среди норм всех решений X этой системы. Заметим, что у всякой совместной системы (4.26) (в том числе и у неопределенной) существует единственное нормальное решение. Введем в рассмотрение следующую функцию переменных или одного столбца

зависящую как от параметров от элементов матрицы А и столбца В, а также зависящую от некоторого числового параметра а. В подробной записи эта функция выглядит так:

Фактически является функцией от элементов X евклидова пространства n-мерных столбцов Такого рода функцию, аргументом которой служат элементы некоторого линейного пространства, принято называть функционало

Легко убедиться в том, что при любом фиксированном неотрицательный функционал (4.30) достигает своего минимального (во всем пространстве значения в единственной точке пространства

В самом деле, дважды дифференцируя функцию (4.30), получим где о при

Следовательно, второй дифференциал функции имеет вид

Из этого равенства вытекает оценка означающая, что функция является с о выпуклой вниз. Кроме того, Отсюда очевидным образом следует, что имеет и притом единственную точку минимума

Методы отыскания минимальных значений функционалов вида (4.30) хорошо разработаны.

Докажем следующую фундаментальную теорему, сводящую вопрос о приближенном отыскании нормального решения системы 4.26) к отысканию того элемента на котором достигает своего минимального значения функционал (4.30).

Теорема А. Н. Тихонова. Пусть матрица А и столбец В удовлетворяют условиям, обеспечивающим совместность системы (4.26), — нормальное решение этой системы, А — -приближение матрицы -приближение столбца — какие-либо возрастающие функции стремящиеся к нулю при и такие, что Тогда для любого найдется положительное число такое, что при любом и при любом а, удовлетворяющем условию

элемент доставляющий минимум функционалу (4.30), удовлетворяет неравенству

Доказательство. Рассмотрим в линейном пространстве подмножество всех элементов представимых в виде где — произвольный элемент

пространства Совершенно очевидно, что подмножество представляет собой линейное пространство и поэтому является подпространством Ет. Обозначим через ортогональное дополнение всего и разложим в прямую сумму подпространств . Пусть В а обозначает проекцию столбца В на подпространство так что где — элемент Тогда, поскольку для любого элемента X пространства столбец является элементом мы получим следующее разложение:

в котором элементы и ортогональны друг другу и принадлежат соответственно и

Пользуясь теоремой Пифагора (см. п. 2 § 1), мы получим (для любого элемента X пространства

Из (4.33) следует, в частности, неравенство

также справедливое для любого элемента X пространства Из (4.33) и (4.30) мы получим, что для любого X из

т. е. функционалы, стоящие в левой и в правой частях (4.35), имеют общий элемент доставляющий им минимум.

Установим теперь для любого а, удовлетворяющего условиям (4.31), следующее неравенство

в котором через С обозначена величина — нормальное решение системы (4.26).

Так как столбец доставляет минимум функционалу, стоящему в правой части (4.35), то

Пользуясь соотношением и неравенством треугольника, получим . В правой части последнего неравенства воспользуемся соотношениями (4.28) и (4.29), а также неравенством (4.34), взятым при Получим

Еще раз учитывая, что и снова пользуясь неравенством треугольника и соотношениями (4.28) и (4.29), получим, что

Из (4.38) и (4.39) следует, что

где

Для завершения доказательства оценки (4.36) остается подставить (4.40) в (4.37) и воспользоваться неравенством (4.31).

Поскольку из определения функционала сразу вытекает, что , Вто из доказанного нами неравенства (4.36) вытекает также следующее неравенство:

в котором при . Из (4.41) вытекает, что при всех достаточно малых множество точек пространства является ограниченным.

Теперь уже нетрудно доказать теорему от противного. Предположим, что для некоторого существует последовательность и отвечающая ей последовательность чисел удовлетворяющих условию

такая, что для всех номеров

Так как множество ограничено, то в силу теоремы Больцано—Вейерштрасса из последовательности можно выделить сходящуюся подпоследовательность. Чтобы не менять обозначений, будем считать, что вся последовательность сходится к некоторому столбцу то есть при

Убедимся в том, что

В самом деле, пользуясь неравенством треугольника, оценками (4.28), (4.29), (4.36) и (4.40) и соотношением (4.31, получим

Из неравенства (4.43) вытекает, что т. е. предельный элемент является решением системы (4.26), удовлетворяющим в силу соотношения (4.41) неравенству Так как по определению для нормального решения справедливо обратное неравенство а это противоречит неравенству (4.42), справедливому для любого номера

Полученное противоречие завершает доказательство теоремы.