3. Релаксационный метод.
Метод Зейделя является разновидностью метода наименьших квадратов. При этом в качестве векторов 
о которых говорилось в § 8, берутся в циклическом порядке единичные векторы, направленные по координатным осям.
Иногда бывает целесообразно для упрощения вычислений или для улучшения сходимости изменить порядок уравнений в заданной системе или же нумерацию неизвестных. Можно пойти и еще дальше, а именно при каждом цикле процесса последовательных приближений брать свой порядок. Так, например, поступают в релаксационном методе. Выбирают начальное приближение 
Вычисляют так называемые невязки
Находится 
удовлетворяющее равенству
где 
номер уравнения с максимальной по модулю невязкой. Затем подсчитываем невязки
и подбираем 
удовлетворяющее равенству
где 
номер уравнения с наибольшей по модулю невязкой. Так продолжаем и дальше, пока не используем все 
уравнений. При этом будут найдены все 
Тогда начинаем второй цикл, который производится так же, как и первый, но вместо 
используется 
Повторение циклов продолжают до тех пор, пока не достигнут требуемой точности. Иногда при выборе уравнения, из которого вычисляется «улучшенное» приближение, руководствуются не принципом максимальной по модулю невязки, а каким-либо другим. 
всех случаях стараются брать уравнения в таком порядке, чтобы в кратчайший срок получить нужное решение. Этот довольно таки неопределенный принцип требует от вычислителя навыка и искусства. Поэтому релаксационный метод трудно осуществить на машинах.
Релаксационный метод является нестационарным.
