Простой алгоритм градиентного поиска и его решение
Повторный, или итеративный, процесс градиентного поиска, описанный выше для случая с одним весовым коэффициентом, алгебраически можно представить в виде
где k — номер шага или итерации. Таким образом, 
является текущим значением, в то время как 
— новым значением. Через 
обозначен градиент при 
Параметр 
представляет собой константу, от которой зависит устойчивость и скорость сходимости; вопрос его выбора обсуждается ниже в этой главе.
Для случая с одним весовым коэффициентом из (4.2) получаем
Динамическое, или мгновенное, состояние процесса итерации от начального значения 
до оптимального решения 
можно проанализировать с помощью уравнения, получаемого при подстановке (4.5) в (4.4):
Меняя местами члены уравнения, получаем
Это уравнение является линейным однородным разностным уравнением первого порядка с постоянными коэффициентами [1]. Его можно решить методом индукции на основе нескольких первых итераций. Относительно начального значения 
первые три итерации уравнения (4.7) дают
С учетом этих результатов можно сделать обобщение для 
итерации:
Этот результат дает в явном виде значение 
для любой точки в процессе поиска и тем самым является «решением» алгоритма градиентного поиска.
