§ 7. Восстановление регрессии в классе линейных по параметрам функций (продолжение)

Как и в предыдущем параграфе, рассмотрим три типа структур на классе линейных по параметрам функций

а) структуру, образованную по числу членов разложения;

б) структуру, образованную по величине нормы вектора параметров а (нормы в метрике для ортогональной по мере системы

в) комбинированную структуру, образованную и по числу членов разложения и по величине нормы функции

Ниже для этих структур мы построим метод упорядоченной минимизации риска, основанный на оценках вероятности равномерного относительного уклонения средних от математических ожиданий.

1. Пусть задана структура а). Тогда, согласно теореме 7.6, с вероятностью одновременно для всех функций элемента структуры (множество содержит функции разложимые по первым членам) выполняется неравенство

Так как неравенство с вероятностью справедливо одновременно для всех функций из то оно с вероятностью выполнится и для функции минимизирующей на эмпирический риск. Выберем теперь такой элемент структуры S и в нем функцию, минимизирующую эмпирический риск, для которых достигается минимальная величина оценки (8.49). Найденная функция для структуры а) определяет минимальную гарантированную (с вероятностью число элементов структуры) величину риска.

2. Рассмотрим теперь структуру б):

Здесь множество функций

для которых выполняется соотношение

Выделим на множестве конечную -сеть состоящую из элементов. Согласно теореме 7.5 с вероятностью для функции минимизирующей на обучающей последовательности величину эмпирического риска, справедлива оценка

где

В оценке ближайший к элемент -сети. Таким образом, для функции, минимизирующей на элементе структуры (8.50) эмпирический риск, может быть вычислена гарантированная оценка величины среднего риска. Выберем такую функцию (такой элемент структуры), для которой эта оценка минимальная.

3. Рассмотрим структуру в), каждый элемент которой определяется как числом членов разложения

так и нормой функций

Построим метод упорядоченной минимизации риска на этой структуре. Для оценки качества функции, минимизирующей в эмпирический риск, также используем оценку (8.51). В результате выберем такой элемент структуры и такую в нем функцию, для которых оценка минимальна.

Для того чтобы строить алгоритмы упорядоченной минимизации риска на структурах б) и в), надо уметь вычислять емкость -сети.