Задача

1. Пусть Покажите, что оценка окна Парзена

обладает следующими свойствами:

в) для небольшого (Замечание: если то это показывает, что ошибка, вызванная смещением, стремится к нулю как в то время как стандартное отклонение шума стремится к нулю только как

2. Пусть распределена равномерно от 0 до а, и пусть если и 0, если Покажите, что среднее значение оценки окна Парзена задается соотношением

Нарисовать график функции от х для Насколько малой должна быть чтобы смещение было менее одного процента при 99%-ном размахе

3. Пусть — множество независимых помеченных выборок и ближайших соседей х. Правило k ближайших соседей

для классификации х заключается в присвоении х метки, наиболее часто представляемой в . Рассмотрим задачу с двумя классами с . Допустим далее, что условные плотности однородны в единичных гиперсферах, расположенных на расстоянии десятй единиц друг от друга.

а) Покажите, что если k нечетное, то средняя вероятность ошибки задается посредством

б) Покажите, что для этого случая уровень ошибки у правила единственного ближайшего соседа будет ниже, чем у правила k ближайших соседей,

в) (Не обязательно.) Если к позволяется возрастать с ростом , но оно ограничивается покажите, что при .

4. Легко заметить, что уровень ошибки правила ближайшего соседа Р может быть равным уровню Байеса Р, если (наилучшая возможность) или если (наихудшая возможность). Может возникнуть вопрос, существуют ли задачи, для которых когда Р находится между этими крайними возможностями.

а) Покажите, что уровень Байеса для одномерного случая, где и

в остальных случаях, будет

б) Покажите, что для этого случая .

5. Рассмотрим множество из семи двумерных векторов . Допустим, что первые три имеют метку а другие четыре — метку

а) Нарисуйте границу областей решений, полученную в результате применения правила ближайшего соседа. (Она должна состоять из девяти отрезков прямых.)

б) Найдите средние значения выборок и нарисуйте границу решения, соответствующую классификации х при присваивании ему класса среднего значения ближайшей выборки.

6. Пусть и пусть

Аппроксимируйте эту оценку путем факторизации функции окна и разложения коэффициента а в ряд Тейлора в начале координат.

а) Покажите, что при использовании нормированной переменной -членная аппроксимация задается посредством

где

б) Положим, что n выборок очень тесно сгруппированы вокруг Покажите, что двучленная аппроксимация имеет два локальных максимума в точках, где: Покажите, что один максимум имеет место приблизительно при как и требуется, если но что он сдвигается только для Нарисуйте кривую функции от и для и 10.

7. Пусть будет произвольной плотностью со средним и ковариационной матрицей Пусть и пусть индуцированная плотность имеет среднее значение и дисперсию

а) Покажите, что функция критерия

минимизируется посредством

б) Если есть априорная вероятность для покажите, что

минимизируется посредством

в) С какой из этих функций критерия теснее всего связано из соотношения

8. Выражение

явно измеряет разброс между группами двух множеств выборок, из которых одно содержит выборок, помеченных а другое содержит выборок, помеченных Аналогично

явно измеряет полный разброс внутри групп.

а) Покажите, что

и

б) Если покажите, что w, минимизирующее при наложенном ограничении задается посредством

где

и

9. Пользуясь определением матрицы разброса между группами, данным для случая многих классов:

покажите, что

если

10. Если являются любыми вещественными симметричными матрицами размера то хорошо известно, что существует множество собственных значений удовлетворяющих и что существует соответствующее множество собственных векторов удовлетворяющих равенству Далее, если S — положительно определенная матрица, собственные векторы можно всегда нормировать таким образом, что

и

Пусть где W — матрица размера столбцы которой соответствуют различным собственным векторам.

а) Покажите, что есть единичная матрица размера и что S — диагональная матрица, элементы которой суть соответствующие собственные значения 1).

б) Каково значение

в) Пусть преобразуется сначала масштабированием осей, что описывается невырожденной диагональной матрицей D размера и последующим вращением, описываемым ортогональной матрицей Q: . Покажите, что J инвариантна относительно этого преобразования.