3.3.1. Простое обучение

1. Самый простой случай эмпирической статистики — это случай, когда в серии из независимых наблюдений получены значения где каждая из составляющих тождественна с точки зрения объема и содержания наблюдаемых данных величине х, получаемой в рабочей ситуации, а значения к для известны. В этом случае любая из [составляющих совокупности эмпирических данных представляет собой пару где подчиняется тому же условному распределению вероятности (полностью или частично неизвестному), что и х. Совместное условное распределение вероятности для совокупности значений и данных наблюдения х в рабочей ситуации может быть описано плотностью вероятности

где всюду одна и та же функция; известны, а к, определяющая величину потерь в рабочей ситуации, неизвестна. В частном случае дискретного множества значений последовательность иногда удобно разбить на последовательности соответствующие имеющимся эмпирическим данным для каждого из значений Заметим, что случай, когда на каждом шаге в процессе эмпирического набора данных наряду с результатом наблюдения становится известным и истинное состояние ситуации, характеризуемое параметрами к, называется иногда обучением с учителем.

2. Следующий характерный случай, когда каждая из составляющих эмпирической совокупности по-прежнему тождественна по объему и содержанию величине х, но значения параметров неизвестны, истинная ситуация, в которой наблюдается остается неизвестной. При этом также предполагается, что все ситуации для в которых получены эмпирические данные и рабочая ситуация статистически однородны, т. е. все для имеют одно и то же распределение вероятности. Совместное распределение вероятности при заданном значении к для рабочей ситуации в этом случае может быть описано следующей плотностью:

где функция правдоподобия (полностью либо частично неизвестная), а

— плотность безусловного распределения вероятности х, неопределенность которой может быть еще большей, чем функции правдоподобия, из-за частичного либо полного незнания априорного распределения параметров к (плотности

3. Более общий случай имеет место, если в процессе набора эмпирических данных наблюдаются величины не обязательно тождественные по объему и содержанию х и X, но связанные с ними известной функциональной либо более общей вероятностной зависимостью. Это означает, что любая из составляющих у, может быть описана условным «распределением вероятности с плотностью которое может быть полностью или частично неизвестным (при наличии функциональной зависимости указанная плотность дельтообразна), а полная совокупность эмпирических данных и данных наблюдения х в рабочей ситуации имеет условное (при заданном распределение с плотностью вероятности

где

Величины умогут представлять собой, например, отдельные компоненты полного вектора данных наблюдения х (не обязательно одинаковые при разных результат наблюдения с дополнительными помехами и ошибками или, наоборот, в лучших по сравнению с рабочей ситуацией условиях и т. п.

Следует отметить, что независимость отдельных составляющих совокупности эмпирических данных, которая использована при записи (3.3.1), (3.3.2), (3.3.4), не имеет принципиального значения. Важно лишь существование той или иной степени статистического подобия между рабочей ситуацией и ситуациями, в которых получены эмпирические данные, а распространение рассуждений на случай зависимости сводится лишь к соответствующему изменению формы записи совместных распределений вероятности.

На основании проведенного выше рассмотрения можно зафиксировать несколько существенных моментов.

а. Совокупность эмпирических данных имеет ценность с точки зрения принятия решения в рабочей ситуации только в том случае, если имеется априорная неопределенность относительно статистического описания х и Действительно, если известны, то, как следует из выражений для среднего и апостериорного риска гл. 2 и выражений (3.3.1), (3.3.2), (3.3.4), расширение полной совокупности данных наблюдения за счет использования эмпирических данных увеличение входной информации с заменой х на совокуплость не изменяет ни оптимального правила решения и (оно остается зависящим только от ни величины соответствующего ему риска. Это совершенно естественно, поскольку данные прошлых наблюдений не содержат непосредственно сведений о значении ненаблюдаемых параметров X, определяющих величину потерь от принятия того или иного решения. Если неопределенность относится только к априорному распределению вероятности известно), не имеют ценности эмпирические данные при обучении с учителем (в этом случае полезны только значения несущие информацию о структуре

Сформулированные выводы в равной степени относятся как к простому обучению, так и к «рабочеподобному».

б. Для описания частично или полностью неизвестных распределений вероятности совокупности эмпирических далных могут быть использованы все обсуждавшиеся в § 3.1, 3.2 методы и, в частности, с успехом применены рассмотренные в § 3.2 методы параметрического описания в случае ограниченных априорных значений. При этом эмпирические данные являются источником информации о неизвестных значениях параметров функции правдоподобия и априорного распределения вероятности

в. Наличие эмпирических данных полученных простым наблюдением без принятия решения в каждой ситуации (простое обучение), нисколько не изменяет исходную постановку задачи статистического решения и ее общую фррмулировку как в байесовом случае, так и при наличии априорной неопределенности. Действительно, так как потери зависят только от значения параметров к в рабочей ситуации (и не зависят от назовем совокупностью данных наблюдения х и то, что мы раньше обозначали этой буквой и вместе с ним все остальные имеющиеся данные, полученные в процессе эмпирического изучения статистики, произведем переобозначение Поскольку конкретное содержание совокупности х не было ограничено, то естественно, что от такого переобозначения ничего не изменится. Поэтому социальное выделение совокупности данных отражающих прошлый опыт, имеет весьма ограниченное значение, а терминология, связанная с понятием обучения, может быть удобна только из-за наглядности рассуждений.

Забегая вперед, необходимо отметить, что этот вывод справедлиз и для «рабочеподобного» обучения, если потери во всех ситуациях за исключением рабочей, равны нулю или несущественны.