6.9. Сжатие информации

Проиллюстрируем применение многослойных персептронов на примере решения задачи сжатия информации для представления исходных данных в компактной и удобной форме. Результаты этапа сжатия зачастую определяют успех решения задачи распознавания в целом.

Популярный метод сжатия информации был предложен в 1987 г. G Cottrell, P. Munro, D. Zipser. Рассмотрим трехслойный персептрон, у которого число нейронов входного и выходного слоев одинаково, а число нейронов скрытого слоя значительно меньше. Предположим, что в результате обучения персептрон может воспроизводить на выходе тот же самый вектор X, который подается на входной слой. Такой персептрон автоматически осуществляет сжатие (компрессию) информации: на нейронах скрытого слоя возникает представление каждого вектора, которое значительно короче, чем длина вектора, подаваемого на вход Предположим, что некоторый набор векторов нужно передавать по линии связи, предварительно сжимая информацию и, тем самым, уменьшая число каналов, необходимых для ее передачи. Поместим на одном конце линии входной и скрытый слои персептрона, а

результат работы нейронов скрытого слоя (короткие векторы) будем передавать по линии связи. На другом конце линии поместим копию скрытого слоя и выходной слой, тогда переданный короткий вектор с нейронов скрытого слоя перейдет на нейроны выходного слоя, где и будет воспроизведен входной вектор (декомпрессия).