Обучаемые машины

Понятие обучения, так же как понятие мышления, сознания и другие психологические понятия, трудно точно определить приемлемым способом. Приблизительная формулировка может быть выражена следующим образом. Предположим, что какой-то организм или машина помещаются в какую-то среду или связаны с группой внешних сигналов и что существует мера «успеха» или приспособления к обстановке. Кроме того, предположим, что эта мера имеет локальный характер во времени, т. е. что можно измерить успех для периодов времени, коротких по сравнению с продолжительностью жизни организма. Если эта локальная мера «успеха» имеет тенденцию улучшаться со временем для рассматриваемой

группы внешних сигналов, можно утверждать, что организм или машина научились приспосабливаться к этой обстановке в соответствии с выбранной мерой успеха. Обучение приобретает количественное значение в выражении обширности и сложности класса внешних сигналов, к которому машина может приспособиться. Машина, играющая в шахматы с возрастающим числом (частость) выигрышей в течение срока ее жизни, может быть названа в соответствии с этим определением машиной, способной обучаться играть в шахматы; класс внешних сигналов в данном случае образуют игроки-противники, играющие с машиной, а меру приспособления (успеха) — количество выигранных партий.

Был предпринят ряд попыток сконструировать простые обучающиеся машины. Автор данной статьи сконструировал машину для нахождения пути в произвольном лабиринте, состоящем из 25 квадратов, располагаемых в пяти рядах по пять квадратов в каждом. Перегородки между соседними квадратами помещаются также произвольно в зависимости от желания лица, составляющего лабиринт. «Мышь», представляющая собой постоянный магнитик, помещенная в лабиринт, движется сначала ощупью, пробуя пройти и делая ошибки; она наталкивается на различные перегородки и идет вслепую до тех пор, пока не находит дорогу к «кормушке». Когда мышь пускается в другой раз, она направляется без ошибок и неправильных ходов из любой части лабиринта, которую она прошла в первый раз прямо к «кормушке». Помещенная в другую часть лабиринта, она идет вслепую до тех пор, пока не попадает в уже освоенную часть пути, и отсюда идет уже прямо к цели. При этом она добавляет информацию об этой части лабиринта к уже имеющейся информации в своей памяти, и если она снова будет помещена в ту же точку, она прямо направится к цели. Таким образом, мышь, помещаемая в различные неосвоенные части лабиринта, постепенно накапливает полную информацию и может безошибочно достигнуть цели из любой точки лабиринта.

Если затем изменить лабиринт, мышь сначала будет делать попытки пробегать по старому пути, но, наткнувшись на перегородку, постарается найти другое направление, пересматривая свою память до тех пор, пока она не достигнет цели по какому-нибудь другому пути. Таким образом, когда условия задачи меняются, она может забыть старое решение.

В действительности мышь приводится в движение электромагнитом, движущимся под лабиринтом. Движением электромагнита управляет релейное устройство, содержащее около 110 реле,

образующих память и вычислительную схему, что-то вроде цифровой вычислительной машины.

Прибор, решающий лабиринтную задачу и являющийся весьма примитивным, способен: 1) решать задачи по методу испытаний и ошибок, 2) повторять решения без ошибок, 3) добавлять новую информацию и устанавливать ее соотношение с частным решением, 4) забывать решение, если оно стало неприменимым.

Другим подходом к созданию обучаемой машины явилось использование цифровой вычислительной машины с соответствующей программой.

А. Е. Оттингер разработал две программы обучения для вычислительной машины типа «ЭДЗАК» в Кембриджском университете (Англия). В первой из них машина выполняла две роли: роль обучаемой машины и окружающей среды. Окружающая среда представляет собой абстракцию ряда магазинов, в которых могут быть куплены различные товары; в различных магазинах хранятся различные виды товаров. Обучаемая машина сталкивается с необходимостью запомнить, где могут быть куплены те или иные товары. Начиная работать без предварительных знаний, где можно отыскать данный товар, она беспорядочно ищет среди магазинов до тех пор, пока не находит намеченное. Когда ей это удается, она отмечает в памяти, где найден товар, и следующий раз прямо идет в тот «магазин», где она уже до этого «покупала». Дополнительной особенностью этой программы было введение в обучаемую машину немного «любопытства». Когда ей удастся найти товар в каком-то определенном «магазине», она интересуется, содержится ли в данном «магазине» товары и отмечает этот факт в своей памяти.

Вторая программа обучения, описанная Оттингером, моделирует нечто вроде поведения животных при выработке условных рефлексов. В машину может быть введен стимул различной интенсив ности, представляемый в виде целых чисел, подаваемых на вход. На этот стимул машина может реагировать несколькими различными способами, которые выражаются соответствующими целыми числами, выдаваемыми на выходе. Наблюдая ответ, оператор может выражать машине свое одобрение или неодобрение, вводя в машину в соответствующий момент некоторое третье целое число. В начале работы реакции на стимулы выбираются случайно. Выражение одобрения увеличивает вероятность правильности предыдущего ответа, указание неодобрения уменьшает эту вероятность. После того как машина «научится» выдавать определенный ответ, поддержанный одобрением, величина стимула, необходимого для

появления этого ответа, уменьшается, т. е. увеличивается вероятность его появления. Наконец, предусмотрено регулярное уменьшение этой вероятности, когда за ответом не следует одобрения.

Дальнейшее усложнение программ этого рода ограничивается только емкостью памяти вычислительной машины, энергией и изобретательностью инженера, составляющего программу. К сожалению, элементарные команды, имеющиеся в большинстве вычислительных машин, плохо приспособлены для логических требований программ обучения, и, следовательно, машины используются неэффективно. Может потребоваться двенадцать или более команд для представления логически простой и часто используемой операции, встречающейся в программе обучения.

Другой тип обучаемой машины был сконструирован Д. В. Хегельбергером для игры с человеком «в монетку».

На пульте управления машины находятся кнопка для пуска, две лампочки-сигнала, обозначенные и ключ-переключатель, положения которого также обозначены через Начиная играть с машиной, игрок выбирает + или — и затем нажимает пусковую кнопку. Машина зажигает один из двух сигналов. Если машина зажигает сигнал, соответствующий выбранному игроком, она выигрывает, в противном случае выигрывает игрок. Когда игра заканчивается, игрок регистрирует (вводит в машину) сделанный им выбор соответствующим поворотом ключа-переключателя.

Машина сконструирована таким образом, чтобы анализировать определенные закономерности в последовательности выборов игрока и старается извлечь выгоду из этих закономерностей, когда она их находит. Например, некоторые игроки имеют тенденцию, если они победили в одном туре, сыграть таким же образом и снова выиграть. Машина учитывает такую ситуацию и, когда выявляется такая тенденция, играет так, чтобы выиграть самой. Если такого рода положений не встречается, машина играет, выбирая ходы случайно.

Было установлено, что машина выигрывает 55—60% игр, тогда как, играя по случайному выбору или играя против партнера, который играет только случайно, она может выиграть только 50% игр. Человеку трудно дать беспорядочную последовательность плюсов и минусов (50% выигрышей обеспечиваются ему самой, теорией игры) и еще труднее обыграть машину, наводя ее на ложную закономерность и затем меняя ее.

Вторая машина для игры в «монетку» была сконструирована автором данной статьи. Он придерживался той же самой тактики

игры, но использовал другой критерий для принятия решения, когда лучше играть случайно или в соответствии с явным планом. После длительных споров о том, какая из двух машин может победить другую, и бесплодных попыток решить математическим путем весьма сложную статистическую задачу, возникающую при совместной работе обеих машин, пришли к выводу, что эту задачу следует решить экспериментальным путем. Была сконструирована третья небольшая машина, на которую были возложены функции посредника и которая должна была передавать информацию относительно готовности машин сделать ход и о сделанном выборе. Эти три машины были соединены вместе и играли несколько часов, причем зрители заключали небольшие пари по ходу игры и подбадривали машины громкими криками. В результате выяснилось, что меньшая из двух машин, действовавшая быстрее, постоянно выигрывала у большей в отношении приблизительно 55 к 45.

Еще один тип обучаемой машины, в большей степени отличающийся от описанных выше, был сконструирован У. Россом Эшби, который называл эту машину гомеостатом. Гомеостезис — слово, введенное Вальтером Б. Кэнноном, означает способность животных с помощью обратной связи стабилизировать такие биологические переменные, как температура тела, химический состав крови и т. д. Прибор Эшби является разновидностью самостабилизирующейся сервосистемы. Первая модель гомеостата состояла из четырех взаимосвязанных сервосистем. Соединение между ними осуществлялось при помощи четырех ламельных переключателей и сопротивлений, припаянных к ламелям. Таким образом, изменение баланса сопротивлений в петле одной из сервосистем влияет на другие три петли в зависимости от величин сопротивлений, включенных ламельным переключателем, связанным с этой петлей. Если одна из сервосистем выводится из равновесия, срабатывает соответствующее ограничительное реле, вызывающее перемещение соответствующего ламельного переключателя на один шаг. Как правило, такая связанная сервосистема с четырьмя степенями свободы и случайными значениями взаимных и собственных коэффициентов усиления не будет устойчивой. Если это так, то начинает работать один или несколько ламельных переключателей, изменяющих значения сопротивлений, и их новая комбинация должна дать новую группу значений коэффициентов усиления. Если эта совокупность значений вновь оказывается нестабильной (т. е. образует неустойчивую сервосистему), происходит новое переключение ламельных переключателей. Процесс будет повторяться до тех пор, пока не будет найдено устойчивое состояние.

Величины сопротивлений, связанных с ламельными переключателями, выбирались случайно (путем использования таблицы случайных чисел). Были предусмотрены средства для введения произвольных изменений или ограничений в работу отдельных сервосистем гомеостата. Например, их коэффициенты связи могли быть заменены на обратные; два из них могли быть равными, один мог иметь фиксированную величину и т. д. При всех этих условиях гомеостат был способен найти устойчивое состояние, при котором все сервосистемы находились в покое. Если считать, что задачей устройств является стабилизация сервосистем и что влияние окружающей среды реализуется путем введения различных изменений и ограничений, осуществляемых оператором, можно утверждать, что гомеостат приспособился к окружающей его среде.

Некоторые особенности гомеостата весьма интересны в качестве основы для создания обучаемых машин и для моделирования работы мозга. Этот прибор, как представляется, делал гораздо больше, чем замышлялось его изобретателем. Например, он мог стабилизироваться в условиях, не предусмотренных при конструировании. Особенно интересно использование случайно выбираемых сопротивлений; это в какой-то степени напоминает случайные связи между нейронами в мозгу. Эшби считает, что общий принцип, воплощенный в гомеостате, который он называет ультраустойчивостью, может лежать в основе анализа работы нервной системы животных. По мнению Эшби, одной из основных трудностей, мешающих непосредственному применению этой теории, является тот факт, что время, необходимое для нахождения стабильного решения, увеличивается приблизительно экспоненциально с ростом числа степеней свободы. При числе степеней свободы всего лишь около двадцати для стабилизации системы потребовалось бы время, в несколько раз превосходящее длительность человеческой жизни. Попытка преодолеть эту трудность ведет к необходимости создания такой сложной конструкции, что чрезвычайно трудно решить, насколько эффективно она будет работать. Наш математический аппарат недостаточно совершенен для решения этой задачи, и поэтому в высшей степени желательна дополнительная экспериментальная работа в этом направлении;