4.2.7. Обучение с использованием предложенной адаптивной модели

Описанная выше (в подразделе 4.2.4) процедура была применена для задачи обучения пониманию текстов на иностранном (английском) языке. Была создана система обучения, абонентами которой стали сотрудники Института электроники и вычислительной техники (ИЭВТ) АН ЛатвССР.

В качестве источника информации были выбраны тексты на английском языке по элементарной математике [68]. В результате их обработки с помощью ЭВМ был получен частотный словарь слов и словосочетаний объемом лексические единицы . Словарь содержал слова и словосочетания с их транскрипцией, переводом и частотой

Кроме самостоятельных в словарь на правах отдельных ЛЕ включались:

1) словосочетания и фразы, значение которых нельзя опре делить, исходя из значений составных частей данных сочетаний (например, in the same way, hold forth, in question и др.);

2) словосочетания, имеющие терминологический характер (например, slide rule, bar graph, extraction of roots и др.);

3) аналитические формы глаголов (например, was missing, have advanced, would know и др.).

Включение аналитических форм глаголов в словарь на правах отдельных ЛЕ дает возможность ученику освоить основные грамматические конструкции при помощи часто повторяющихся слов.

Перевод слов и словосочетаний давался по возможности однозначным, с учетом конкретного значения слова в определенном контексте. Некоторые трудности представлял перевод слов с широкой семантикой — часто используемых наречий, предлогов, частиц. В этих случаях в словаре при переводе был дан ряд значений, строго соответствующих контекстуальным.

Перед началом обучения каждого абонента системы выяснялось, каким словарным запасом он обладает. Для этого каждому абоненту предлагалось просмотреть словарь и указать

незнакомые слова и словосочетания. По ответам определялся исходный уровень незнакомой лексики:

где — частота z-й ЛE в словаре;

В результате такого тестирования для каждого абонента определялся объем всей обучающей информации

где — номер незнакомого абоненту слова или словосочетания в словаре; — общее число незнакомых для этого абонента ЛE в словаре.

Роль «учителя» в системе выполняла программа, реализующая описанный в подразделе 4.2.2 алгоритм обучения. Цель обучения состояла в том, чтобы снизить процент незнакомой лексики до 5%, поскольку именно при таком словарном запасе возможно свободное чтение и понимание текста на иностранном языке [108].

На каждом такте обучения с помощью ЭВМ согласно (4.2.34) определялась порция Слова и словосочетания с этими номерами выдавались для запоминания. При этом были предусмотрены две формы обучения, которые выбирались самим абонентом. В первой ЛE выдаются списком с транскрипцией и переводом, во-второй — в виде отдельных карточек, на одной стороне которых была написана ЛE, а на другой — ее перевод с транскрипцией русскими буквами.

Абонент заучивал слова и словосочетания, указанные в бланке задания, и на другой день сам проверял их запоминание. При этом в бланке задания, который был одновременно и отчетом, абонент указывал затраченное на заучивание время и время, планируемое им для следующего занятия Эта информация о ресурсе которым располагает абонент, используется для определения объема порции исходя из следующего приближенного равенства:

где — множество элементов порции ОИ, определяемых по правилу (4.2.34); — вероятность незнания через

время после ее заучивания; коэффициент, определяемый адаптивно:

т. е. на каждом шаге осуществлялась коррекция этого коэффициента, с тем чтобы время, необходимое для заучивания данным абонентом получаемой им порции ОИ, соответствовало планируемому им времени. Выражение (4.2.62) опирается на очевидное соображение, что время заучивания одной ЛЕ пропорционально вероятности ее незнания.

На следующем шаге обучения указанные в бланке задания ответы абонента — номера незапомненных им ЛЕ, время и а также дата выполнения задания — вводились в ЭВМ. Дата выполнения задания необходима для определения промежутка времени между уроками, т. е. величины Атак как темп обучения задавался самим учеником.

Ответы ученика и интервал времени используются для преобразования вектора вероятностей незнания согласна модели данного ученика (4.2.30), (4.2.32). Затем вычислялся критерий качества обучения который являлся количественной характеристикой, определяющей процент незнакомой для данного ученика лексики. Если то обучение заканчивалось. При невыполнении этого неравенства по (4.2.34) определялась очередная порция ОИ.

В модели ученика имелись параметры у, у" и характеризующие индивидуальные особенности памяти абонента. Эти параметры неизвестны и должны быть определены в процессе обучения. Начальные скорости забывания оценивались методом максимального правдоподобия. Оценка неизвестных параметров модели у и у" в процессе обучения является достаточно трудоемкой процедурой. Поэтому в поставленном эксперименте в качестве у и у" бьши взяты оценки, полученные ранее при запоминании иностранных слов в эксперименте, описанном в подразделе 4.2.4.

Для реализации описанной выше процедуры обучения в ИЭВТ АН ЛатвССР был разработан пакет программ, написанных на алгоритмическом языке Фортран-4 для операционной системы ЕС ЭВМ. На основе этого пакета была реализована экспериментальная система обучения языку опытная эксплуатация которой дала возможность оценить эффективность предложенного способа обучения с моделью [273].

Основными критериями эффективности системы бьши выбраны среднее время, затраченное абонентом на заучивание

одной ЛЕ, и уровень понимания текста, на основе которого производилось обучение.

Первый критерий (среднее время, затраченное на одну ЛЕ) вычислялся на основе отчетов абонентов о знании словаря, полученных при входе и выходе из системы. Из этих отчетов было определено число новых ЛЕ, которые запомнил абонент. Время, затраченное на их заучивание, было определено по ежедневным отчетам абонента. В результате вычислялось среднее время, затрачиваемое на заучивание одной ЛЕ.

Эксперимент показал, что это время неодинаково для различных абонентов и зависит от того, учил или не учил абонент язык ранее. Так, в группе абонентов, изучавших язык ранее (12 человек), на одну ЛЕ было затрачено среднее время мин, которое изменялось в пределах от 0,3 до 1,56 мин. В группе незнакомых ранее с английским языком (9 человек) мин, Причем мин.

Для сравнения напомним, что по программе средней школы для заучивания одной ЛЕ предусматривается 30 мин.

Вторым критерием оценки эффективности предложенного способа обучения было понимание английского текста. С этой целью на различных этапах обучения при разных значениях из текста случайно выбирались предложения для перевода, качество которого оценивалось экспертным путем по трехбалльной системе:

«3» — абонент понял смысл и содержание предложения. Перевод правильный (допускаются некоторые несущественные в смысловом отношении ошибки при переводе);

«2» — абонент правильно перевел все отдельные слова предложения, но имеются ошибки, изменяющие смысл предложения. Перевод неточен;

«1» — абонент не понял предложение. Отдельные слова предложения переведены неправильно или вообще не переведены. Перевод предложения отсутствует.

Результаты оценки качества перевода для разных абонентов при различных значениях приведены на рис. 4.2.12. Здесь же дугами показана динамика улучшения качества перевода (уменьшение доли незнакомой лексики) в процессе обучения для различных абонентов. На этом рисунке четко просматривается зависимость между уровнями знания лексики и понимания текста.

Проведенные эксперименты показали, что для уверенного понимания специального (математического) текста на иностранном языке вполне достаточно знания порядка 75% слов текста а не 95%, как рекомендовано в работе [108]).

При изложенном способе обучения пониманию текстов на иностранном языке естественно предположить, что для

Рис. 4.2.12. Результаты экспериментального обучения.

понимания текста необязательно знание нормативной грамматики — достаточно знание ЛЕ, т. е. слов и словосочетаний, содержащих основные грамматические конструкции. Для проверки этой гипотезы по экспериментальным данным была вычислена корреляция между процентом незнакомой лексики в тексте и оценкой качества перевода

Так как изменяется в метрической шкале, в шкале порядка, то для вычисления коэффициента ранговой корреляции необходимо прежде всего преобразовать шкалу в шкалу порядка, т. е. ввести ранги Для этого интервал был разбит на 4 части и каждой присвоен свой ранг:

интервал [0; 0,25] соответствовал первому рангу

интервал [0,25; 0,5] соответствовал второму рангу до четвертого ранга.

В результате по данным для абонентов, ранее не изучавших язык, был подсчитан коэффициент ранговой корреляции (по Спирмену) [104]. Он оказался равным 0,45, т. е. очень высоким. Это означает, что существует явная зависимость между знанием лексики и пониманием текста абонентами системы.

В заключение отметим свойства описанной системы обучения, которые выгодно отличают ее от других:

1. Адаптивность, которая выражается в том, что система строит модель абонента, с помощью которой обучает его наилучшим образом, приспосабливаясь к индивидуальным особен ностям памяти абонента.

2. Анонимность: абонент фигурирует в системе под своим номером.

3. Полное отсутствие в системе преподавателя. (Описанная выше процедура экспертной оценки правильности перевода по надобилась лишь для того, чтобы показать достаточность

заучивания лексики, и в серийном варианте системы обучения не предусматривается.)

4. Темп обучения задается абонентом в виде указания времени, выделяемого им для заучивания очередной порции ОИ.

5. Процесс заучивания может производиться в любых уело виях, удобных абоненту, и никак не связан с системой. Общение с системой происходит лишь в момент получения очередного за дания и может осуществляться с помощью телетайпа, дисплея и других средств общения с ЭВМ.