ЯЗЫКА ИНФОРМАЦИОННЫЕ ИЗМЕРЕНИЯ

— измерения, цель которых — определение языка энтропии а также языка избыточности Изучение статистических связей между буквами убеждает в том, что для всех известных языков, скажем, уже да

Поскольку задача составления частотных таблиц для сочетаний из 4, 5 и более соседних букв является неразрешимой даже при использовании современной вычислительной техники, такой «прямой» путь Я. и. и. используется гл. обр. для подсчетов величин энтропий невысокого порядка, как, напр., не позволяющих надежно оценить энтропию и избыточность языка. Несколько большую оценку дает использование созданных для многих языков словарей частотных слов, если при этом принимается во внимание то обстоятельство, что , где Белова) — приходящаяся на одно слово энтропия, а k — средняя длина слова, т. е. кол-во букв в нем.

Если энтропию В (слова) оценивать с помощью величины вычисленной на основе вероятностей появления отдельных слов, то оценка, получаемая из последней формулы для соответствует величине вычисленной с учетом вероятностей комбинаций из к букв. Намного большее значение для Я. и. и. имеют косвенные методы, связанные с экспериментами по отгадыванию (или «предсказанию») букв текста. Отнесенная к одной букве текста энтропия указывает степень неопределенности опыта по предсказанию буквы текста в условиях знания предшествующих букв; эту степень неопределенности опыта можно оценить по трудности отгадывания буквы по предшествующим ей известным буквам. Методику проведения таких опытов и оценки на основе их результатов величин указал амер. математик Шеннон (р. 1916). Впоследствии ее усовершенствовали сов. математик А. Н. Колмогоров (р. 1903) и др. В большинстве работ по Я. и. и. использована именно эта методика; измерения проводились для многих европ. и неевроп. языков.

Наряду со статистическим определением количества информации существуют и иные подходы, которые указал А. Н. Колмогоров. Используют эти подходы преимущественно при Я. и. и., связанных с лит. произведениями, поскольку в применении к уникальным по своей природе объектам художественной литературы, вероятностные понятия, опирающиеся

на понятие «статистического ансамбля», становятся весьма неопределенными.

При Я. и. и. по методу отгадывания обычно оценивалась величина по которой уже можно определить и величину также величину энтропии, отнесенной к иным лингвистическим элементам текста. или Те же соображения позволяют связать между собой два значения величины вычисленные в случае, если пренебречь пробелами между словами или принять пробел за специальную («нулевую») букву алфавита: из того, что напечатанный «вплотную» (без пробелов между словами) текст содержит ту же информацию, что и обычный, следует соотношение (без проб.)

Иной характер имеет задача определения количества информации, содержащегося в интонационных особенностях произносимого текста. Сложность этой задачи обусловлена необходимостью учета большого числа разнородных факторов, связанных с индивидуальными качествами голоса того или иного человека, со специфическими особенностями произношения рассматриваемого отрывка текста. Отдельные факторы, входящие в общее понятие статистической информации, содержащейся в устной речи, с использованием формул информации теории могут быть оценены довольно точно.

Лит.: Яглом И. М., Добрушин Р. Л., Яглом А. М. Теория информации и лингвистика. «Вопросы языкознания», 1960, № 1; Яглом А. М., Яглом И. М. Вероятность и информация. М., 1973 [библиогр. с. 487—500]; Колмогорова. Н. Три подхода к определению понятия «количество информации». «Проблемы передачи информации», 1965, т. 1, в. 1; Пиотровский Р. Г. Информационные измерения языка. Л., 1968 [библиогр. с. 108—112]; Шеннон К. Работы по теории информации и кибернетике. Пер. с англ. М., 1963 [библиогр. с. 783— 820]. И. М. Яглом.