ЯЗЫКА ЭНТРОПИЯ

— одна из основных статистических характеристик речи, ее способность содержать определенное количество информации (в смысле Шеннона). Письменный текст можно рассматривать как последовательность сигналов, каждый из которых принимает в качестве значений буквы (морфемы, слова или фразы) данного языка, т. е. как цепочку статистически связанных между собой опытов со случайными исходами.

Энтропия отвечающая одной букве текста, равна пределу (при N со) энтропии , вычисляемой с учетом статистических связей между буквами, распространяющихся не более чем на N соседних букв. Сначала определяют величины где вероятности всевозможных комбинаций по букв (-грамм). При полагают, что После этого принимают Если за единицу измерения величин энтропий принимают бит, то логарифмы во всех формулах являются двоичными.

Аналогично определяют энтропию приходящуюся на одно слово текста. При подсчете энтропии (см. Языка информационные измерения) учитывают лишь статистические характеристики текста. Поэтому информация, характеризуемая значением энтропии, не связана непосредственно со смысловым содержанием текста, а лишь указывает наименьшее время, необходимое для передачи текста по той или иной линии связи.

Устную речь можно рассматривать и как последовательность определенных лингвистических единиц (слогов, фонем). При этом ее энтропию определяют так же, как и для записанного отрывка текста. Иной подход к определению энтропии устной речи идет от физиол. акустики. При этом речь понимают как определенную последовательность звуковых колебаний воздушной среды. Определяемая на базе такого подхода с учетом данных физиол. акустики энтропия оказывается большей, чем та, которая содержится в записи речи; разность этих энтропий выражает информацию, связанную с интонационными особенностями речи, и по порядку величины совпадает с той, которая содержится в записанном тексте. См. также Языка избыточность. И. М. Яглом.