Главная > Теория вероятностей и теория информации с применениями в радиолокации
<< Предыдущий параграф Следующий параграф >>
Пред.
След.
Макеты страниц

Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше

Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике

ГЛАВА III. ТЕОРИЯ ИНФОРМАЦИИ

1. Мера информационной емкости по Хартли

Первым, кто сделал серьезную попытку ввести в области электросвязи научно обоснованную меру информации, был Хартли. В 1927 г. он представил Международному Конгрессу по телеграфии и телефонии работу [2], в которой сформулировал свою цель: «установить количественную меру, с помощью которой можно сравнивать способность различных систем передавать информацию». С уточнениями, которые будут обсуждены на протяжении этой главы, его мера теперь прочно вошла в обиход и служит отправной точкой теории информации. Идеи, лежащие в основе этой теории, могут быть поняты из рассмотрения либо систем связи, через которые непрерывно проходит информация, либо статических систем, применяющихся для хранения (накопления) информации. Математически между этими подходами нет существенной разницы.

Задача хранения информации есть в сущности задача о ее представлении. Информация может принимать форму букв, или звуков, или цветов, однако, какую бы форму она не принимала, ее представление должно быть таким, чтобы при желании можно было по нему восстановить оригинал или что-нибудь ему эквивалентное. Возможность восстановления или, выражаясь техническими языком, обратимость есть краеугольный камень нашей темы. Если информация была получена в виде звука, нет необходимости применять для ее хранения акустические средства. Она, равным образом, может быть записана электрическим или магнитным способом, например на магнитофоне. Ясно, что нет никакой необходимости в том, чтобы в накопителе было запасено нечто физически похожее на оригинал, лишь бы только существовала принципиальная возможность восстановить его посредством подходящего механизма. Другими словами, нет возражений против пользования обратимым кодом: информация инвариантна относительно такого преобразования. Нужно лишь обеспечить, чтобы каждое возможное событие, которое мы хотим записать, могло быть представлено в запасающем устройстве (накопителе). Это означает, что пустой накопитель должен обладать лишь способностью переводиться в некоторое число различных состояний, природа же этих состояний совершенно несущественна для

вопроса о том, какое количество информации можно запасти. Необходимо лишь, чтобы состояния были отождествимы или различимы. Ясно, далее, что способность пустого накопителя поглощать информацию может зависеть только от общего числа различных состояний, которые он допускает. Очевидно, что основанием для выбора между двумя накопителями с одинаковым числом состояний может быть только практическое удобство. Присущая им емкость — способность запасать информацию — должна быть одинакова. Кроме того, интуиция требует, чтобы емкость была тем больше, чем больше число состояний.

Если накапливающая ячейка, например, кнопка с храповичком, имеет возможных состояний, то две такие ячейки вместе имеют состояний, откуда ясно, что увеличение числа элементарных ячеек есть мощный способ увеличения емкости накапливающего устройства. Практически обычно легче создать два устройства с состояниями каждое, чем одно устройство с состояниями. Этим объясняется, почему применяемые на практике накопляющие устройства состоят обычно из множества меньших ячеек. Страница текста, содержащая тыгячу знаков, каждый из которых может находиться в одном из 261 состояний, является этому наглядным примером. Экспоненциальная зависимость числа состояний от числа ячеек сразу подсказывает логарифмическую меру емкости. Эту меру ввел Хартли, определив то, что мы теперь называем информационной емкостью системы посредством соотношения

где число различимых состояний.

В силу этого определения — и это целесообразно — емкость составной накапливающей системы оказывается равной емкости элементарной запасающей ячейки, умноженной на число ячеек системы. В частности, если за основание логарифмов берется 2, то С есть эквивалентное число двоичных запасающих ячеек. Например, емкость кнопки с храповичком, имеющим переключатель на 32 положения, равна емкости пяти переключателей на 2 положения. Емкость двоичной ячейки называется двоичной единицей емкости.

Допустим, что на странице могут быть только заглавные буквы и шпации (промежутки между словами). Если на странице помещается 4 000 знаков, полное число возможных состояний равно 274000, что соответствует емкости т. е. приблизительно 19 000 дв. ед. На этом основании может явиться желание сказать, что страница, когда она заполнена, содержит 19 000 двоичных единиц информации. Но мы еще не дали определения количества информации, мы определили лишь информационную емкость, а между этими двумя понятиями имеется существенное различие. Хартли намеренно ограничился рассмотрением емкости, которая является величиной, характеризующей физическую систему. Он считал, что при определении действительного количества информации

должны быть приняты в расчет некоторые «психологические факторы», но что эти факторы не имеют отношения к инженеру связи. Особенно интересной стороной современной теории является понимание того, что количество информации отличается от емкости вследствие не столько психологических, сколько чисто статистических факторов, которые могут быть с пользой учтены при математическом рассмотрении. При этом оказывается, что статистическая трактовка Шэннона содержит замечательно полное объяснение «психологических» аспектов информации.

Categories

1
Оглавление
email@scask.ru