5.4. ЭФФЕКТИВНЫЙ ВЫБОР СИГНАЛОВ

В разд. 5.2 мы видели, что передача блоков ортогональными сигналами по каналу с аддитивным белым гауссовским шумом приводит при скоростях передачи меньших, чем к вероятности ошибки, которая с возрастанием длины блока экспоненциально стремится к нулю. Недостаток этого метода заключался в том, что требуемая ширина полосы становится экспоненциально большой (практически бесконечной) при больших . В этом разделе мы покажем, что аналогичного поведения вероятности ошибки можно достичь даже для ограниченных по полосе каналов, у которых число измерений пространства сигналов растет лишь линейно с ростом

Доказать этот факт непосредственно невозможно по двум причинам. Во-первых, если не требовать определенной регулярности структуры сигналов (как в двух примерах разд. 5.2), то даже само описание совокупности различных сигналов становится необозримым при больших Во-вторых, если бы даже эта задача описания была бы разрешимой, мы, вообще говоря, не смогли бы проанализировать вероятность получающуюся при использовании определенной совокупности сигналов. Как это ни странно, гораздо легче показать, что при достаточно больших существует

очень большое число совокупностей сигналов, число измерений которых возрастает линейно, а вероятность ошибки убывает экспоненциально (для не слишком больших скоростей передачи), чем указать некоторую конкретную совокупность сигналов, ведущих себя таким образом.

ПЕРЕДАЧА ПОСЛЕДОВАТЕЛЬНОСТЯМИ ДВОИЧНЫХ СИГНАЛОВ

Как и в первом примере, рассмотрим случай, когда допустимое число измерений в секунду превышает скорость передачи

Для простоты мы снова (как и в разд. 5.2) ограничимся сигналами, являющимися вершинами гиперкуба. Так как число вершин -мерного гиперкуба равно а число сигналов, которые необходимо передать, равно то можно использовать не все вершины. Фактически доля вершин, которые мы должны использовать, равная

стремится к нулю при возрастании Поэтому можно надеяться, что вероятность ошибки не будет стремиться к единице при возрастании как это наблюдалось при из-за слишком близкого «соседства» сигналов (см. разд. 5.2).

Из ограничения, состоящего в том, что сигналы располагаются в вершинах гиперкуба, следует, что каждый сигнал имеет вид

где

а определяется как допустимая энергия на одно измерение. Так же как и в гл. 4, может быть любой совокупностью ортонормальных сигналов:

Например, может состоять из непересекающихся импульсов конечной длительности и единичной энергии, которые получаются с помощью последовательного сдвига пекоторого заданного импульса, как показано на фиг. 5.7.

Согласно ограничению на среднюю мощность передачи,

или

Для совокупности изображенной на фиг. 5.7, сигналы представляют собой последовательности положительных и отрицательных нигде не перекрывающихся импульсов; каждый импульс имеет энергию

Фиг. 5.7. Ортонормальные (сдвинутые по времени) сигналы»

Средняя вероятность ошибки. Для рассматриваемого примера задача выбора сигнала сводится к заданию векторов коэффициентов в равенстве (5.21а)

Как мы уже отмечали, подходящий конкретный набор коэффициентов трудно найти и проанализировать. Эти трудности можно обойти, если, используя остроумный косвенный подход, предложенный Шенпоном [75], найти верхнюю оценку для минимально достижимой вероятности ошибки. Ключ к решению задачи лежит в рассмотрении не одной, а целого набора систем связи, каждая из которых состоит из передатчика, канала и оптимального приемника. Как показано на фиг. 5.8, эти системы совершенно идентичны, если не считать того, что каждая из них использует свою особую совокупность сигналов

Итак, имеется различных вершин гиперкуба, лежащего в нашем -мерном пространстве сигпалов, и сигналов которые мы должны им сопоставить; следовательно, существует

Фиг. 5.8. Ряд систем связи, каждая из которых использует особую совокупность сигналов

различных способов сопоставить эти сигналов вершинам гиперкуба. Мы предполагаем, что каждая из этих совокупностей сигналов используется одной (и только одной) системой связи в нашем наборе и что в каждой системе применяется приемник, оптимальный для ее совокупности сигналов. Следуя установившейся терминологии, назовем совокупности сигналов кодами, а векторы сигналов — кодовыми словами.

Ясно, что каждая система в нашем наборе обладает определенной вероятностью ошибки; обозначим вероятность ошибки для системы через Некоторые из этих систем, например системы с кодами, в которых все векторов сопоставлены одной и той же вершине, обладают очень большой вероятностью ошибки. С другой стороны, для большинства систем вероятность ошибки мала; этот факт мы докажем, вычислив верхнюю оценку для средней арифметической (по всему набору систем связи) вероятности ошибки:

Ясно, что хотя бы одно из меньше, чем

Может показаться удивительным то, что удается вычислить оценку для средней вероятности ошибки набора систем связи, тогда как для отдельной системы связи найти вероятность ошибки невозможно. Это было открытием Шеннона.

Чтобы вычислить верхнюю оценку интерпретируем сначала как статистическое, а не арифметическое средпее. Хотя такая интерпретация не обязательна, она упростит нам вывод, позволив использовать обозначения и результаты предыдущих трех глав. Рассмотрим вероятностную систему, в которой каждой точке пространства элементарных событий ставится в соответствие одна из систем, изображенных на фиг. 5.8, а также сообщение, шумовой сигнал и результирующий принимаемый сигнал. Вероятность того, что конкретной системе будет приписан код равна

причем предполагается, что статистически не зависит от выбора сообщения и шумового процесса. Если для I-й системы выбран код то получим

Используя можно переписать соотношение в следующем виде:

Теперь найдем верхнюю оценку для Усредненная по всему набору кодов, условная вероятность ошибки при условии, что передано сообщение равна

где условная вероятность ошибки при условии, что передано сообщение и выбран конкретный код Применяя аддитивную границу (4.109) к каждому конкретному коду, получим

где вероятность ошибки при использовании для передачи одного из двух равновероятных сообщений вектора , а для передачи второго из сообщений вектора

Если бы было легко оценить правую часть неравенства не было бы необходимости рассматривать набор (ансамбль) возможных систем связи. Оценка правой части однако, требует, во-первых, точного знания совокупности сигналов и, во-вторых, громадной вычислительной работы. Основное преимущество, связанное с введением ансамбля систем связи, состоит в том, что, меняя порядок суммирования, можно обойти эти две трудности. Подставляя в получим

Изменение порядка суммирования дает

где черта означает усреднение По ансамблю систем связи. Таким образом, изменение порядка суммирования приводит к тому, что следующим этапом в оценке оказывается усреднение по ансамблю кодов.

Для канала с аддитивным белым гауссовским шумом зависит лишь от евклидова расстояния между Согласно (4.110),

Если у векторов различны координат, то квадрат расстояния между ними равен

Из соотношения (5.25a) для вероятности выбора кода в ансамбле следует, что может быть любой из вершин гиперкуба с равной вероятностью для каждой вершины и не зависит от Поэтому вероятность того, что совпадает с равна 1/2 для всех Следовательно, вероятность того, что у векторов и различны координат, в точности равна вероятности выпадения гербов в бросаниях монеты:

Поэтому математическое ожидание случайной величины в ансамбле кодов равно

Так как правая часть равенства (5.326) не зависит от индексов , удобно ввести более простое обозначение:

Мы видим, что в новых обозначениях

и

Таким образом, нахождение верхней оценки для свелось к нахождению верхней оценки для

Вспомнив, что в соответствии с (2.122)

получим, подставляя это неравенство в (5.326),

Но

откуда следует, что

Последнее неравенство можно короче переписать как

где введен показатель экспоненциальной оценки равный, согласно

И наконец, используя соотношения и получим окончательный результат-оценку:

Если определить как скорость передачи в битах на измерение

так что

то верхнюю оценку вероятности ошибки можно записать в более удобной форме:

Согласно соотношениям средняя вероятность ошибки, а следовательно, и вероятность ошибки по крайней мере для одного кода в ансамбле может быть сделана произвольно малой за счет выбора достаточно больших если только меньше показателя экспоненциальной оценки Число измерений часто называют длиной кодового блока.

На фиг. 5.9 приведен график как функции от — отношения сигнал/шум на измерение. Так как максимальное значение достигаемое при равно единице, то показатель эксноненты в равный не может быть положительным при скоростях передачи больших или равных Это согласуется с результатом, полученным в разд. 5.2 для передачи отдельных символов: при и, следовательно, число сигналов, которое необходимо передать, равно числу имеющихся вершин гиперкуба. Если при использовании противоположных

Фиг. 5.9. Параметр при передаче двоичными противоположными сигналами. Единица измерения бит. измерение — та же, что и для скорости

сигналов (двоичных кодов) требуется, чтобы вероятность ошибки была произвольно малой, необходимо передавать со скоростями меньшими, чем

Выбор определенного кода. Хотя мы показали, что средняя вероятность ошибки в классе всех возможных кодов (совокупностей сигналов) вида экспоненциально убывает с ростом для не слишком больших скоростей передачи, до сих пор мы не рассматривали задачу выбора одного конкретного кода. Очевидно, что эта задача не содержит специфических трудностей, если интересоваться лишь вероятностью ошибки. Величина является средним значением совокупности положительных чисел где представляет собой вероятность ойибки для кода рассматриваемого класса. Очевидно, что в любой совокупности положительных чисел лишь доля этих чисел может превысить их среднее более чем в X раз. Поэтому по меньшей мере у 90% всех кодов ансамбля вероятность не превышает 99% кодов не превышает

При проектировании системы передачи для тех скоростей, при которых убывает экспоненциально с ростом можно выбрать настолько большим, чтобы числа и даже были достаточно малыми. Например, если таково, что достаточно выбрать чтобы гарантировать неравенство Увеличение необходимой длины кода на некоторую долю от первоначальной является вполне приемлемой платой за гарантию, что выбранный случайно код окажется хорошим. Ясно, что выбранный однажды хороший код может многократно использоваться при передаче в различных системах связи.

Обсуждение. Следующие рассуждения позволяют интуитивно понять, почему убывает экспоненциально с ростом при Вспомним,

Фиг. 5.10, Два возможных взаимных расположения сигнала. а -«типичное»; б - с малым расстоянием между сигналами.

что определяет экспоненциальную оценку для средней вероятности ошибки (в рассмотренном ансамбле кодов) при передаче одного из двух равновероятных сообщений по каналу с аддитивным белым гауссовским шумом:

У двух сигналов, выбранных независимо и случайно из вершин гиперкуба, отличаются в среднем приблизительно координат. Поэтому квадратный корень из среднего квадрата расстояния между двумя такими сигналами с ростом увеличивается пропорционально Для канала с гауссовским шумом вероятность ошибки убывает экспоненциально с возрастанием квадрата евклидова расстояния между двумя сигналами. Ясно поэтому, что будет экспоненциально убывать с ростом

При и случайном выборе сигналов ошибку вызывают два следующих фактора. Во-первых, шумы могут быть настолько велики, что ошибка произойдет, даже если евклидово расстояние между сигналами не меньше «типичного» (фиг. 5.10, а). Во-вторых, значения шумов могут быть «типичными», но выбор двух сигналов может оказаться плохим в том смысле, что расстояние между ними очень мало (фиг. 5.10, б). Величина в определяется совместным действием этих двух факторов. Когда велико, близко к единице и близко к Но как раз и является вероятностью того, что одна и та же вершина гиперкуба окажется сразу как первым, так и вторым сигналом; мы обнаруживаем, что при больших о именно второй фактор является определяющим для значения С другой стороны, при малых ошибка, вероятно, будет иметь место и при выборе «типичных» сигналов (т. е. таких, у которых отличаются приблизительно компонент). В этом случае определяется первым фактором.

Это эвристическое обсуждение можно обобщить и на случай случайно выбираемых сигналов, если установить, что появление ошибки связано с тремя различными и независимыми статистическими экспериментами выбора.

1. Выбор источником сообщений передаваемого сообщения

2. «Выбор» природой существенного шума

3. Выбор проектировщиком системы связи кода

Вероятность ошибки для составного ансамбля, описывающего совместно

эти три эксперимента выбора, равна Удобно представить себе, что эти эксперименты проводятся в перечисленном порядке, и предположить, что равно то. Допустим также, что при построении системы связи сначала выбирается передаваемый сигнал а затем остальные сигналов.

Фиг. 5.11. Появлению ошибки соответствует попадание некоторого сигнала в заштрихованную область, так как в этом случае

Ошибка происходит тогда и только тогда, когда расстояние одного или более из этих сигналов (которые выбираются независимо от друг от друга) до будет меньше расстояния между (фиг. 5.11). По определению вероятность попадания каждого из оставшихся сигналов в «запрещенную» область равна Так как к ошибке приводит попадание хотя бы одного из этих сигналов в запрещенную область, то использование аддитивной границы дает

Средняя вероятность ошибки стремится к нулю с увеличением , если при этом число сообщений возрастает медленнее, чем убывает

Сравнение со случаем передачи блоков ортогональными сигналами. Интересно сравнить поведение границы, даваемой соотношением с поведением границы, представленной соотношением для случая передачи блоков ортогональными сигналами, а именно с соотношением

где через К, как обычно, обозначено число поступивших в передатчик за время двоичных символов. Таким образом, для того чтобы верхняя граница вероятности ошибки стремилась к нулю с возрастанием длины блока К, энергия на бит информации при ортогональной передаче должна удовлетворять неравенству

Соответствующее ограничение на при двоичном кодировании получится, если записать неравенство (5.38в) в той же форме, что и (5.39а). Так как

получим

Кроме того,

так что [согласно (5.36)]

Поэтому

где

Для того чтобы верхняя оценка стремилась к нулю с возрастанием потребуем, чтобы

Фиг. 5.12. (см. скан) Нижняя граница допустимого отношения передаче двоичным кодом.

График параметра а как функции от представлен на фиг. 5.12. Минимальное значение а, достигаемое при , равно при дб величина а почти не отличается от своего минимального

значения. Поэтому экспоненциальная оценка усредненной по всем кодам рассматриваемого класса вероятности ошибки убывает по существу так же быстро, как верхняя оценка средней вероятности ошибки в случае передачи блоков ортогональными сигналами, если только величина за счет. выбора достаточно больших может быть сделана достаточно малой. Это подтверждает наше более раннее наблюдение, состоявшее в том, что при этих условиях именно шумы в основном определяют величину

В гл. 4 мы подчеркивали, что симплексные сигналы оптимальны при передаче по каналу с аддитивным белым гауссовским шумом и что, если число сигналов велико, ортогональные сигналы почти эквивалентны симплексным. При условии, что шумы, допустимое число измерений в 1 сек и энергия посылаемого сигнала таковы, что

или

экспоненциальная верхняя оценка по существу убывает так же, как и экспоненциальная верхняя оценка в случае передачи блоков ортогональными сигналами. Отсюда мы приходим к выводу, что класс (двоично закодированных) сигналов, располагающихся в вершинах гиперкуба, можно считать при этом условии «экспоненциально оптимальным».