3. Процедура кодирования

Кодирование в широком смысле слова, следуя [13], можно определить как представление сообщений в форме, удобной (или пригодной) для передачи по данному каналу. В соответствии с этим здесь под кодированием будем понимать процедуру взаимно однозначного отождествления сообщений с сигналами избыточного множества .

Процесс кодирования по сути дела распадается на две операции: на операцию выбора из множества некоторого подмножества , содержащего М сигналов, и операцию взаимно однозначного сопоставления сообщений отобранным сигналам. Заметим, что первая операция может быть осуществлена различными способами, а вторая — способами для каждого фиксированного подмножества . Следовательно, число возможных процедур кодирования

(1.3.1)

Подмножество сложных сигналов , выбранных из для передачи сообщений, условимся называть кодом. Аналогичный термин будем применять и к множеству -значных комбинаций, представляющих символическую запись сложных сигналов указанного подмножества. Комбинации, включенные в подмножество , примято называть кодовыми.