«Теория информации и кодирования. Прямая теорема шеннона для источника общего вида

24.04.2019

Для эффективного использования канала (повышения коэффициента нагрузки λ→1) необходимо его согласование с источником информации на входе. Такое согласование возможно как для каналов без помех, так и с помехами, на основании теорем кодирования для канала, предложенных Шенноном.

Теорема о кодировании для канала без помех.

Если источник сообщений имеет производительность [бит/сек], а канал связи – пропускную способность [бит/сек], то можно закодировать сообщение таким образом, чтобы передавать информацию по каналу связи со средней скоростью, сколь угодно близкой к величине , но не превзойти её.

Шеннон предположил и метод такого кодирования, который получил название оптимального кодирования. В дальнейшем идея такого кодирования была развита в работах Фано и Хаффмана. В настоящее время такие коды широко используются на практике (эффективное и оптимальное кодирование).

Прямая теорема Шеннона о кодировании для канала с помехами.

При любой производительности источника сообщения [бит/сек] меньшей, чем пропускная способность [бит/сек], существует такой способ кодирования, который позволяет обеспечить передачу всей информации, создаваемой источником сообщений со сколь угодно малой вероятностью ошибки ε.

Обратная теорема кодирования для канала с помехами.

Не существует способа кодирования, позволяющего вести передачу информацию со сколь угодно малой вероятностью ошибки, если производительность источника сообщений больше пропускной способности канала.

Доказательство теоремы кодирования для канала с помехами довольно объемно математически, поэтому ограничимся общим обсуждением физических аспектов её практического применения:

1. Теорема устанавливает теоретический предел возможной эффективности системы при достоверной передаче информации. Из теоремы следует, что помехи в канале не накладывают ограничений на точность передачи. Ограничения накладываются только на скорость передачи, при которой может быть достигнута сколь угодно высокая достоверность передачи.

При этом достоверность дискретного канала обычно оценивается значением вероятности ошибочного приема одного символа. Чем меньше вероятность ошибки, тем выше достоверность канала. Достоверность в свою очередь характеризует помехоустойчивость информационной системы.

Скорость передачи информации характеризует эффективность системы.

2. Теорема не затрагивает вопрос о путях построения кодов, обеспечивающих указанную идеальную передачу. Обосновав принципиальную возможность такого кодирования, она мобилизовала усилия ученых на разработку конкретных кодов.

3. При любой конечной скорости передачи информации, вплоть до пропускной способности, сколь угодно малая вероятность ошибки достигается лишь при безграничном увеличении длительностей кодируемых последовательностей знаков. Таким образом, безошибочная передача при наличии помех возможна лишь теоретически. Обеспечение передачи информации с весьма малой вероятностью ошибки и с достаточно высокой эффективностью возможна при кодировании чрезвычайно длинных последовательностей знаков.

Прямая теорема Шеннона для источника общего вида Не следует путать с другими теоремами Шеннона .

Теоремы Шеннона для источника общего вида описывают возможности кодирования источника общего вида с помощью разделимых кодов. Другими словами, описываются максимально достижимые возможности кодирования без потерь.

Прямая теорема

В применении к побуквенному кодированию прямая теорема может быть сформулирована следующим образом:

В качестве доказательства теоремы исследуются характеристики кода Шеннона-Фано . Данный код удовлетворяет условиям теоремы, и он обладает указанными свойствами.

Обратная теорема

Обратная теорема ограничивает максимальную степень сжатия, достигаемую с помощью кодирования без потерь. В применении к побуквенному кодированию, описывает ограничение на среднюю длину кодового слова для любого разделимого кода.

Для любого разделимого кода с длинами w 1 ,w 2 ,...,w K средняя длина сообщений больше или равна энтропии источника U , нормированный на двоичный логарифм от числа букв D в алфавите кодера:

Литература

Габидулин, Э. М. , Пилипчук, Н. И. §3.4 Теоремы Шеннона для источника // Лекции по теории информации. - М .: МФТИ , 2007. - С. 49-52. - 214 с. - ISBN 5-7417-0197-3

Wikimedia Foundation . 2010 .

Смотреть что такое "Прямая теорема Шеннона для источника общего вида" в других словарях:

Не следует путать с другими теоремами Шеннона. Теоремы Шеннона для источника общего вида описывают возможности кодирования источника общего вида с помощью разделимых кодов. Другими словами, описываются максимально достижимые возможности… … Википедия

В Википедии есть статьи о других людях с такой фамилией, см. Шеннон. Клод Элвуд Шеннон Claude Elwood Shannon … Википедия

Клод Элвуд Шеннон (англ. Claude Elwood Shannon; родился 30 апреля 1916, Петоцки (Petoskey, Michigan) Мичиган, США, умер 24 февраля 2001, Медфорд, Массачусетс, США) американский математик и электротехник, один из создателей математической теории… … Википедия

- (англ. Claude Elwood Shannon; родился 30 апреля 1916, Петоцки (Petoskey, Michigan) Мичиган, США, умер 24 февраля 2001, Медфорд, Массачусетс, США) американский математик и электротехник, один из создателей математической теории информации, в… … Википедия

Достигнутая степень близости среднего числа k двоичных знаков, приходящихся на одну букву сообщения к H может быть ещё сколь угодно увеличена при помощи перехода к кодированию всё более и более длинных блоков. Это вытекает из следующего общего утверждения, которое называется основной теоремой о кодировании.

Теорема: При кодировании сообщения,разбитого наN -буквенные блоки можно,вы-брав N достаточно большим добиться того, чтобы среднее число k элементарных дво-ичных сигналов, приходящихся на одну букву исходного сообщения было сколь угодно близко к H . Замечание: Очень длинное сообщение из M букв может быть закодировано

при помощи сколь угодно близкого к числу MH (но большего) числа элементарных сиг-налов, если только предварительно разбить это сообщение на достаточно длинные блоки из N букв и сопоставлять отдельные кодовые обозначения сразу целым блокам. Методы кодирования блоков могут быть самыми различными (например, можно использовать методы Шеннона - Фано, Хаффмана)

m-ичные коды

Содержание предыдущих параграфов легко переносится и на случай m -ичных кодов, ис-пользующих m элементарных сигналов. Так, например для построения m -ичных кодов Шеннона - Фано надо лишь разбивать группы символов не на 2, а на m частей, по воз-можности близкой суммарной вероятности, а для построения m -ичного кода Хаффмана надо использовать операцию сжатия алфавита, при которой каждый раз сливаются не две, а m букв исходного алфавита, имеющих наименьшие вероятности.

Ввиду важности кодов Хаффмана остановимся на этом вопросе подробнее. Сжатие ал-фавита, при котором m букв заменяются на одну приводит к уменьшению числа букв на m − 1.Так,как для построения m -ичного кода,очевидно,требуются,чтобы последова-тельность сжатий привела нас к алфавиту из m букв (сопоставляемых m сигналам кода), то необходимо, чтобы число n букв первоначального алфавита было представимо в виде n = m + s (m − 1),где s -целое число сжатий.

Этого всегда можно добиться, добавив, если нужно, к первоначальному алфавиту ещё несколько "фиктивных букв", вероятности появления которых считаются равными 0. По-сле этого, построение m -ичного кода Хаффмана производится точно так-же, как и в случае двоичного кода.

Пример: В случае алфавита из6букв,имеющих вероятности0: 4; 0: 2; 0: 2; 0: 1; 0: 05; 0: 05.Для построения троичного кода Хаффмана надо присоединить к нашему алфавиту ещё одну фиктивную букву с нулевой вероятностью и поступать, как указано в таблице:

Номер буквы

Вероятности и кодовые обозначения

Исходный алфавит A

Сжатый алфавит A 1

Сжатый алфавит A 2

0: 4 - 0

0: 2 - 2

0: 4 - 1

0: 2 - 10

0: 2 - 2

0: 1 - 11

0: 2 - 11

0: 05 - 120

0: 05 - 121

0 - ---

Теорема:Любыеn чиселk 1 ; k 2 ; : : : ; k n ,удовлетворяющие неравенству

+ : : : +

6 1 (∗ ):

Любые из k n чисел являются длинами сообщений некоторого m -ичного

m k n

кода, сопоставляющего n буквам алфавита n последовательностей элементарных сигна-лов, принимающих m возможных значений.

Это утверждение (∗ ) впервые было доказано в 1949 году американским учёным Л.Крафтом и позднее было обобщено Б. Макмилланом, поэтому неравенство (∗ ) часто называют неравенством Крафта - Макмиллана. Используя неравенство (∗ ) можно полу-чить следующий результат:

Теорема: основная теорема о кодировании дляm -ичных кодов.При любом методе коди-рования, использующем m -мчнный код среднее число k элементарных сигналов, прихо-дящихся на одну букву сообщения никогда не может быть меньше отношения log H m , где H - энтропия одной букв сообщения. Однако, оно всегда может быть сделано сколь угодно близким к этой величине, если кодировать сразу достаточно длинные блоки из N букв.

Следствие: Если по линии связи за единицу времени можно передатьL элементарныхсигналов, принимающих m различных значений, то скорость передачи сообщений по

скоростью, сколь угодно близкой к v (но меньшей v ) является возможной. Величина C = L · log m зависит лишь от характеристик самой линии связи,в то время,как знаме-натель H характеризует передаваемое сообщение. Величина C указывает наибольшее количество единиц информации, которое можно передать по линии связи за единицу времени. Она называется пропускной способностью линии связи.

Программа курса

«Теория информации и кодирования»

Лекции читаются на 4-м курсе, VII-семестр,

51 час, лектор доцент

Понятие информации, энтропии. Системы связи. Дискретные источники. Описание источника при помощи случайного процесса. Статистическая независимость. Марковские источники. Эргодичность. Эргодичность бернуллиевского источника.

Вывод формулы энтропии (по Фадееву). Взаимная информация, и её свойства. Свойства энтропии. Теорема о максимальном значении энтропии. Энтропия в единицу времени источника сообщений.

Задача кодирования дискретного источника кодами равной длины. Скорость кодирования. Высоковероятностные множества. Прямая и обратная теоремы кодирования дискретного источника кодами равной длины.

Задача кодирования источника кодами неравной длины. Стоимость кодирования. Однозначно дешифрируемые коды. Префиксные коды. Побуквенное кодирование. Необходимое и достаточное условие однозначной дешифрируемости кода. Полные коды. Теорема кодирования дискретного источника кодами неравной длины. Алгоритмы построения оптимальных кодов (Фано, Шеннона, Хаффмена). Построение бинарного оптимального кода при равновероятностном распределении входных вероятностей. Приложение результатов теории информации при доказательстве нижних и верхних оценок сложности реализации булевых функций в некоторых классах управляющих систем. Метод построения оптимального кода при условии, что неизвестно распределение вероятностей букв источника. Теорема Маркова об однозначной дешифрируемости кода. Адаптивные алгоритмы сжатия информации.

Дискретный канал без памяти. Двоичный симметричный канал. Скорость передачи информации в канале. Пропускная способность канала. Расширенный канал и его пропускная способность. Решающие схемы и группировки наблюдений. Вероятность ошибочной передачи информации. Неравенство Файнстейна. Прямая теорема кодирования канала без памяти. Неравенство Фано. Теорема обработки информации . Обращение теоремы кодирования.

Теория помехоустойчивого кодирования. Критерий максимального правдоподобия. Кодовое расстояние. Коды с проверкой на четность. Порождающая и проверочные матрицы. Синдром. Алгоритм декодирования для кодов с проверкой на четность. Линейные коды и алгоритм их декодирования. Граница Хэмминга. Код Хэмминга. Циклические коды. Кодирования и декодирование циклических кодов.

ЛИТЕРАТУРА

1. Галлагер Р. Теория информации и надежная связь., М., Сов. Радио, 1979.

2. Кричевский Е. Лекции по теории и информации, Новосибирск, НГУ, 1966.

3. Колесник В., Полтырев Г. Курс теории информации, Наука, 1982.

4. Файнстейн А. Основы теории информации, М., ИЛ, 1960.

5. Питерсон В., Уэлдон Ф. Коды, исправляющие ошибки, М., Мир, 1976.

6. Бэрлекамп Алгебраическая теория кодирования, М., Мир, 1971.

Информационная емкость дискретного (4.4) и пропускная способность непрерывного (4.7) каналов характеризует их предельные возможности как средств передачи информации. Они раскрываются в фундаментальных теоремах теории информации, которые известны как основные теоремы кодирования Шеннона. Применительно к дискретному каналу она гласит:

Теорема 4.4.1. (Прямая теорема кодирования для ДКБП.) Для дискретного канала без памяти при скоростях кода R , меньших информационной емкости , всегда существует код, для которого средняя вероятность ошибки стремится к нулю с ростом длины кодового слова.

В случае же непрерывного канала она формулируется как

Теорема 4.4.2. (Прямая теорема кодирования для АБГШ-канала). По АБГШ–каналу с неограниченной полосой информация может передаваться со сколь угодно малой вероятностью ошибки, если скорость передачи меньше пропускной способности.

Обратная же теорема утверждает:

Теорема 4.4.3. При скорости передачи
, большей пропускной способности канала связиC , никакой код не обеспечит произвольно малой вероятности ошибки декодирования, т.е. абсолютно надежной передачи сообщений.

Следует отметить, что если обратная теорема доказывается для произвольной модели канала связи, то прямая только лишь для конкретных типов каналов.

Результаты теорем кодирования для канала с шумами в определенной степени неожиданны. В самом деле, на первый взгляд кажется, что уменьшение вероятности ошибок в передаче сообщений требует соответствующего уменьшения скорости передачи и что последняя должна стремиться к нулю вместе с вероятностью ошибок. Такой вывод, в частности, вытекает из рассмотрения многократной повторной передачи символов по каналу как способа уменьшения вероятности ошибок в передаче сообщений. В этом случае при наличии помех в канале связи обеспечить стремление к нулю вероятности ошибки в передаче сообщения можно только при стремлении скорости передачи к нулю.

Однако теорема кодирования показывает, что в принципе можно вести передачу со скоростью, сколь угодно близкой к C , достигая при этом сколь угодно малой вероятности ошибки. К сожалению, теоремы, указывая на принципиальное существование помехоустойчивого кода, не дают рецепта его нахождения. Можно лишь отметить, что для этого необходимо применять коды большой длины. При этом по мере приближения скорости передачи к пропускной способности и уменьшения вероятности ошибок код усложняется вследствие увеличения длины блоков, что приводит к резкому усложнению кодирующего и декодирующего устройств, а также запаздыванию выдачи информации при декодировании. Применяемые в настоящее время способы кодирования, которые будут рассмотрены в дальнейшем, не реализуют потенциальных возможностей системы связи. Единственным исключением служат открытые в последнее время турбо-коды.

1Этот результат справедлив для любых симметричных каналов.