Как уже отмечалось, локальные сети в настоящее время практически всегда имеют выход в какую-то глобальную сеть. Как правило, для подключения к глобальной сети используются модемы.

Модем (сокращение от «модулятор-демодулятор») - это устройство, преобразующее цифровые данные от компьютера в аналоговые сигналы перед их передачей по последовательной линии и, после передачи, производящее обратное преобразование. Основная цель преобразования состоит в согласовании полосы частот, занимаемой сигналами, с полосой пропускания линии передачи. Сигналы могут занимать всю полосу пропускания линии передачи либо ее часть (при частотном разделении каналов, например, в случае организации полностью дуплексного обмена). Кроме того, модемы должны обеспечивать необходимую амплитуду и мощность сигналов для достижения большого отношения сигнал/шум и, как следствие обоих перечисленных факторов (полосы частот и отношения сигнал/шум), возможно большей скорости передачи.

Модемы наиболее часто используются для подключения отдельных компьютеров либо локальных сетей к телефонной линии и, через нее, к другим компьютерам и сетям, в том числе и к глобальной сети Internet. Возможно, однако, использование достаточно экзотичных (по крайней мере, в настоящее время) линий передачи (типа силовой линии электропитания или системы кабельного телевидения) и не менее экзотичных модемов для связи компьютеров (и не только компьютеров), подключенных к той же самой линии связи. Все эти вскользь упомянутые темы, а также принципы работы и внутреннее устройство модемов (в упрощенном виде) рассматриваются в данной главе.

Внимание к характеристикам, внутреннему устройству модемов и принципам их работы вызвано отнюдь не абстрактным соображением о пользе знаний вообще и даже не только чисто прагматическим взглядом на проблему выбора конкретного типа модема, исходя из анализа доступных (часто не полных) сведений и цен. Дело в том, что модемы, используемые для передачи уязвимых по отношению к помехам цифровых данных по отнюдь неидеальным также и в других отношениях линиям передачи, являются хорошим примером «торжества человеческой мысли», воплощенном в достаточно компактном и зачастую интеллектуальном техническом устройстве. Весьма наглядно это проявляется на примере все тех же модемов для подключения к телефонным линиям, которые, как известно, имеют весьма ограниченную полосу пропускания (стандартное значение 3100 Гц) и прочие неприятные и не всегда предсказуемые особенности (временные перерывы в связи, искажения вплоть до полной неузнаваемости формы сигналов после передачи и др.). Для модемов, работающих на аналоговых телефонных линиях, в настоящее время достигнут теоретический предел, определяемый теоремами Шеннона. Работа на пределе возможностей приводит, как всегда, к наукоемким и оригинальным в техническом отношении решениям, которые могут быть полезны широкому кругу специалистов, занимающихся собственными разработками.

Формулы Шеннона представляют собой математические записи теорем кодирования Шеннона для дискретных и непрерывных сообщений, передаваемых по каналам с ограниченной пропускной способностью на фоне шумов и помех.

Каналы связи принято делить на дискретные, непрерывные и смешанные в зависимости от типов сигналов на входе и выходе. В общей структурной схеме канала передачи (рис. 12.1) дискретными являются каналы от входа модулятора до выхода демодулятора и от входа кодера до выхода декодера. Непрерывный (аналоговый) канал - это собственно последовательная линия передачи (телефонная линия, скрученная пара проводов, коаксиальный кабель и др.). Дискретные каналы не являются независимыми рт

аналогового канала, который часто образует наиболее «узкое место» при передаче и из-за собственной ограниченной полосы пропускания и внешних шумов и помех определяет общую достижимую скорость передачи (при заданном допустимом уровне ошибок при приеме).

Рис. 12.1. Общая структурная схема канала передачи: 1 - непрерывный (аналоговый) канал; 2,3- дискретные каналы

Прежде чем рассматривать формулы Шеннона, целесообразно обратиться еще раз к рис. 12.1 и пояснить функции отдельных устройств, так как это пригодится при дальнейшем изложении.

Кодер/декодер в конкретной системе может совмещать, на первый взгляд, прямо противоположные функции.

Во-первых, кодер может быть использован для внесения избыточности в передаваемую информацию с целью обнаружения влияния шумов и помех на приемном конце (там этим занимается соответствующий декодер). Избыточность проявляется в добавлении к передаваемой полезной информации так называемых проверочных разрядов, формируемых, как правило, чисто аппаратурными средствами из информационной части сообщения. Известно много различных помехоустойчивых кодов, причем самый простой однобитовый код (бит четности/нечетности) далеко не всегда удовлетворительно работает на практике. Вместо него в локальных сетях используются контрольная сумма или, что еще лучше, циклический код (CRC - Cyclic Redundancy Check), занимающий в формате передаваемого сообщения 2 или 4 байта, независимо от длины в байтах информационной части сообщения.

Во-вторых, при больших объемах передаваемой информации целесообразно ее сжать до передачи, если есть такая возможность. В этом случае говорят уже о статистическом кодировании. Здесь уместна аналогия с обычными программами архивации файлов (типа arj, rar, pkzip и др.), которые широко используются при организации обмена в сети Internet. Волее того, если проблема с большими объемами информации и после такого обратимого сжатия до конца не решается, можно рассмотреть возможность необратимого сжатия информации с частичной ее потерей («огрублением»). Конечно, здесь не может быть и речи об отбрасывании части чисто цифровых данных, но по отношению к изображениям иногда можно пойти на снижение разрешения (числа пикселей) без искажения общего вида «картинки». Здесь можно упомянуть алгоритмы сжатия JPEG для изображений и MPEG для видео- и аудиопотоков, допускающие значительные степени компресии без уменьшения разрешения и с минимальными потерями.

Понятно, что оба типа кодирования (помехоустойчивое избыточное кодирование и статистическое кодирование) служат, в конечном счете, решению одной задачи - повышению качества передачи как в смысле отсутствия или минимального допустимого уровня ошибок в принятом сообщении, так и в смысле максимального использования пропускной способности канала передачи. Поэтому в высокоскоростных модемах нередко реализуются оба типа кодирования. Что касается функций модулятора/демодулятора на рис. 12.1, то они, как уже было сказано, включают согласование полосы частот, занимаемой сигналами, с полосой пропускания линии передачи. Кроме того, выходные каскады передатчиков (после модуляторов) реализуют усиление сигналов по мощности и амплитуде, что является наиболее очевидным средством увеличения отношения сигнал/шум. Действительно, ничто (кроме, пожалуй, техники безопасности...) не заставляет разработчиков придерживаться в аналоговом канале столь жестких ограничений сигналов по амплитуде, как в дискретных (цифровых) каналах (от 0 до + 5В при использовании аппаратуры в стандарте ТТЛ). Например, для распространенного стандарта последовательного порта компьютера RS-232C предусмотрена «вилка» амплитуд от -(3...12)В до +(3...12)В. Конечно, в обоих случаях речь идет об амплитудах вблизи передатчика, в то время как вблизи приемника амплитуда сигналов может быть существенно ослаблена.

Формула Шеннона для непрерывного (аналогового) канала связи достаточна проста:

где VMaKc - максимальная скорость передачи (бит/сек), Af - полоса пропускания линии передачи и, одновременно, полоса частот, занимаемая сигналами (если не используется частотное разделение каналов), S/N - отношение сигнал/шум по мощности. График этой зависимости приведен на рис. 12.2 (формуле Шеннона соответствует кривая под названием «теоретический предел»).

Под шумом понимается любой нежелательный сигнал, в том числе внешние помехи или сигнал, вернувшийся к передающему устройству - может быть, и модему - в результате отражения от противоположного конца линии. Сами по себе сосредоточенные помехи не столь существенно ограничивают пропускную способность аналогового канала, как непредсказуемый в каждый момент времени белый гауссовский шум. «Умные» высокоскоростные модемы умеют, как будет отмечено в дальнейшем, определять уровень и задержку «своих» отраженных сигналов и компенсировать их влияние.

Рис. 12.2. Зависимость максимальной скорости передачи VU3KCдля аналоговой линии от отношения сигнал-шум по мощности S/N

Формула Шеннона для многопозиционного дискретного канала, построенного на базе предыдущего непрерывного канала, в отсутствие ошибок при приеме, имеет следующий вид:

Здесь п - общее число вариантов дискретного (цифрового) сигнала (алфавит). Если за время одной посылки (длительность элементарного аналогового сигнала типа отрезка синусоиды) передается информация о k двоичных разрядах, то n = 2k. Практически расширение алфавита для дискретных сигналов приводит к появлению все менее различимых элементарных посылок, так что величина п ограничивается сверху все тем же отношением сигнал/шум S/N в аналоговом канале.

При учете ошибок при приеме формула Шеннона для многопозиционного дискретного канала, построенного на базе непрерывного канала, имеет следующий вид:

Здесь рош - отношение числа бит, принятых с ошибками, к общему числу переданных бит за время наблюдения, теоретически стремящееся к бесконечности, а практически достаточное для набора статистики.

Согласно стандарта МККТТ (CCITT, новое название той же организации -ITU-T), для телефонных сообщений должно выполняться условие рош. < 3 10~5, а для цифровых данных рош. < 10~6 (в отдельных случаях для критичных данных этот порог уменьшают до 10~9). При выполнении требований стандартов влиянием ошибок при приеме на максимально-допустимую скорость передачи можно полностью пренебречь и от соотношения (3) перейти к более простому соотношению (2). В частном случае бинарного канала (k = 1, n = 2) при Рош= 1/2 из соотношения (3) следует, что V - 0, а при р -> 0 и при р -> 1 V -> 2 Af. Физический смысл

такой зависимости состоит в том, что при рош- 1/2 принятый сигнал не содержит полезной информации (каждый из принятых битов может оказаться ошибочным). При рош (гипотетический случай, имеющий чисто теоретический интерес) каждый бит с большой вероятностью инвертируется, и доля полезной информации снова возрастает.

Формулы Шеннона показывают, что наиболее эффективный способ увеличения максимальной скорости передачи Умакс состоит в увеличении полосы пропускания линии передачи Af (VMaKc ~ Af). Логарифмическая зависимость VMaKc от отношения сигнал/шум S/N делает этот путь повышения Умакс гораздо менее перспективным и более трудоемким. Однако на практике редко возможен свободный выбор линии передачи, который с точки зрения реализации максимальной скорости передачи однозначно сводится к использованию оптоволоконной линии связи (ВОЛС). Суровая действительность часто состоит в том, что имеется телефонная линия, по которой и нужно организовать передачу с использованием модемов.

Как уже говорилось, телефонная линия (точнее, тракт передачи, функционирующий на этой линии, с учетом фильтров) имеет фиксированную полосу пропускания Af = 3400 - 300 = 3100 Гц, поэтому приходится бороться именно за повышение отношения сигнал/шум. Да и то хороший результат сам по себе не гарантирован, так как речь идет о реализации возможностей, близких к теоретическому пределу. Практический предел отношения сигнал/ шум в аналоговой телефонной линии составляет примерно 35 дБ (более 3000 раз по мощности или более 56 раз по амплитуде), что соответствует максимальной скорости VMBKC« 34822 бит/сек (стандартное значение, реализуемое на практике, 33600 бит/сек). Популярные в настоящее время 56К-модемы реализуют заявленную скорость только в одну сторону - от провайдера (из сети) до пользователя и только при условии работы провайдера непосредственно на цифровой, несколько более широкополосной, линии передачи (чудес не бывает!).

Своё дальнейшее развитие теория информации получила в работах Клода Шеннона, американского инженера и математика (1916 – 2001). Шеннон является одним из создателей математической теории информации. Его основные труды посвящены теории релейно-контактных схем, математической теории связи, кибернетике. К. Шеннон изучал вопросы передачи информации в телеграфии, телефонии или радиовещании в виде сигналов электромагнитных колебаний. Одна из задач, которую ставил перед собой К. Шеннон, заключалась в том, чтобы определить систему кодирования, позволяющую оптимизировать скорость и достоверность передачи информации. Так как в годы войны он служил в шифровальном отделе, где занимался разработкой криптографических систем, то это позже помогло ему открыть методы кодирования с коррекцией ошибок. В своих работах 1948-1949 годов К. Шеннон определил количество информации через энтропию - величину, известную в термодинамике и статистической физике как мера разупорядоченности системы, а за единицу количества информации принял то, что впоследствии назвали битом (bit).

Для дальнейшего изложения необходимо использовать некоторые понятия теории вероятности: случайное событие, опыт, вероятность события, случайная величина. В окружающем нас мире происходят различные события, причём мы можем интуитивно, основываясь на опыте, оценивать одни из них как более возможные, чем другие. Случайным называют событие, которое может наступить или не наступить в результате некоторого испытания, опыта или эксперимента. Будем обозначать события заглавными буквами A, B, C и т.д. Количественная мера возможности наступления некоторого события A называется его вероятностью и обозначается как p(A), p – от английского probability. Чем более возможно наступление случайного события, тем больше его вероятность: если A более возможно чем B, то p(A) > p(B). Вводится понятие достоверного события – событие, которое обязательно наступит. Это событие обозначают W и полагают, что его вероятность p(W) = 1. Невозможным называют событие, которое никогда не произойдёт. Его обозначают Æ и полагают, что его вероятность p(Æ) = 0. Для вероятностей всех остальных событий A выполняется неравенство p(Æ) < p(A) < p(W), или 0 < p(A) < 1.

Для событий вводится понятие суммы и произведения. Сумма событий A+B – это событие, которое состоит в наступлении события A или В. Произведение событий A*B состоит в одновременном наступлении события A и B. События A и B несовместны , если они не могут наступить вместе в результате одного испытания. Вероятность суммы несовместных событий равна сумме их вероятностей. Если А и В несовместные события, то p(A+B) = p(A) + p(B).

События A1, A2, A3, …An образуют полную группу , если в результате опыта обязательно наступит хотя бы одно из них. Если события A1, A2, A3, …An попарно несовместны и образуют полную группу, то сумма их вероятностей p1+p2+p3+ …. pn =1. Если они при этом ещё и равновероятны, то вероятность каждого равна p = 1/n , где n – число событий. Вероятность события определяется как отношение числа благоприятных событию исходов опыта к общему числу исходов. Частота события – эмпирическое приближение его вероятности. Она вычисляется в результате проведения серии опытов как отношение числа опытов, в которых событие наступило к общему числу опытов. При большом числе опытов (испытаний) частота события стремится к его вероятности.

К. Шеннон, используя подход Р. Хартли, обратил внимание на то, что при передаче словесных сообщений частота (вероятность) использования различных букв алфавита не одинакова: некоторые буквы используются очень часто, другие - редко.

Рассмотрим алфавит A m состоящий из m символов. Обозначим через p i вероятность (частоту) появления i-ого символа в любой позиции передаваемого сообщения, состоящего из n символов. Один i – ый символ алфавита несёт количество информации равное -Log 2 (p i). Перед логарифмом стоит «минус» потому, что количество информации величина неотрицательная, а Log 2 (x) <0 при 0

На месте каждого символа в сообщении может стоять любой символ алфавита A m ; количество информации, приходящееся на один символ сообщения, равно среднему значению информации по всем символам алфавита A m:

Общее количество информации, содержащееся в сообщении из n символов равно:

(3.2)

Если все символы алфавита A m появляются с равной вероятностью, то все p i = p. Так как Sр i = 1, то p = 1/m.

Формула (3.2) в случае, когда все символы алфавита равновероятны, принимает вид

Вывод: формула Шеннона (3.2) в случае, когда все символы алфавита равновероятны, переходит в формулу Хартли (2.2).

В общем случае количество энтропии H произвольной системы X (случайной величины), которая может находиться в m различных состояниях x 1 , x 2 , … x m c вероятностями p 1 , p 2 , … p m , вычисленное по формуле Шеннона, равно

(3.3)

Напомним, что p 1 + p 2 + … +p m = 1. Если все p i одинаковы, то все состояния системы X равновероятны; в этом случае p i = 1/m, и формула (3.3) переходит в формулу Хартли (2.5): H(X) = Log 2 (m).

Замечание. Количество энтропии системы (случайной величины) Х не зависит от того, в каких конкретно состояниях x 1 , x 2 , … x m может находиться система, но зависит от числа m этих состояний и от вероятностей p 1 , p 2 , … p m , с которыми система может находиться в этих состояниях. Это означает, что две системы, у которых число состояний одинаково, а вероятности этих состояний p 1 , p 2 , … p m равны (с точностью до порядка перечисления), имеют равные энтропии.

Теорема. Максимум энтропии H(X) достигается в том случае, когда все состояния системы равновероятны. Это означает, что

(3.4)

В общем случае , энтропия H и количество получаемой в результате снятия неопределенности информации I зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P: {p 0 , p 1 , …p N -1 } , т.е. H=F(N, P) . Расчет энтропии в этом случае производится по формуле Шеннона , предложенной им в 1948 году в статье "Математическая теория связи".

В частном случае , когда все варианты равновероятны , остается зависимость только от количества рассматриваемых вариантов, т.е. H=F(N) . В этом случае формула Шеннона значительно упрощается и совпадает с формулой Хартли , которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, т.е. не 20 лет раньше.

Формула Шеннона имеет следующий вид:

Знак минус в формуле (1) не означает, что энтропия – отрицательная величина. Объясняется это тем, что p i £1 по определению, а логарифм числа меньшего единицы - величина отрицательная. По свойству логарифма , поэтому эту формулу можно записать и во втором варианте, без минуса перед знаком суммы.

интерпретируется как частное количество информации, получаемое в случае реализации i-ого варианта. Энтропия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины {I 0 , I 1, … I N -1 } .

Приведем пример расчета энтропии по формуле Шеннона. Пусть в некотором учреждении состав работников распределяется так: ¾ - женщины, ¼ - мужчины. Тогда неопределенность, например, относительно того, кого вы встретите первым, зайдя в учреждение, будет рассчитана рядом действий, показанных в таблице 1.

Таблица 1.

	p i	1/p i	I i =log 2 (1/p i), бит	p i *log 2 (1/p i), бит
Ж	3/4	4/3	log 2 (4/3)=0,42	3/4 * 0,42=0,31
М	1/4	4/1	log 2 (4)=2	1/4 * 2=0,5
å	1			H=0,81 бит

Если же априори известно, что мужчин и женщин в учреждении поровну (два равновероятных варианта), то при расчете по той же формуле мы должны получить неопределенность в 1 бит. Проверка этого предположения проведена в таблице 2.

Таблица 2.

	p i	1/p i	I i =log 2 (1/p i), бит	p i *log 2 (1/p i), бит
Ж	1/2		log 2 (2)=1	1/2 * 1=1/2
М	1/2		log 2 (2)=1	1/2 * 1=1/2
å	1			H=1 бит

Формула Шеннона (1) совпала по форме с формулой Больцмана, полученной на 70 лет ранее для измерения термодинамической энтропии идеального газа. Эта связь между количеством информации и термодинамической энтропией послужила сначала причиной горячих дискуссий, а затем – ключом к решению ряда научных проблем. В самом общем случае энтропия понимается как мера неупорядоченности, неорганизованности материальных систем .

В соответствии со вторым законом термодинамики закрытые системы, т.е. системы лишенные возможности вещественно-энергетически-информационного обмена с внешней средой, стремятся, и с течением времени неизбежно приходят к естественному устойчивому равновесному внутреннему состоянию, что соответствует состоянию с максимальной энтропией. Закрытая система стремится к однородности своих элементов и к равномерности распределения энергии связей между ними. Т.е. в отсутствии информационного процесса материя самопроизвольно забывает накопленную информацию.

Конец работы -

Эта тема принадлежит разделу:

MS Word. Строгое форматирование текстов. MS Word. Художественное оформление текстов. Информация

Введение... Раздел Организационно методический Цели и задачи дисциплины Требования к уровню подготовки студента...

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ:

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Понятие Энтропи́и впервые введено в 1865 Р. Клаузиусом в термодинамике для определения меры необратимого рассеяния энергии. Энтропия применяется в разных отраслях науки, в том числе и в теории информации как мера неопределенности какого-либо опыта, испытания, который может иметь разные исходы. Эти определения энтропии имеют глубокую внутреннюю связь. Так на основе представлений об информации можно вывести все важнейшие положения статистической физики. [БЭС. Физика. М: Большая российская энциклопедия, 1998].

Информационная двоичная энтропия для независимых (неравновероятных) случайных событий x с n возможными состояниями (от 1 до n , p - функция вероятности) рассчитывается по формуле Шеннона :

Эта величина также называется средней энтропией сообщения. Энтропия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины .
Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других.
В 1948 году, исследуя проблему рациональной передачи информации через зашумлённый коммуникационный канал, Клод Шеннон предложил революционный вероятностный подход к пониманию коммуникаций и создал первую, истинно математическую, теорию энтропии. Его сенсационные идеи быстро послужили основой разработки теории информации, которая использует понятие вероятности. Понятие энтропии, как меры случайности, введено Шенноном в его статье «A Mathematical Theory of Communication», опубликованной в двух частях в Bell System Technical Journal в 1948 году.

В случае равновероятных событий (частный случай), когда все варианты равновероятны, остается зависимость только от количества рассматриваемых вариантов и формула Шеннона значительно упрощается и совпадает с формулой Хартли, которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, как один из научных подходов к оценке сообщений:

, где I — количество передаваемой информации, p — вероятность события, N — возможное количество различных (равновероятных) сообщений.

Задание 1. На равновероятные события.
В колоде 36 карт. Какое количество информации содержится в сообщении, что из колоды взята карта с портретом «туз»; «туз пик»?

Вероятность p1 = 4/36 = 1/9, а p2 = 1/36. Используя формулу Хартли имеем:

Ответ: 3.17; 5.17 бит
Заметим (из второго результата), что для кодирования всех карт, необходимо 6 бит.
Из результатов также ясно, что чем меньше вероятность события, тем больше информации оно содержит. (Данное свойство называется монотонностью )

Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I , содержащееся в выбранном сообщении, определял как двоичный логарифм N .

Формула Хартли:

I = log2N.

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log2100 > 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.

Приведем другие примеры равновероятных сообщений :

1. при бросании монеты: «выпала решка» , «выпал орел» ;

2. на странице книги: «количество букв чётное» , «количество букв нечётное» .

Определим теперь, являются ли равновероятными сообщения «первой выйдет из дверей здания женщина» и «первым выйдет из дверей здания мужчина» . Однозначно ответить на этот вопрос нельзя . Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе .

Формула Шеннона:

I = - (p 1log2p 1 + p 2 log2p 2 +... + p N log2pN ),

где pi - вероятность того, что именно i -е сообщение выделено в наборе из N сообщений.

Легко заметить, что если вероятности p 1, ...,pN равны, то каждая из них равна 1/N , и формула Шеннона превращается в формулу Хартли.

Клод Шеннон определил информацию , как снятую неопределенность . Точнее сказать, получение информации - необходимое условие для снятия неопределенности. Неопределенность возникает в ситуации выбора. Задача, которая решается в ходе снятия неопределенности – уменьшение количества рассматриваемых вариантов (уменьшение разнообразия), и в итоге выбор одного соответствующего ситуации варианта из числа возможных. Снятие неопределенности дает возможность принимать обоснованные решения и действовать. В этом управляющая роль информации.

Представьте, что вы зашли в магазин и попросили продать вам жевательную резинку. Продавщица, у которой, скажем, 16 сортов жевательной резинки, находится в состоянии неопределенности. Она не может выполнить вашу просьбу без получения дополнительной информации. Если вы уточнили, скажем, - «Orbit», и из 16 первоначальных вариантов продавщица рассматривает теперь только 8, вы уменьшили ее неопределенность в два раза (забегая вперед, скажем, что уменьшение неопределенности вдвое соответствует получению 1 бита информации ). Если вы, не мудрствуя лукаво, просто указали пальцем на витрине, - «вот эту!», то неопределенность была снята полностью. Опять же, забегая вперед, скажем, что этим жестом в данном примере вы сообщили продавщице 4 бита информации.

Ситуация максимальной неопределенности предполагает наличие нескольких равновероятных альтернатив (вариантов), т.е. ни один из вариантов не является более предпочтительным. Причем, чем больше равновероятных вариантов наблюдается, тем больше неопределенность, тем сложнее сделать однозначный выбор и тем больше информации требуется для этого получить. Для N вариантов эта ситуация описывается следующим распределением вероятностей: {1/N ,1/N , …,1/N }.

Минимальная неопределенность равна 0 , т.е. эта ситуация полной определенности , означающая что выбор сделан, и вся необходимая информация получена. Распределение вероятностей для ситуации полной определенности выглядит так: {1, 0, …0}.

Величина, характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия , точнееинформационная энтропия .

Энтропия (H ) – мера неопределенности , выраженная в битах. Так же энтропию можно рассматривать как меру равномерности распределения случайной величины.

Рис. 3.4 Поведение энтропии для случая двух альтернатив

На рис. 3.4 показано поведение энтропии для случая двух альтернатив, при изменении соотношения их вероятностей (P , (1-P )).

Максимального значения энтропия достигает в данном случае тогда, когда обе вероятности равны между собой и равны 1/2, нулевое значение энтропии соответствует случаям (P 0=0, P 1=1) и (P 0=1, P 1=0).

Количество информации I и энтропия H характеризуют одну и ту же ситуацию, но с качественно противоположенных сторон. I – это количество информации, которое требуется для снятия неопределенности H. По определению Леона Бриллюэна информация есть отрицательная энтропия (негэнтропия ) .

Когда неопределенность снята полностью, количество полученной информации I равно изначально существовавшей неопределенности H .

При частичном снятии неопределенности, полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность. Ht + It = H (рис. 3.5).

Рис. 3.5 Связь между энтропией и количеством информации

По этой причине, формулы, которые будут представлены ниже для расчета энтропии H являются и формулами для расчета количества информации I , т.е. когда речь идет о полном снятии неопределенности , H в них может заменяться на I .

В общем случае , энтропия H и количество получаемой в результате снятия неопределенности информации I зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P: {p 0,p 1, …,pN- 1}, т.е. H=F (N ,P ). Расчет энтропии в этом случае производится по формуле Шеннона , предложенной им в 1948 году в статье «Математическая теория связи».

В частном случае , когда все варианты равновероятны , остается зависимость только от количества рассматриваемых вариантов, т.е. H=F (N ). В этом случае формула Шеннона значительно упрощается и совпадает с формулой Хартли , которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, т.е. на 20 лет раньше.

Формула Шеннона имеет следующий вид:

Знак минус в формуле (2.1) не означает, что энтропия – отрицательная величина. Объясняется это тем, чтоpi £ 1 по определению, а логарифм числа меньшего единицы - величина отрицательная. По свойству логарифма, поэтому эту формулу можно записать и во втором варианте, без минуса перед знаком суммы.

Выражение интерпретируется как частное количество информации It , получаемое в случае реализации i -ого варианта. Энтропия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины {I 0,I 1, …,I N- 1}.

Приведем пример расчета энтропии по формуле Шеннона. Пусть в некотором учреждении состав работников распределяется так: 3/4 - женщины, 1/4 - мужчины. Тогда неопределенность, например, относительно того, кого вы встретите первым, зайдя в учреждение, будет рассчитана рядом действий, показанных в табл. 3.1.

Таблица 3.1

pi	1/pi	Ii= log2(1/pi ),бит	pi* log2(1/pi ),бит
Ж	3/4	4/3	log2(4/3)=0,42	3/4 * 0,42=0,31
М	1/4	4/1	log2(4)=2	1/4 * 2=0,5
å	H= 0,81бит

Мы уже упоминали, что формула Хартли – частный случай формулы Шеннона для равновероятных альтернатив.

Подставив в формулу (2.1) вместо pi его (в равновероятном случае не зависящее от i )значение, получим:

Таким образом, формула Хартли выглядит очень просто:

Из нее явно следует, что чем больше количество альтернатив (N ), тем больше неопределенность (H ). Логарифмирование по основанию 2 приводит количество вариантов к единицам измерения информации – битам. На рис.3.6 представлена зависимость энтропии от количества равновероятных вариантов выбора.

Рис. 3.6 Зависимость энтропии от количества равновероятных вариантов выбора (равнозначных альтернатив)

Для решения обратных задач, когда известна неопределенность (H ) или полученное в результате ее снятия количество информации (I ) и нужно определить какое количество равновероятных альтернатив соответствует возникновению этой неопределенности, используют обратную формулу Хартли, которая выглядит еще проще:

Например, если известно, что в результате определения того, что интересующий нас Коля Иванов живет на втором этаже, было получено 3 бита информации, то количество этажей в доме можно определить по формуле (2.3), как N= 23= 8этажей.

Если же вопрос стоит так: «В доме 8 этажей, какое количество информации мы получили, узнав, что интересующий нас Коля Иванов живет на втором этаже?», нужно воспользоваться формулой (2.2): I = log2(8) = 3 бита.

До сих пор мы приводили формулы для расчета энтропии (неопределенности) H , указывая, что H в них можно заменять на I , потому что количество информации, получаемое при полном снятии неопределенности некоторой ситуации, количественно равно начальной энтропии этой ситуации.

Но неопределенность может быть снята только частично, поэтому количество информации I , получаемой из некоторого сообщения, вычисляется как уменьшение энтропии, произошедшее в результате получения данного сообщения .

Для равновероятного случая , используя для расчета энтропии формулу Хартли, получим:

Второе равенство выводится на основании свойств логарифма. Таким образом, в равновероятном случае I зависит от того, во сколько раз изменилось количество рассматриваемых вариантов выбора (рассматриваемое разнообразие).

Исходя из (3.5) можно вывести следующее:

Если, то - полное снятие неопределенности, количество полученной в сообщении информации равно неопределенности, которая существовала до получения сообщения.

Если, то - неопределенности не изменилась, следовательно, информации получено не было.

Если, то => ,

если, то => .

Т.е. количество полученной информации будет положительной величиной, если в результате получения сообщения количество рассматриваемых альтернатив уменьшилось, и отрицательной, если увеличилось.

Если количество рассматриваемых альтернатив в результате получения сообщения уменьшилось вдвое, т.е., то I =log2(2)=1бит. Другими словами, получение 1 бита информации исключает из рассмотрения половину равнозначных вариантов.

Рассмотрим в качестве примера опыт с колодой из 36 карт (рис.3.7).

Рис. 3.7 Иллюстрация к опыту с колодой из 36-ти карт

Пусть некто вынимает одну карту из колоды. Нас интересует, какую именно из 36 карт он вынул. Изначальная неопределенность, рассчитываемая по формуле (3.2), составляет H= log2(36)@5,17бит . Вытянувший карту сообщает нам часть информации. Используя формулу (3.5), определим, какое количество информации мы получаем из этих сообщений:

Вариант A. “Это карта красной масти”.

I =log2(36/18)=log2(2)=1бит (красных карт в колоде половина, неопределенность уменьшилась в 2 раза).

Вариант B. “Это карта пиковой масти”.

I =log2(36/9)=log2(4)=2 бита (пиковые карты составляют четверть колоды, неопределенность уменьшилась в 4 раза).

Вариант С. “Это одна из старших карт: валет, дама, король или туз”.

I =log2(36)–log2(16)=5,17-4=1,17 бита (неопределенность уменьшилась больше чем в два раза, поэтому полученное количество информации больше одного бита).

Вариант D. “Это одна карта из колоды".

I =log2(36/36)=log2(1)=0 бит (неопределенность не уменьшилась - сообщение не информативно).

Вариант E. “Это дама пик".

I =log2(36/1)=log2(36)=5,17 бит (неопределенность полностью снята).

Задача 1. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика, если в непрозрачном мешочке находится 50 белых, 25 красных, 25 синих шариков?

Решение .

1) всего шаров 50+25+25=100

2) вероятности шаров 50/100=1/2, 25/100=1/4, 25/100=1/4

3)I = -(1/2 log21/2 + 1/4 log21/4 + 1/4 log21/4) = -(1/2(0-1) +1/4(0-2) +1/4(0-2)) = =1,5 бит

Задача 2. В корзине лежит 16 шаров разного цвета. Сколько информации несет сообщение, что достали белый шар?

Решение . Т.к. N = 16 шаров, то I = log2 N = log2 16 = 4 бит.

Задача 3. В корзине лежат черные и белые шары. Среди них18 черных шаров. Сообщение о том, что достали белый шар, несет 2 бита информации. Сколько всего шаров в корзине?

1) 18 2) 24 3) 36 4)48

Решение . Найдем по формуле Шеннона вероятность получения белого шара: log2N=2, N=4, следовательно, вероятность получения белого шара равна 1/4 (25%), а вероятность получения черного шара соответственно 3/4(75%). Если 75% всех шариков черные, их количество 18, тогда 25% всех шариков белые, их количество (18*25)/75=6.

Осталось найти количество всех шариков в корзине 18+6=24.

Ответ: 24 шарика.

Задача 4. В некоторой стране автомобильный номер длиной 5 символов составляется из заглавных букв (всего используется 30 букв) и десятичных цифр в любом порядке. Каждый символ кодируется одинаковым и минимально возможным количеством бит, а каждый номер – одинаковым и минимально возможным количеством байт. Определите объем памяти, необходимый для хранения 50 автомобильных номеров.

1) 100 байт 2) 150 байт 3) 200 байт 4)250 байт

Решение . Количество символов используемых для кодирования номера составляет: 30 букв + 10 цифр = 40 символов. Количество информации несущий один символ равен 6 бит (2I=40, но количество информации не может быть дробным числом, поэтому берем ближайшую степень двойки большую количества символов 26=64).

Мы нашли количество информации, заложенное в каждом символе, количество символов в номере равно 5, следовательно, 5*6=30 бит. Каждый номер равен 30 битам информации, но по условию задачи каждый номер кодируется одинаковым и минимально возможным количеством байт, следовательно, нам необходимо узнать, сколько байт в 30 битах. Если разделить 30 на 8 получится дробное число, а нам необходимо найти целое количество байт на каждый номер, поэтому находим ближайший множитель 8-ки, который превысит количество бит, это 4 (8*4=32). Каждый номер кодируется 4 байтами.

Для хранения 50 автомобильных номеров потребуется: 4*50=200 байт.

Выбор оптимальной стратегии в игре «Угадай число». На получении максимального количества информации строится выбор оптимальной стратегии в игре «Угадай число», в которой первый участник загадывает целое число (например, 3) из заданного интервала (например, от 1 до 16), а второй - должен «угадать» задуманное число. Если рассмотреть эту игру с информационной точки зрения, то начальная неопределенность знаний для второго участника составляет 16 возможных событий (вариантов загаданных чисел).

При оптимальной стратегии интервал чисел всегда должен делиться пополам, тогда количество возможных событий (чисел) в каждом из полученных интервалов будет одинаково и отгадывание интервалов равновероятно. В этом случае на каждом шаге ответ первого игрока («Да» или «Нет») будет нести максимальное количество информации (1 бит).

Как видно из табл. 1.1, угадывание числа 3 произошло за четыре шага, на каждом из которых неопределенность знаний второго участника уменьшалась в два раза за счет получения сообщения от первого участника, содержащего 1 бит информации. Таким образом, количество информации, необходимое для отгадывания одного из 16 чисел, составило 4 бита.

Контрольные вопросы и задания

1. Априори известно, что шарик находится в одной из трех урн: А, В или С. Определите, сколько бит информации содержит сообщение о том, что он находится в урне В.

Варианты: 1бит, 1,58бита, 2бита, 2,25бита.

2. Вероятность первого события составляет 0,5, а второго и третьего 0,25. Чему для такого распределения равна информационная энтропия. Варианты: 0,5бита, 1 бит, 1,5бита, 2бита, 2,5бита, 3бита.

3. Вот список сотрудников некоторой организации:

Определите количество информации, недостающее для того, чтобы выполнить следующие просьбы:

Пожалуйста, позовите к телефону Иванову.

Меня интересует одна ваша сотрудница, она 1970 года рождения.

4. Какое из сообщений несет больше информации:

· В результате подбрасывания монеты (орел, решка) выпала решка.

· На светофоре (красный, желтый, зеленый) сейчас горит зеленый свет.

· В результате подбрасывания игральной кости (1, 2, 3, 4, 5, 6) выпало 3 очка.