Основные понятия и определения информатики. Формула шеннона в информационных потоках

07.02.2019

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

хорошую работу на сайт">

Михай Дину приходит к выводу, что «механизмы взаимопонимания хорошо работают, когда мы их не воспринимаем». Аксиома 3: Коммуникация - это непрерывный процесс, который нельзя рассматривать с точки зрения причинно-следственных связей или стимулов. Пример, данный Вацлавиком, является убедительным: патрон просканирует своих сотрудников, утверждая, что они совершают ошибки, в то время как они жалуются, что они ошибаются, потому что они слишком настойчиво контролируются. Поэтому мы видим, что мы не можем интерпретировать цепочку связи как сегментируемый сегмент в четко определенных актах, произвольно интерпретируемых как причины или последствия, конфликт, основанный на том факте, что некоторые считают причинами для других эффективными.

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru

1. Теория информации

Теория информации (или математическая теория связи) -- раздел кибернетики, исследующий процессы хранения, преобразования и передачи информации; как и любая математическая теория, оперирует с математическими моделями, а не с реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.

Аксиома 4: Общайтесь в одежде либо с цифровой, либо с аналоговой формой. Вопрос о том, является ли статуя конным или пешеходным, может иметь только два логических ответа, промежуточная реплика «так и так» абсурдно. Вместо этого вопрос о красоте погоды или свежести хлеба может не только получить два логических ответа, столкнувшись с нами с бесконечностью возможностей. Интонация, с которой мы произносим слова, также может быть переменной, и поэтому мы заключаем, что лингвистический способ коммуникации является цифровым, а паралингвальное общение аналогично коммуникациям с жестами.

Клода Шеннона (1916--2001) называют «отцом теории информации».

В основе теории информации лежит определенный способ измерения количества информации. Возникшая из задач теории связи, теория информации иногда рассматривается как математическая теория систем передачи информации. Опираясь на основополагающую работу К.Шеннона (1948), теория информации устанавливает основные границы возможностей систем передачи информации, задает исходные принципы их разработки и практического воплощения.

Аксиома 5: Связь необратима. Любое сообщение дает один раз определенный эффект на приемник. Эффект может быть чрезвычайно переменным: немедленным или замедленным, ощутимым или нет для внешнего, эфемерного или долгосрочного наблюдателя. Если вы извинитесь или «отозжете свои слова» после того, как вы измотали собеседника, последствия наших слов произошли.

Возвращение к отправленным сообщениям не может уничтожить их эффекты. Вот почему мы должны контролировать наши проявления общения. Аксиома 6: Коммуникация включает отношения силы и включает в себя симметричные или взаимодополняющие транзакции. Равенство участников общения должно существовать для эффективной коммуникации. Показав превосходство, не давая права на тиражирование, коммуникационный снобизм, все это истощает коммуникационный процесс и уменьшает его социальную и человеческую ценность. Существует два основных типа взаимодействия.

Основные свойства информации можно описать с помощью математической модели, отражающей многие характерные особенности информационной меры, как она обычно понимается на интуитивном уровне. Источник информации и канал связи, по которому передается информация, можно моделировать, используя вероятностные представления. Энтропия источника информации равна логарифму (эффективного) числа сообщений, которые он порождает. Это - мера сложности описания источника (или, как иногда говорят, мера неопределенности сообщения). Такое понимание энтропии тесно связано с понятием энтропии, используемым в термодинамике.

Во-первых, роль участников остается неизменной во время общения, эти фиксированные отношения устраняют с самого начала возможность достижения равенства в общении. Личные взаимодействия подразумевают не исчезновение ролей, а их оживление, участники общения становятся доминирующими. Михай Дину показывают, что симметричные действия связи, в которых ответы различных типов стимулов: голос прокричал голоса вопил ответ, отвечать на них ревностно зависть, презрение с презрением, молчание с молчанием и т.д. если раздражители и ответы противоположны, общение снова страдает: если участник говорит с вдохновением, а другой - апатичен.

Физически передачу информации можно представить как индуцирование в приемном устройстве требуемого физического состояния. Отправитель намерен передать сообщение получателю. Суть передачи заключается в воспроизведении на выходе канала связи переданного сообщения. В момент передачи отправитель выбирает нужное сообщение из списка всех возможных сообщений. Получатель заранее не знает, какое из них будет выбрано. (Если бы он был об этом заранее информирован, то никакой необходимости посылать сообщение не было бы.) Канал связи вносит в процесс передачи информации случайный шум, который искажает сообщение и тем самым затрудняет его прочтение. В начале процесса связи получатель находится в полной неопределенности относительно того, какое сообщение выбрано из списка возможных. К концу связи получателю становится это известно, т.е. становится известно точное описание выбранного сообщения.

На связь может оказывать положительное влияние, когда раздражители реагируют спокойно и терпеливо. Аксиома 7: Коммуникация включает в себя настройку и размещение процессов. История человеческой цивилизации - это сама история информации. Прогресс, достигнутый человечеством, органически зависит от объема имеющейся информации и от скорости использования и использования транспортных средств.

Общество, человеческая цивилизация, не может существовать без информации и общения. Общество отношений - информация неразрывна. Обмен информацией является существенной категорией в существовании общества, реальности, которая определяет общество прежде всего в отношении всех компонентов его развития. То, что отличается от одного этапа к другому, - это содержание и интенсивность передачи информации, модальности и формы посредничества на маршруте, иногда прямо, иногда извилистые и длинные, между передатчиком и приемником.

Способность канала связи передавать информацию характеризуется некоторым числом - пропускной способностью (емкостью), равной логарифму эффективного числа сообщений, различимых на его выходе. Процесс передачи информации можно считать надежным, если скорость передачи сообщений меньше пропускной способности канала. В противном случае надежная передача информации оказывается невозможной. Основной результат теории информации состоит в утверждении: если энтропия источника меньше пропускной способности канала, то на его выходе исходное сообщение может быть воспроизведено со сколь угодно малой ошибкой; если же энтропия источника превышает его пропускную способность, то ошибку сделать малой невозможно.

Поскольку информация диверсифицирована, а сообщения стали более сложными, более широко определяемыми, а также более многочисленными, в процессе передачи произошли специализации, появились новые формы организации и запоминания, были реализованы методы пик времени.

Электронный компьютер необходим «как продление человеческого мозга», а информатика, рассматриваемая как наука об обработке информации, становится вездесущей. Сегодня человечество оказывается на фазе информационного общества в результате второй промышленной революции, где важную роль играют информационные и электронные компьютеры. Если первая промышленная революция означала передачу умения человека автомобилю, вторая промышленная революция предполагает передачу человеческого интеллекта машине.

Трудность передачи сообщения не зависит от его содержания; передавать бессмысленные сообщения не менее трудно, чем осмысленные. Например, число 23 в одном контексте может быть ценой одного барреля нефти, а в другом - номером победителя заезда на скачках. Смысл сообщения зависит от контекста и семантики, а трудность его передачи определяется только перечнем возможных сообщений (и их вероятностей).

Электронные компьютеры не сверхчеловеческие, они совершают ошибки - иногда опасны, у них нет ничего волшебного, и они, конечно же, не являются духами или душами из окружающей среды, но с этими резервами они остаются одним из самых удивительных и тревожных достижений человека, потому что они усиливают нас интеллектуального потенциала, и мы не знаем, где наши собственные умы в конечном итоге приведут нас.

Основными преимуществами электронного компьютера являются его скорость, а также возможность быстро адаптироваться к любой области использования, выполняя соответствующую программу, тем самым устраняя повторяющуюся работу. Компьютеры обеспечивают пользователям не только исключительную скорость работы, но и большую емкость памяти, которая может использоваться для хранения различных программ и позволяет им быстро получить к ним доступ.

Любую систему передачи информации можно считать состоящей из: источника сообщений, передатчика, канала связи и приемного устройства, а также адресата. Например, при разговоре по телефону источником является говорящий, сообщением - его речь. Каналом связи служат провода, передающие электрический сигнал от говорящего к слушателю - получателю сообщения. Канал связи - это среда для передачи сигнала от передатчика к приёмнику. При прохождении сигнала по каналу на него могут воздействовать помехи, вносящие искажения в значения информационных параметров сигнала.

Начиная с первых типов компьютеров до сегодняшнего дня, все компьютеры основаны на выполнении нескольких основных задач. Обработка информации. Хранение информации. Передача и передача информации. Компьютер может работать только с информацией, предоставленной пользователем, поэтому они вводятся в компьютерную систему, и после выполнения перечисленных выше задач пользователь, наконец, получает различные результаты в виде новой информации посредством отображаемых текстов и изображений на экране или распечатываться на бумаге, звучит на динамиках или записывается на магнитные носители и т.д.

Между отправителем сообщения и каналом связи могут находиться устройства, преобразующие сообщение в форму, удобную для передачи по каналу связи. Декодирующее устройство, установленное на другом конце канала, восстанавливает принятое сообщение.

Изучение систем передачи информации начинается с источника сообщений. По каналу связи может передаваться самая различная информация: текст, живая речь, музыка или изображения. Для каждого источника можно указать перечень сообщений, которые он может генерировать. Например, источник телеграфных или телексных сообщений передает только буквы и не содержит, скажем, нотных знаков. Если по каналу связи передается живая речь, то сигнал лишается полезного содержания при частоте выше 20 000 Гц, верхнего предела, воспринимаемого человеческим слухом. Этими фактами можно воспользоваться при проектировании входа канала связи.

Обработка информации включает в себя множество математических вычислений, выполняемых компьютером, но также и другие операции. Информацию, с которой компьютер может работать постоянно, можно разделить на 3 категории: данные, программы, параметры конфигурации.

Данные - это информация, которая обрабатывается. Например, компьютер может отображать, в какой день недели падает определенная календарная дата. Для этого он должен получить календарную дату, и после обработки он отобразит день недели, соответствующий этой дате. Введенная дата календаря и отображаемый рабочий день - это данные, которые компьютер работал в этом процессе. Кроме того, из категории данных содержатся документы, содержащие тексты, изображения и даже звуки, с которыми работает компьютер, и чья обработка и обработка чаще всего являются целью использования компьютера в служебной деятельности.

Для оценки кол-ва информации в сообщении в теории информации, используется логарифмическая мера, введённая Р. Хартли, вероятностная интерпретация которой была дана в работах Шеннона. Если вероятность появления сообщения x есть p(x), причем 0 <р (х)<1, то количество информации - I(x), содержащееся в сообщении, определяется формулой:

Размещено на http://www.allbest.ru

Программы - это специальная категория информации, которая содержит алгоритмы, согласно которым компьютер будет обрабатывать данные. Компьютер представляет собой простую электронную машину, но в зависимости от программ, которые он использует, он может обрабатывать полученные данные различными способами. Например, для предыдущего примера программа, способная точно вычислить, в какой день недели выпадает определенная календарная дата, с учетом всех данных календаря, в соответствии с устоявшимся математическим алгоритмом.

Программы состоят из инструкций, которые выполняются по одному за раз, пока окончательный результат не будет получен из входных данных. Для компьютера эти инструкции закодированы в так называемом механическом коде, языке программирования, который очень редко используется специалистами. Скорость, с которой выполняются инструкции, настолько велика, что когда мы нажимаем клавишу, на экране мгновенно появляется буква, мы даже не понимаем, что эта простая операция означает, что компьютер выполняет сотни или тысячи инструкций в автомобиль-код между моментом нажатия клавиши и отображением буквы.

Размещено на http://www.allbest.ru

2. Формулы Хартли и Шеннона

1928 год американский инженер Ральф Хартли рассматривает процесс получения информации как выбор одного сообщения из конечного заданного множества N равновероятных событий.

Формула Хартли:

K=log2 N,

где К - количество информации, N -число равновероятных событий.

Формула Хартли может быть записана и так: N=2k

Параметры конфигурации - это информация, которая определяет конкретный режим работы для каждого физического компонента компьютера или для программ, которые он использует. По этим параметрам, которые сохраняются на компьютере до их изменения или удаления, компьютер может быть запрограммирован, например, для принятия или игнорирования конкретного физического устройства.

Компьютер может хранить информацию в нескольких разных формах, чтобы он мог обрабатывать не только информацию, введенную во время обработки, но также информацию, хранящуюся в ее памяти. Таким образом, компьютер часто используется для размещения баз данных или архивов различной информации и документов в цифровом формате или - для использования популярного термина - электронного. Память компьютера разделена на два основных типа: временная память и постоянная память.

Так как наступление каждого из N событий имеет одинаковую вероятность P, то:

где P- вероятность наступления события.

Тогда, формулу можно записать иначе:

1948 год американский ученый Клод Шеннон предложил другую формулу определения количества информации, учитывая возможную неодинаковую вероятность событий в наборе.

Формула Шеннона:

Временная память - это память, которая стирается, когда компьютер выключается, и используется только во время работы в качестве рабочей области памяти для используемых программ. Функция хранения информации делает компьютер очень полезным в любой деятельности, поэтому он может заменить файловые шкафы и целые библиотеки.

Существует несколько форм передачи информации и коммуникации в компьютерной деятельности. Например, клавиатура, мышь или сканер являются типичными устройствами ввода, при которых оператор может вводить текст или управлять компьютером, в то время как мониторы, принтеры и звуковые колонки являются типичными устройствами вывода, посредством которых информация о компьютере они становятся видимыми или слышными оператором.

K = - (p1 *log2 p1+ p2 *log 2p 2 + p 3 *log 2p 3 +…+ pi * log2 pi),

где pi вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

Также эту формулу записывают:

Современная наука о свойствах информации и закономерностях информационных процессов называется теорией информации. Содержание понятия "информация" можно раскрыть на примере двух исторически первых подходов к измерению количества информации: подходов Хартли и Шеннона: первый из них основан на теории множеств и комбинаторике, а второй - на теории вероятностей.

Передача между дисками. Чтение информации из некоторого места хранения также может рассматриваться как входной сигнал в процесс обработки информации, а запись информации на диск также может рассматриваться как операция вывода в том же процессе. Поскольку можно считывать информацию с диска и записывать на другой диск, это передача информации с одного носителя на другой. Например, можно скопировать информацию с жесткого диска на дискету, затем дискета может быть перенесена на другой компьютер, где информация может быть скопирована с дискеты на жесткий диск этого компьютера.

Информация может пониматься и интерпретироваться в различных проблемах, предметных областях по-разному. Вследствие этого, имеются различные подходы к определению измерения информации и различные способы введения меры количества информации.

Количество информации - числовая величина, адекватно характеризующая актуализируемую информацию по разнообразию, сложности, структурированности (упорядоченности), определенности, выбору состояний отображаемой системы.

Если рассматривается некоторая система, которая может принимать одно из n возможных состояний, то актуальной задачей является задача оценки этого выбора, исхода. Такой оценкой может стать мера информации (события).

Мера - непрерывная действительная неотрицательная функция, определенная на множестве событий и являющаяся аддитивной.

Меры могут быть статические и динамические, в зависимости от того, какую информацию они позволяют оценивать: статическую (не актуализированную; на самом деле оцениваются сообщения без учета ресурсов и формы актуализации) или динамическую (актуализированную т.е. оцениваются также и затраты ресурсов для актуализации информации).

Существуют различные подходы к определению количества информации. Наиболее часто используются следующие объемный и вероятностный.

Объемный подход.

Используется двоичная система счисления, потому что в техническом устройстве наиболее просто реализовать два противоположных физических состояния: намагничено / не намагничено, вкл./выкл., заряжено / не заряжено и другое.

Объём информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом невозможно нецелое число битов.

Для удобства использования введены и более крупные, чем бит, единицы количества информации. Так, двоичное слово из восьми знаков содержит один байт информации, 1024 байта образуют килобайт (кбайт), 1024 килобайта - мегабайт (Мбайт), а 1024 мегабайта - гигабайт (Гбайт).

Энтропийный (вероятностный) подход.

Этот подход принят в теории информации и кодирования. Данный способ измерения исходит из следующей модели: получатель сообщения имеет определённое представление о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределённостей называется энтропией. Энтропия характеризуется некоторой математической зависимостью от совокупности вероятности наступления этих событий.

Количество информации в сообщении определяется тем, насколько уменьшилась эта мера после получения сообщения: чем больше энтропия системы, тем больше степень её неопределённости. Поступающее сообщение полностью или частично снимает эту неопределённость, следовательно, количество информации можно измерять тем, насколько понизилась энтропия системы после получения сообщения. За меру количества информации принимается та же энтропия, но с обратным знаком.

Подход Р. Хартли основан на фундаментальных теоретико-множественных, по существу комбинаторных основаниях, а также нескольких интуитивно ясных и вполне очевидных предположениях.

Если существует множество элементов и осуществляется выбор одного из них, то этим самым сообщается или генерируется определенное количество информации. Эта информация состоит в том, что если до выбора не было известно, какой элемент будет выбран, то после выбора это становится известным. Необходимо найти вид функции, связывающей количество информации, получаемой при выборе некоторого элемента из множества, с количеством элементов в этом множестве, т.е. с его мощностью.

Если множество элементов, из которых осуществляется выбор, состоит из одного единственного элемента, то ясно, что его выбор предопределен, т.е. никакой неопределенности выбора нет - нулевое количество информации.

Если множество состоит из двух элементов, то неопределенность выбора минимальна. В этом случае минимально и количество информации.

Чем больше элементов в множестве, тем больше неопределенность выбора, тем больше информации.

Таким образом, логарифмическая мера информации, предложенная Хартли, одновременно удовлетворяет условиям монотонности и аддитивности. Сам Хартли пришел к своей мере на основе эвристических соображений, подобных только что изложенным, но в настоящее время строго доказано, что логарифмическая мера для количества информации однозначно следует из этих двух постулированных им условий.

В 1948 году, исследуя проблему рациональной передачи информации через зашумлённый коммуникационный канал, Клод Шеннон предложил революционный вероятностный подход к пониманию коммуникаций и создал первую, истинно математическую, теорию энтропии. Его сенсационные идеи быстро послужили основой разработки двух основных направлений: теории информации, которая использует понятие вероятности и эргодическую теорию для изучения статистических характеристик данных и коммуникационных систем, и теории кодирования, в которой используются главным образом алгебраические и геометрические инструменты для разработки эффективных кодов.

Клод Шеннон предположил, что прирост информации равен утраченной неопределённости, и задал требования к её измерению:

1. мера должна быть непрерывной; то есть изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции;

2. в случае, когда все варианты (буквы в приведённом примере) равновероятны, увеличение количества вариантов (букв) должно всегда увеличивать значение функции;

3. должна быть возможность сделать выбор (в нашем примере букв) в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.

Поэтому функция энтропии должна удовлетворять условиям:

определена и непрерывна для всех,

где для всех и. (Нетрудно видеть, что эта функция зависит только от распределения вероятностей, но не от алфавита).

Для целых положительных, должно выполняться следующее неравенство:

Для целых положительных, где, должно выполняться равенство:

информационный пропускной энтропийный

Шеннон определил, что измерение энтропии, применяемое к источнику информации, может определить требования к минимальной пропускной способности канала, требуемой для надёжной передачи информации в виде закодированных двоичных чисел. Для вывода формулы Шеннона необходимо вычислить математическое ожидание «количества информации», содержащегося в цифре из источника информации. Мера энтропии Шеннона выражает неуверенность реализации случайной переменной. Таким образом, энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. Примером этого является избыточность языка -- имеются явные статистические закономерности в появлении букв, пар последовательных букв, троек и т.д.

Размещено на Allbest.ru

Подобные документы

Вычисление количества информации, приходящейся на один символ по формуле Шеннона. Изменения информационной энтропии в текстах экономического, естественнонаучного и литературного содержания. Максимальное количество информации на знак по формуле Хартли.

лабораторная работа , добавлен 06.12.2013

Предмет и задачи теории информации, ее функции при создании АСУ. Определение пропускной способности дискретных (цифровых) каналов при отсутствии шумов. Расчет скорости передачи информации. Вычисление значения энтропии - среднего количества информации.

контрольная работа , добавлен 18.01.2015

Бит, неопределенность, количество информации и энтропия. Формула Шеннона. Формула Хартли. Логарифмы. Количество информации, получаемой в процессе сообщения. Взаимодействие источника и приемника информации. Количество, информационная емкость ячеек памяти.

реферат , добавлен 17.07.2008

Центральное понятие кибернетики – информация. Комплексная автоматизация процессов восприятия, преобразования, передачи, обработки и отображения информации и создание автоматизированных систем управления на различных уровнях. Система передачи информации.

книга , добавлен 07.05.2009

Основы теории передачи информации. Экспериментальное изучение количественных аспектов информации. Количество информации по Хартли и К. Шеннону. Частотные характеристики текстовых сообщений. Количество информации как мера снятой неопределенности.

лабораторная работа , добавлен 15.02.2011

презентация , добавлен 19.10.2014

Основные понятия теории информации как науки. Среднее количество информации, приходящееся на 1 знак определяемое формулой Шеннона. Общая схема передачи сообщения. Пропускная способность канала. Булева алгебра и техническая реализация процесса вычисления.

презентация , добавлен 13.08.2013

Понятие и методы поиска информации, способы ее хранения и особенности процесса передачи от источника к получателю. Предназначение канала связи и кодирующего устройства. Правила обработки информации, ее использование при принятии решений и меры по защите.

презентация , добавлен 14.10.2013

Общее число неповторяющихся сообщений. Вычисление скорости передачи информации и пропускной способности каналов связи. Определение избыточности сообщений и оптимальное кодирование. Процедура построения оптимального кода по методике Шеннона-Фано.

курсовая работа , добавлен 17.04.2009

Механизм передачи информации, ее количество и критерии измерения. Единицы информации в зависимости от основания логарифма. Основные свойства и характеристики количества информации, ее энтропия. Определение энтропии, избыточности информационных сообщений.

(Claude Elwood Shannon, 30 апреля 1916 - 24 февраля 2001) - американский математик и электротехник, один из создателей математической теории информации, в значительной мере предопределил своими результатами развитие общей теории дискретных автоматов, которые являются важными составляющими кибернетики. В 1936 году закончил Мичиганский университет. После защиты диссертации (1940) в 1941 году поступил на работу в знаменитые Лаборатории Белла.

С 1956 года преподавал в МТИ.

Большую ценность представляет другая работа - Communication Theory of Secrecy Systems (1949), в которой сформулированы математические основы криптографии.

С 1956 - член Национальной академии наук США и Американской академии искусств и наук

Процесс передачи информации

Передается в виде сообщений от некоторого источника информации к ее приемнику посредством канала связи между ними. Источник посылает передаваемое сообщение, которое кодируется в передаваемый сигнал.

Этот сигнал посылается по каналу связи. В результате в приемнике появляется принимаемый сигнал, который декодируется и становится принимаемым сообщением.

Примеры

сообщение, содержащее информацию о прогнозе погоды, передается приемнику (телезрителю) от источника - специалиста-метеоролога посредством канала связи - телевизионной передающей аппаратуры и телевизора;
живое существо своими органами чувств (глаз, ухо, кожа, язык и так далее) воспринимает информацию из внешнего мира, перерабатывает ее в определенную последовательность нервных импульсов, передает импульсы по нервным волокнам, хранит в памяти в виде состояния нейронных структур мозга, воспроизводит в виде звуковых сигналов, движений и тому подобное, использует в процессе своей жизнедеятельности.

Передача информации по каналам связи часто сопровождается воздействием помех, вызывающих искажение и потерю информации.

В определенных, весьма широких условиях можно пренебречь качественными особенностями информации, выразить ее количество числом, то есть измерить информацию.

В настоящее время получили распространение подходы к определению понятия;количество информации;, основанные на том, что информацию, содержащуюся в сообщении, можно нестрого трактовать в смысле ее новизны или, иначе, уменьшения неопределенности наших знаний об объекте.

Так, американский инженер Р. Хартли в 1928 году, процесс получения информации рассматривает как выбор одного сообщения из конечного наперед заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определяет как двоичный логарифм N.

Формула Шеннона

I=- (p1 log2 p1 + p2 log2 p2 + … + pN log2 pN)

где pi - вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

Легко заметить, что если вероятности p1, …, pN равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.

Помимо двух рассмотренных подходов к определению количества информации, существуют и другие.

Важно помнить, что любые теоретические результаты применимы лишь к определенному кругу случаев, очерченному первоначальными допущениями.

В качестве единицы информации условились принять один бит (английский bit - binary, digit - двоичная цифра).

Бит в теории информации - количество информации, необходимое для различения двух равновероятных сообщений.

А в вычислительной технике битом называют наименьшую;порцию; памяти, необходимую для хранения одного из двух знаков «0» и «1», используемых для внутримашинного представления данных и команд.