Как измерить информацию? Часто мы говорим, что, прочитав статью в журнале или просмотрев новости, не получили никакой информации, или наоборот, краткое сообщение может оказаться для нас информативным. В то же время для другого человека та же самая статья может оказаться чрезвычайно иноформативной, а сообщение - нет. Информативными сообщения являются тогда, когда они новы, понятны, своевременны, полезны. Но то, что для одного понятно, для другого - нет. То, что для одного полезно, ново, для другого - нет. В этом проблема определения и измерения информации.

При всем многообразии подходов к определению понятия информации, с позиции измерения информации нас будут интересовать два из них: определение К. Шеннона, применяемое в математической теории информации (содержательный подход) , и определение А. Н. Колмогорова, применяемое в отраслях информатики, связанных с использованием компьютеров (алфавитный подход) .

Согласно Шеннону, информативность сообщения характеризуется содержащейся в нем полезной информацией - той частью сообщения, которая снимает полностью или уменьшает неопределенность какой-либо ситуации.

По Шеннону, информация - уменьшение неопределенности наших знаний.

Неопределенность некоторого события - это количество возможных исходов данного события.
Так, например, если из колоды карт наугад выбирают карту, то неопределенность равна количеству карт в колоде. При бросании монеты неопределенность равна 2.

Но если число исходов не зависит от суждений людей (случай бросания кубика или монеты), то информация о наступлении одного из возможных исходов является объективной.

Если сообщение уменьшило неопределеность знаний ровно в два раза, то говорят, что сообщение несет 1 бит информации.

1 бит - объем информации такого сообщения, которое уменьшает неопределенность знания в два раза.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных (равновозможных) событий. Тогда количество информации i, заключенное в этом сообщении, и число событий N связаны формулой: 2 i = N. Эта формула носит название формулы Хартли. Получена она в 1928 г. американским инженером Р. Хартли.

Если N равно целой степени двойки (2, 4, 8, 16 и т.д.), то вычисления легко произвести "в уме". В противном случае количество информации становится нецелой величиной, и для решения задачи придется воспользоваться таблицей логарифмов либо определять значение логарифма приблизительно (ближайшее целое число, большее).

Например, если из 256 одинаковых, но разноцветных шаров наугад выбрали один, то сообщение о том, что выбрали красный шар несет 8 бит информации (2 8 =256).
Для угадывания числа (наверняка) в диапазоне от 0 до 100, если разрешается задавать только двоичные вопросы (с ответом "да" или "нет"), нужно задать 7 вопросов, так как объем информации о загаданном числе больше 6 и меньше 7 (2 6 2 7)

Алфавитный подход

Алфавитный подход основан на том, что всякое сообщение можно закодировать с помощью конечной последовательности символов некоторого алфавита.

Алфавит - упорядоченный набор символов, используемый для кодирования сообщений на некотором языке.

Мощность алфавита - количество символов алфавита.
Двоичный алфавит содержит 2 символа, его мощность равна двум.
Сообщения, записанные с помощью символов ASCII, используют алфавит из 256 символов. Сообщения, записанные по системе UNICODE, используют алфавит из 65 536 символов.

С позиций computer science носителями информации являются любые последовательности символов, которые хранятся, передаются и обрабатываются с помощью компьютера. Согласно Колмогорову, информативность последовательности символов не зависит от содержания сообщения, алфавитный подход является объективным, т.е. он не зависит от субъекта, воспринимающего сообщение. Чтобы определить объем информации в сообщении при алфавитном подходе, нужно последовательно решить задачи:

1. 
   Определить количество информации (i) в одном символо по формуле 2 i = N, где N - мощность алфавита
2. 
   Определить количество символов в сообщении (m)
3. 
   Вычислить объем инофрмации по формуле: V = i * m.

Например, если текстовое сообщение, закодированное по системе ASCII, содержит 100 символов, то его информационный объем составляет 800 бит.
Для двоичного сообщения той же длины информационный объем составляет 100 бит. В компьютерной технике бит соответствует физическому состоянию носителя информации: намагничено - не намагничено, есть отверстие - нет отверстия. При этом одно состояние принято обозначать цифрой 0, а другое - цифрой 1.

Единицы измерения информации

Как уже было сказано, основная единица измерения информации - бит. 8 бит составляют 1 байт .
Наряду с байтами для измерения количества информации используются более крупные единицы:
1 Кбайт (один килобайт) = 210 байт = 1024 байта;
1 Мбайт (один мегабайт) = 210 Кбайт = 1024 Кбайта;
1 Гбайт (один гигабайт) = 210 Мбайт = 1024 Мбайта.
В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:
1 Терабайт (Тб) = 1024 Гбайта = 240 байта,
1 Петабайт (Пб) = 1024 Тбайта = 250 байта.

Вопросы для самоконтроля

1. 
   Какие подходы к измерению информации вам известны?
2. 
   Какова основная единица измерения информации?
3. 
   Сколько байт содержит 1 Кб информации?
4. 
   Приведите формулу подсчета количества информации при уменьшении неопределенности знания.
5. 
   Как подсчитать количество информации, передаваемое в символьном сообщении?

В информатике используются различные подходы к измерению информации:

Содержательный подход к измерению информации . Сообщение – информативный поток, который в процессе передачи информации поступает к приемнику. Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными Информация - знания человека? сообщение должно быть информативно. Если сообщение не информативно, то количество информации с точки зрения человека = 0. (Пример: вузовский учебник по высшей математике содержит знания, но они не доступны 1-класснику)

Алфавитный подход к измерению информации не связывает кол-во информации с содержанием сообщения. Алфавитный подход - объективный подход к измерению информации. Он удобен при использовании технических средств работы с информацией, т.к. не зависит от содержания сообщения. Кол-во информации зависит от объема текста и мощности алфавита. Ограничений на max мощность алфавита нет, но есть достаточный алфавит мощностью 256 символов. Этот алфавит используется для представления текстов в компьютере. Поскольку 256=2 8 , то 1символ несет в тексте 8 бит информации.

Вероятностный подход к измерения информации . Все события происходят с различной вероятностью, но зависимость между вероятностью событий и количеством информации, полученной при совершении того или иного события можно выразить формулой которую в 1948 году предложил Шеннон.

Количество информации - это мера уменьшения неопределенности.

1 БИТ – такое кол-во информации, которое содержит сообщение, уменьшающее неопределенность знаний в два раза. БИТ- это аименьшая единица измерения информации

Единицы измерения информации : 1байт = 8 бит

1Кб (килобайт) = 2 10 байт = 1024 байт

1Мб (мегабайт) = 2 10 Кб = 1024 Кб

1Гб (гигабайт) = 2 10 Мб = 1024 Мб

Измерение информации

В информатике, как правило, измерению подвергается информация, представленная дискретным сигналом. При этом различают следующие подходы:

1. 
   структурный. Измеряет количество информации простым подсчетом информационных элементов, составляющих сообщение. Применяется для оценки возможностей запоминающих устройств, объемов передаваемых сообщений, инструментов кодирования без учета статистических характеристик их эксплуатации.

1. 
   статистический. Учитывает вероятность появления сообщений: более информативным считается то сообщение, которое менее вероятно, т.е. менее всего ожидалось. Применяется при оценке значимости получаемой информации.

1. 
   семантический. Учитывает целесообразность и полезность информации. Применяется при оценке эффективности получаемой информации и ее соответствия реальности.

Структурный подход к измерению информации

В рамках структурного подхода выделяют три меры информации:

• 
  геометрическая. Определяет максимально возможное количество информации в заданных объемах. Мера может быть использована для определения информационной емкости памяти компьютера;
• 
  комбинаторная. Оценивает возможность представления информации при помощи различных комбинаций информационных элементов в заданном объеме. Комбинаторная мера может использоваться для оценки информационных возможностей некоторого системы кодирования;
• 
  аддитивная, или мера Хартли.
• 
  Геометрическая мера
• 
  Определяет максимально возможное количество информации в заданных объемах. Единица измерения – информационный элемент. Мера может быть использована для определения информационной емкости памяти компьютера. В этом случае в качестве информационного элемента выступает минимальная единица хранения – бит. Список самых распространенных более крупных единиц и соотношение между ними приведено ниже:
• 
  8 бит = 1 байт (сокращенно б или Б),
• 
  1024 Б = 1 килобайт (сокращенно Кб или К),
• 
  1024 К = 1 мегабайт (сокращенно Мб или М),
• 
  1024 М = 1 гигабайт (сокращенно Гб или Г).
• 
  Тогда, например, объем винчестера – 3 гигабайта; объем основной памяти компьютера – 32 мегабайта и т.д.
• 
  Пример 1. Пусть сообщение
• 
  5555 6666 888888
• 
  закодировано одним из специальных методов эффективного кодирования – кодирование повторений – и имеет вид:
• 
  5(4) 6(4) 8(6) .
• 
  Требуется измерить информацию в исходном и закодированном сообщениях геометрической мерой и оценить эффективность кодирования.
• 
  В качестве информационного элемента зададимся символом сообщения. Тогда:
• 
  I(исх.) = l(исх.) = 14 символов;
• 
  I(закод.) = l(закод.) = 12 символов,
• 
  где I(исх.), I(закод.) – количества информации, соответственно, в исходном и закодированном сообщениях;
• 
  l(исх.), l(закод.) – длины (объемы) тех же сообщений, соответственно.
• 
  Эффект кодирования определяется как разница между I(исх.) и I(закод.) и составляет 2 символа.
• 
  Очевидно, геометрическая мера не учитывает, какими символами заполнено сообщение. Так, одинаковыми по количеству информации, измеренной геометрической мерой, являются, например, сообщения «компьютер» и «программа»; а также 346 и 10В.

Комбинаторная мера

Оценивает возможность представления информации при помощи различных комбинаций информационных элементов в заданном объеме. Использует типы комбинаций элементов и соответствующие математические соотношения, которые приводятся в одном из разделов дискретной математики – комбинаторике.

Комбинаторная мера может использоваться для оценки информационных возможностей некоторого автомата, который способен генерировать дискретные сигналы (сообщения) в соответствии с определенным правилом комбинаторики. Пусть, например, есть автомат, формирующий двузначные десятичные целые положительные числа (исходное множество информационных элементов {0, 1, 2, 3, 4, 5, 6, 7, 8, 9}). В соответствии с положениями комбинаторики, данный автомат генерирует размещения (различаются числа, например, 34 и 43) из 10 элементов (используются 10 цифр) по 2 (по условию задачи, формируются двузначные числа) с повторениями (очевидно, возможны числа, состоящие из одинаковых цифр, например, 33). Тогда можно оценить, сколько различных сообщений (двузначных чисел) может сформировать автомат, иначе говоря, можно оценить информационную емкость данного устройства: Рп(102) = 102 = 100.

Комбинаторная мера используется для определения возможностей кодирующих систем, которые широко используются в информационной технике.

Пример 1. Определить емкость ASCII-кода, представленного в двоичной или шестнадцатеричной системе счисления.

ASCII-код – это сообщение, которое формируется как размещение с повторениями:

• 
  для двоичного представления – из информационных элементов {0, 1}, сообщение длиной (объемом) 8 символов;
• 
  для шестнадцатеричного представления – из информационных элементов {0, 1, 2, …., А, В, С, …. F}, сообщение длиной (объемом) 2 символа.

Тогда в соответствии с положениями комбинаторики:

I(двоичное) = РП(28) = 28 = 256;

I(шестнадцатеричное) = РП(162) = 162 = 256,

где I(двоичное), I(шестнадцатеричное) – количества информации, соответственно, для двоичного и шестнадцатеричного представления ASCII-кода.

Таким образом, емкость ASCII-кода для двоичного и шестнадцатеричного представления одинакова и равна 256.

Следует отметить, что все коды постоянной длины формируются по правилам комбинаторики или их комбинациям.

В случае, когда сообщения формируются как размещения с повторениями из элементов алфавита мощности h и известно количество сообщений М, можно определить требуемый объем сообщения (т.е. его длину l) для того, чтобы в этом объеме представить все сообщения: l = log h М.

Например, есть 4 сообщения – a, b, c, d. Выполняется двоичное кодирование этих сообщений кодом постоянной длины. Для этого требуются 2 двоичных разряда. В самом деле: l = log 2 4 = 2.

Очевидно, комбинаторная мера является развитием геометрической меры, так как помимо длины сообщения учитывает объем исходного алфавита и правила, по которым из его символов строятся сообщения.

Особенностью комбинаторной меры является то, что ею измеряется информация не конкретного сообщения, а всего множества сообщений, которые могут быть получены.

Единицей измерения информации в комбинаторной мере является число комбинаций информационных элементов.

Аддитивная мера

Эта мера предложена в 1928 году американским ученым Хартли, поэтому имеет второе название – мера Хартли. Хартли впервые ввел специальное обозначение для количества информации – I и предложил следующую логарифмическую зависимость между количеством информации и мощностью исходного алфавита:

где I – количество информации, содержащейся в сообщении;

l – длина сообщения;

h – мощность исходного алфавита.

При исходном алфавите {0,1}; l = 1; h = 2 и основании логарифма, равном 2, имеем

I = 1*log22 = 1.

Данная формула даёт аналитическое определение бита (BIT - BInary digiT) по Хартли: это количество информации, которое содержится в двоичной цифре.

Единицей измерения информации в аддитивной мере является бит.

В соответствии с таблицей ASCII-кодов имеем: шестнадцатеричное представление числа 1 – 31, двоичное представление числа 1 – 00110001.

Тогда по формуле Хартли получаем:

для шестнадцатеричного представления I = 2log216 = 8 бит;

для двоичного представления I = 8 log22 = 8 бит.

Таким образом, разные представления ASCII-кода для одного символа содержат одинаковое количество информации, измеренной аддитивной мерой.

Понятие «количество информации» сформулировано в работах американских учёных Хартли и (особенно) Шеннона. Оно является центральным в «классической» теории информации, основная проблема которой – изучение передачи информации по каналам связи, хранения её, кодирования и декодирования, борьбы с шумами и помехами. Отметим – безотносительно к смыслу (семантике) передаваемых сообщений. В настоящее время развиваются и другие разделы теории информации – динамическая теория информации, семантическая теория информации, теория квантовой информации. Но в их основе находится теория информации Шеннона и её методы измерения количества информации. Мы рассмотрим основные формулы, относящиеся к передаче информации в дискретном (цифровом, алфавитном) виде. Сейчас – это основной метод работы с информацией. Да и формулы проще, чем в «непрерывной» теории.

По К. Шеннону количество информации I N в сообщении, содержащем N символов определяется по формуле:

I N = -N pi log 2 pi (1)

M - число букв (символов) в используемом алфавите;

pi - частота (статистическая вероятность) появления i-той буквы в языке сообщения;

минус – чтобы величина I N была неотрицательной.

Двоичные логарифмы используются в теории информации исходя из естественного требования, чтобы в минимальном сообщении содержалось количество информации, равное 1. Минимальный алфавит состоит из двух символов, например 0 и 1 (меньше нельзя): M=2, минимальное сообщение – из одного символа N=1, частоты символов равны: Pi=.

Подставив эти значения в формулу (1) действительно получим 1:

I 2 = -1((-1) + (-1)) = 1.

Это минимальное количество информации I=1, получило название «бит» (от английских слов binary digit – двоичный знак). Если в (1) использовать натуральные логарифмы, то единица информации называется «нат» . Между битами и натами существуют соотношения:

1 бит = 1.44 ната; 1нат= 0.69 бита;

Поскольку в компьютере, калькуляторе содержится стандартная функция для вычисления натуральных логарифмов, то в практическом плане удобнее сначала вычислить количество информации в натах, а затем перевести в биты, умножив на 1.44.

Рассмотрим иную ситуацию – выбор варианта (напомним, что в системном анализе варианты называются альтернативами).

Если делаем выбор одного из n возможных вариантов (с известными вероятностями этих вариантов pi, i= 1;2;…n) то количество информации, то количество информации определяется по формуле:

I = -pi log 2 pi (2)

Если все варианты равновероятны:

N pi =1; pi=1/n;

И тогда формула (2) принимает вид:

I = log 2 n (3).

Это – исторически первая формула теории вероятностей, формула Хартли.

В частном случае бинарного алфавита (M=2; 0 и 1) число вариантов равно 2 N ; pi = E - N ; log 2 pi = -N; I=N; (4)

Это совпадает с (1) при бинарном равновероятном алфавите и N символах в сообщении.

Формулы (1) и (2) отражают количество информации, но не ее ценность. Количество информации в сообщении, определяемое формулой Шеннона, не зависит от сочетания букв: переставив (случайным образом или кодированием) буквы мы можем делать сообщение бессмысленным. Количество информации по Шеннону сохранится, а ценность информации может исчезнуть.

Эта информация (по Шеннону) полезна в статистической теории связи, но бесполезна в системном анализе и других дисциплинах, занимающихся знаниями.

Количество и ценность информации – разные понятия и не стоит подменять одно другим.

Допустим, что любое сочетание букв в тексте является ценным. В этом умозрительном, нереальном случае количество ценной информации совпадает с полным количеством, определяемым формулой (2) и не может превышать его. По жизни ценной информации в тексте меньше, иногда её нет вообще. Поэтому максимальное количество информации в (2) названо информационной тарой [Корогодин]. Это понятие играет существенную роль при рецепции (приеме/ передаче) информации и при ее перекодировке.

Текст на русском языке содержит N r букв кириллицы (алфавит содержит 32 буквы; M r =32;). Английский перевод содержит N a букв; M a =26; Русский текст – результат выбора определенного варианта из N a = 32 Na возможных. Английский перевод – выбор (преопределенный русским текстом) одного варианта из N a = 26 Na возможных. Если смысл не искажён, то количество ценной информации одинаково, а количество информации по Шеннону различно. Процессы генерации, рецепции обработки сопровождаются «переливаем» информации из одной тары в другую. При этом, как правило, количество информации по Шеннону уменьшается, а количество ценной информации сохраняется и, даже, возрастает.

Таким образом, информационная тара – это мощность множества, из которого могут быть выбраны варианты (алфавит, слова, тексты). Информационная емкость – свойство информационных систем (например, информационная емкость компакт-диска равна 720 МБ).

Не получается понять каким образом производят измерение количества информации с помощью формулы Хартли ? Выход есть! Записывайтесь ко мне на репетиторский урок по информатике и ИКТ. На своих индивидуальных уроках я делаю упор на практическое прорешивание колоссального количества различных тематических задач. Вы не только поймете ключевой смысл формулы Хартли , но также решите порядка 10 задач, связанных с измерением количества информации.

Формула Хартли позволяет определить количество информации, которая содержится в информационном сообщении длины n.

Для дальнейшего исследования нам потребуется познакомиться с таким понятием как мощность алфавита.
Мощность алфавита – это количество символов/знаков, из которых состоит рассматриваемый алфавит.

Примеры, связанные с мощностью алфавита

Количество букв в русскоязычном алфавите равно 33, следовательно, мощность русского алфавита составляет 33.

Количество арабских цифр, используя которые мы получаем различные числа, равно 10: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9. Следовательно, мощность алфавита арабских цифр составляет 10.

Азбука Морзе оперирует закодированными информационными сообщениями, состоящими из точек и тире, следовательно, мощность азбуки Морзе составляет 2.

Аналитический (в виде формульной зависимости) вид формулы Хартли

Формула Хартли имеет следующий вид: N = m n , где

N – возможное количество различных информационных сообщений, шт;
m – количество символов/знаков в рассматриваемом алфавите, шт;
n – количество букв/элементов в информационном сообщении, шт.

Рассмотрим задачи, решаемые с применением формулы Хартли

Условие задачи №1 :
Световое табло состоит из светящихся элементов, каждый из которых может гореть одним из 4-х различных цветов. Сколько различных сигналов можно передать при помощи табло, состоящего из 4-х таких элементов, при условии, что все элементы должны гореть.

Решение :
В данном примере под алфавитом необходимо понимать совокупность различных цветов, которыми могут гореть элементы. В условии задачи было сказано, что допускается четыре различных цвета, следовательно, мощность алфавита различных цветов составляет 4, то есть m = 4.

Под информационным сообщением следует понимать набор светящихся элементов. В условии упражнения говорится о 4-х подобных элементах, следовательно, длина сообщения составляет 4, то есть n = 4.

И осталось лишь определить количество различных сигналов, используя формулу Хартли :

N = m n = 4 4 = (2 2) 4 = 2 8 = 128 [сигналов].

Ответ : 128

Условие задачи №2:
Некоторый алфавит содержит 3 различных символа. Сколько слов длиной в 5 символов можно получить из данного алфавита (символы в слове могут повторяться)?

Решение :
В данном примере конкретно не уточняется о каком типе алфавита идет речь. Можно сделать предположение, что это какой-то символьный/знаковый алфавит. В условии задачи было сказано, что рассматриваемый алфавит содержит ровно 3 различных символа, следовательно, мощность данного алфавита составляет 3, m = 3.

Под информационным сообщением следует понимать некое слово. В условии задачи говорится о словах длиной в 5 символов, следовательно, длина информационного сообщения составляет 5, то есть n = 5.

И осталось лишь определить количество различных слов, используя могущественную формулу Хартли :

N = m n = 3 5 = 243 [слова].

Ответ : 243

Остались вопросы

Если у вас остались какие-либо вопросы по теме «Формула Хартли », то лаконично формулируйте и высылайте их мне на электронный адрес или записывайтесь ко мне на эффективный частный урок по информатике.

Информация и информационные процессы (4 час) – 8 класс

1. Информация. Информационные объекты различных видов. Основные информационные процессы: хранение, передача и обработка информации. Роль информации в жизни людей.
2. Восприятие, запоминание и преобразование сигналов живыми организмами.
3. Понятие количества информации: различные подходы. Единицы измерения количества информации.
4. Обобщающий урок по теме, самостоятельная работа.

Урок.

Цели:

• образовательные – дать понятие количества информации, познакомить с вероятностным и алфавитным подходом при определении количества информации, познакомить с единицами измерения информации, формировать практические навыки по определению количества информации.
• развивающие – продолжить формирование научного мировоззрения, расширять словарный запас по теме «Информация»
• воспитательные – формировать интерес к предмету, воспитывать настойчивость в преодолении трудностей в учебной работе.

1. Организационный этап (приветствие, определение отсутствующих на уроке)

2. Проверка домашнего задания, активизация знаний

по теме «Информация», полученных на предыдущих 2 уроках. С целью формирования речи, закрепления основополагающих понятий данной темы проверка домашнего задания проводится в виде фронтального устного опроса по следующим вопросам:

1. Что вы понимаете под информацией? Приведите примеры. Предполагаемые ответы: обычно учащиеся легко приводят примеры информации, которые они получают сами в окружающем мире – новости, школьный звонок, новые знания на уроках, сведения, полученные при чтении научно-популярной литературы, опыт и эмоции, полученные при чтении художественной литературы, эмоциональные переживания, полученные от прослушивания музыки, эстетические каноны, сведения о костюме и быте 18 века, эмоции, полученные при просмотре картин художников 18 века. Желательно, чтобы учащиеся приводили примеры информации и в технических, и в биологических системах и др. (форма бородки ключа содержит информацию о замке, определенная температура воздуха в помещении – информация для системы пожаротушения, в биологической клетке содержится информация о биологическом объекте, частью которого она является…)
2. Мы знаем, что две другие важные сущности мира вещество и энергия существовали до живых организмов на Земле. Существовала ли информация и информационные процессы до появления человека? Предполагаемый ответ – да, существовала. Например, информация, содержащаяся в клетке растения о виде растения, об условиях прорастания, размножения и пр. позволяет растению расти и размножаться без вмешательства человека; информация, накопленная поколениями хищных животных, формирует условные и безусловные рефлексы поведения следующих поколений хищников.
3. Вещество – то, из чего все состоит, энергия – то, что все приводит в движение. Верно ли суждение, что информация управляет миром. Обоснуйте свой ответ. Ответ: информация действительно управляет миром. Сигнал с Земли спутнику заставляет изменить траекторию его движения; если мы на пути видим лужу, то информация о ее виде, о том, что она мокрая и грязная, заставляет нас принять решение обойти лужу. Характерный жест человека (вытянутая вперед рука с вертикально расположенной ладонью) заставляет нас остановиться, информация на бородке ключа и форма щели замка позволяет принять решение о выборе ключа из связки, сформированные поколениями определенного вида птиц рефлексы управляют миграционными процессами. Читая художественную литературу, мы впитываем жизненный опыт героев, который влияет на принятие определенных решений в нашей собственной жизни; слушая определенную музыку, мы формируем соответствующий вкус, влияющий на наше поведение, окружение и пр.
4. Назовите виды информации по форме представления, приведите примеры. Ответ: числовая (цена на товар, числа в календаре), текстовая (книга, написанная на любом языке, текст учебников), графическая (картина, фотография, знак СТОП), звуковая (музыка, речь), видео (анимация + звук), командная (перезагрузить компьютер - нажатие клавиш Ctrl+Alt+Delete/Enter).
5. Какие действия можно производить с информацией? Ответ: ее можно обрабатывать, передавать, хранить и кодировать (представлять).
6. Назовите способы восприятия информации человеком. Ответ: человек воспринимает информацию с помощью 5 органов чувств - зрение (в форме зрительных образов), слух (звуки – речь, музыка, шум…), обоняние (запах с помощью рецепторов носа), вкус (рецепторы языка различают кислое, горькое, соленое, холодное), осязание (температура объектов, тип поверхности…)
7. Приведите примеры знаковых систем. Ответ: естественный язык, формальный язык (десятичная система счисления, ноты, дорожные знаки, азбука Морзе), генетический алфавит, двоичная знаковая система.
8. Почему в компьютере используется двоичная знаковая система для кодирования информации? Ответ: двоичная знаковая система используется в компьютере, так как существующие технические устройства могут надежно сохранять и распознавать только два различных состояния (знака).

3. Вероятностный подход к измерению количества информации (см. мультимедийную презентацию).

Сегодня мы с вами поговорим об измерении информации, т. е. об определении ее количества. (Учащиеся записывают тему урока в тетрадь – «Количество информации» ). Как вы думаете, какая из книг содержит большее количество информации (показать тонкую и толстую)? Как правило, учащиеся выбирают толстую, так как в ней больше записано слов, текста, букв (некоторые ребята задают вопрос о том, какого типа информация содержится в книге – графическая или текстовая? Следует уточнить, что в книге содержится только текстовая информация). Какое сообщение несет для вас больше информации «завтра учимся по обычному расписанию» или «завтра вместо литературы будет химия»? Учащиеся интуитивно ответят, что второе, потому что, несмотря на почти одинаковое количество слов, во втором сообщении содержится более важная, новая или актуальная для них информация. А первое сообщение вообще не несет никакой новой информации. Вы заметили, что посмотрели на информацию с точки зрения количества символов, в ней содержащихся, и с точки зрения ее смысловой важности для вас? Существует 2 подхода при определении количества информации – смысловой и технический (алфавитный). Смысловой применяется для измерения информации, используемой человеком, а технический (или алфавитный) – компьютером.

Для человека получение новой информации приводит к расширению знаний, или к уменьшению неопределенности. Например, сообщение о том, что завтра среда, не приводит к уменьшению неопределенности, поэтому оно не содержит информацию. Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. Мы знаем до броска, что может произойти одно из двух событий – монета окажется в одном из двух положений: «орел» или «решка». После броска наступает полная определенность (визуально получаем информацию о том, что выпал, например, «орел»). Информационное сообщение о том, что выпал «орел» уменьшает нашу неопределенность в 2 раза, так как получено одно из двух информационных сообщений.

В окружающей действительности достаточно часто встречаются ситуации, когда может произойти больше, чем 2 равновероятных события. Так, при бросании шестигранного игрального кубика – 6 равновероятных событий. Событие выпадение одной из граней кубика уменьшает неопределенность в 6 раз. Чем больше начальное число событий, тем больше неопределенность нашего знания, тем больше мы получим информации при получении информационного сообщения.

Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений. (Выделенное курсивом учащиеся записывают в тетрадь).

Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение:

N=2 I (N – количество возможных информационных сообщений, I – количество информации, которое несет полученное сообщение).

Для количественного выражения любой величины необходимо определить единицу измерения. Например, для измерения длины выбран определенный эталон метр, массы – килограмм.

4. Единицы измерения информации

За единицу измерения количества информации принимается такое количество информации, которое содержится в сообщении, уменьшающем неопределенность знания в 2 раза. Такая единица называется битом.

Вернемся к рассмотренному выше получению информационного сообщения о том, что выпал «орел» при бросании монеты. Здесь неопределенность уменьшилась в 2 раза, следовательно, это сообщение равно 1 биту. Сообщение о том, что выпала определенная грань игрального кубика, уменьшает неопределенность в 6 раз, следовательно, это сообщение равно 6 битам.

Минимальной единицей измерения количества информации является бит, а следующей по величине единицей – байт, причем

1 байт = 8 битов

В международной системе СИ используют десятичные приставки «Кило» (10 3), «Мега» (10 6), «Гига» (10 9),… В компьютере информация кодируется с помощью двоичной знаковой системы, поэтому в кратных единицах измерения количества информации используется коэффициент 2 n .

1 килобайт (Кбайт) = 2 10 байт = 1024 байт
1 мегабайт (Мбайт) = 2 10 Кбайт = 1024 Кбайт
1 гигабайт (Гбайт) = 2 10 Мбайт = 1024 Мбайт
1 терабайт (Тбайт) = 2 10 Гбайт = 1024 Гбайт

Терабайт – очень крупная единица измерения информации, поэтому применяется крайне редко. Всю информацию, которое накопило человечество, оценивают в десятки терабайт.

5. Определение количества информации

Задача 1. Определите количество экзаменационных билетов, если зрительное сообщение о номере одного вытянутого билета несет 5 битов информации. Количество билетов – это количество информационных сообщений. N=2 I = 2 5 = 32 билета.

Задача 2. Какое количество информации несет сообщение об оценке за контрольную работу? Вы можете получить за контрольную 2, 3, 4 или 5. Всего 4 сообщения (N=4). Формула принимает вид уравнения - 4=2 I = 2 2 , I=2.

Задания для самостоятельного выполнения: (формула всегда должна быть перед глазами, можно также вывесить таблицу со степенями 2) (3 мин.)

1. Какое количество информации мы получаем в зрительном сообщении о падении симметричной восьмигранной пирамиды на одну из граней? Ответ: 3 бита, потому что количество возможных событий (сообщений) N=8, 8=2 I = 2 3 , I=3.
2. Из непрозрачного мешочка вынимают шарики с номерами и известно, что информационное сообщение о номере шарика несет 5 битов информации. Определите количество шариков в мешочке. Ответ: в мешочке 32 шарика, т. к. N=2 I = 2 5 = 32.
3. Какое количество информации при игре в крестики-нолики на поле размером 4 Х 4 клетки получит второй игрок после первого хода первого игрока. Ответ: Количество событий до начала игры N=16, 16=2 I = 2 4 , I=4. Второй игрок после первого хода первого игрока получит 4 бита информации.

6. Алфавитный подход к определению количества информации

Суть технического или алфавитного подхода к измерению информации определяется по количеству использованных для ее представления знаков некоторого алфавита. Например, если при представлении числа XVIII использовано 5 знаков римского алфавита, то это и есть количество информации. То же самое число, т. е. ту же самую информацию, можно записать в десятичной системе (18). Как видим, получается 2 знака, т. е. другое значение количества информации. Для того, чтобы при измерении одной и той же информации получалось одно и то же значение количества информации, необходимо договориться об использовании определенного алфавита. Так как в технических системах применяется двоичный алфавит, то его же используют для измерения количества информации. Количество знаков в алфавите N=2, N=2 I , I – количество информации, которое несет один знак. 2 2 = 2 1 , I=1бит. Интересно, что сама единица измерения количества информации «бит» (bit) получила свое название от английского словосочетания «BI nary digiT » - «двоичная цифра».

Чем большее количество знаков в алфавите, тем большее количество информации несет 1 знак алфавита.

Определите самостоятельно количество информации, которое несет 1 буква русского алфавита.

Ответ: буква русского алфавита несет 5 битов информации (при алфавитном подходе к измерению информации).

Какое количество информации содержится в одном символе 8 разрядного двоичного кода (символ А – 11000000)? Ответ: 8 битов или 1 байт.

Практическая работа (раздаточный материал – инструкционная карта для выполнения практической работы) по определению количества информации с помощью калькулятора:

1. Определите информационный объем следующего сообщения в байтах (сообщение напечатано на карточке, карточки на каждой парте):

Количество информации, которое несет в себе знак, зависит от вероятности его получения. В русской письменной речи частота использования букв в тексте различна, так в среднем на 1000 знаков осмысленного текста приходится 200 букв «а» и в сто раз меньше количество букв «ф» (всего 2). Таким образом, с точки зрения теории информации, информационная емкость знаков русского алфавита различна (у буквы «а» она наименьшая, а у буквы «ф» - наибольшая).

Определяем количество символов (количество символов в строке*количество строк) – 460 символов = 460 байт

Введите и сохраните этот текст на рабочем столе с помощью программы Блокнот. Определите информационный объем этого файла с помощью компьютера (Выделите объект àПКМ à Свойства) Ответ: 460 байт.

Можно записать этот текст в виде звукового файла 1.wav и сравнить с текстовым (Пуск à программы à стандартные à развлечения à звукозапись…). Определить его информационный объем с помощью компьютера – 5,28 Мб (5 537 254 байта). Объяснить учащимся, что это отличие вызвано различием в представлении звуковой и текстовой информации. Особенности такого представления будут рассмотрены позже.

2. Определите какое количество учебников поместится на диске, информационный объем которого 700 Мб. Ответ: 1. определить количество символов в учебнике (количество символов в строке*количество строк на странице * количество страниц) 60 * 30 *203 = 365400 символов = 365400 байт = 365400/1024/1024 Мб= 0,35 Мб. Количество учебников К=700/0,35= 2000 учебников.

7. Подведение итогов урока в форме фронтального опроса:

1. Какие существуют подходы к определению количества информации? Ответ: существует 2 подхода к измерению количества информации – смысловой и технический или алфавитный.
2. В чем состоит отличие одного подхода от другого? Ответ: при смысловом подходе количество информации – мера уменьшения неопределенности знания при получении информационного сообщения, при алфавитном – количество знаков в сообщении * количество информации, которое несет 1 знак алфавита.
3. Назовите единицы измерения информации от самых маленьких до самых больших. Ответ: бит, байт, Кб, Мб, Гб, Тб.
4. На какую величину отличается байт от Кб, Кб от Мб, Мб от Гб? Ответ: 1024 (2 10).
5. Сколько битов содержится в 1 байте? Ответ: 8.
6. Что такое бит при смысловом и алфавитном подходе к определению количества информации? Ответ: при смысловом подходе бит – уменьшение неопределенности знания в 2 раза при получении информационного сообщения; при алфавитном подходе бит – информационная емкость одного знака при двоичном кодировании.

8. Домашнее задание

1. Параграфы 1.3.1 и 1.1.3 (Н. Угринович «Информатика. Базовый курс. 8 класс») 2 вопроса на стр. 29 (1. Приведите примеры информационных сообщений, которые приводят к уменьшению неопределенности знания. 2. Приведите примеры информационных сообщений, которые несут 1 бит информации).
2. Задачи: 1. Какое количество информации содержит сообщение об оценке за контрольную работу? 2. Вычислите, какое количество информации в битах содержится в 1 Кб, 1 Мб? 3. Рассчитайте, какое количество книг (дома возьмите любую художественную книгу) поместится на дискете, объемом 1,44 Мб.

Энтропия (информационная) — есть мера НЕУПОРЯДОЧЕННОСТИ системы. Это величина безразмерная. Чем меньше энтропия, тем больше порядок (определенность состояния системы). Бесконечно большая энтропия характеризует полный хаос (полную неопределенность состояния системы).

Информация — это сведения, которые способны уменьшать неопределенность. Чем бОльшую неопределенность снимают сведения, тем бОльшее количество информации они содержат. Информация, количеством 1 бит способна снять неопределенонсть при выборе одной из двух РАВНОВЕРОЯТНЫХ альтернатив

Формула Хартли определяет количество информации, содержащееся в сообщении длины n.

Имеется алфавит А, из букв которого составляется сообщение:

Количество возможных вариантов разных сообщений:

где N — возможное количество различных сообщений, шт; m — количество букв в алфавите, шт; n — количество букв в сообщении, шт.

Пример: Алфавит состоит из двух букв «B» и «X», длина сообщения 3 буквы — таким образом, m=2, n=3. При выбранных нами алфавите и длине сообщения можно составить разных сообщений «BBB», «BBX», «BXB», «BXX», «XBB», «XBX», «XXB», «XXX» — других вариантов нет.

Формула Хартли определяется:

где I — количество информации, бит.

При равновероятности символов формула Хартли переходит в собственную информацию.

Формула Хартли была предложена Ральфом Хартли в 1928 году как один из научных подходов к оценке сообщений.

Допустим, нам требуется что-либо найти или определить в той или иной системе. Есть такой способ поиска, как «деление пополам». Например, кто-то загадывает число от 1 до 100, а другой должен отгадать его, получая лишь ответы «да» или «нет». Задаётся вопрос: «число меньше N?». Любой из ответов «да» и «нет» сократит область поиска вдвое. Далее по той же схеме диапазон снова делится пополам. В конечном счёте загаданное число будет найдено.

Сколько вопросов надо задать, чтобы найти задуманное число от 1 до 100. Допустим загаданное число 27. Вариант диалога:

Больше 50? Нет. Больше 25? Да. Больше 38? Нет. Меньше 32? Да. Меньше 29? Да. Больше 27? Нет. Это число 26? Нет.

Если число не 26 и не больше 27, то это явно 27. Чтобы угадать методом «деления пополам» число от 1 до 100, нам потребовалось 7 вопросов.

Можно просто спрашивать: это число 1? Это число 2? И т. д. Но тогда вам потребуется намного больше вопросов. «Деление пополам» — самый оптимальный способ нахождения числа. Объём информации, заложенный в ответ «да»/«нет», равен одному биту (действительно, ведь бит имеет два состояния: 1 или 0). Итак, для угадывания числа от 1 до 100 нам потребовалось семь бит (семь ответов «да»/«нет»).

Такой формулой можно представить, сколько вопросов (бит информации) потребуется, чтобы определить одно из возможных значений. N — это количество значений, а k — количество бит. Например, в нашем примере 100 меньше, чем 27, однако больше, чем 26. Да, нам могло бы потребоваться и всего 6 вопросов, если бы загаданное число было 28.

Формула Хартли:

Количество информации (k), необходимой для определения конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N).

Энтропийный (вероятностный) подход

Этот подход принят в теории информации и кодирования. Данный способ измерения исходит из следующей модели: получатель сообщения имеет определённое представление о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределённостей называется энтропией. Энтропия характеризуется некоторой математической зависимостью от совокупности вероятности наступления этих событий.

Количество информации в сообщении определяется тем, насколько уменьшилась эта мера после получения сообщения: чем больше энтропия системы, тем больше степень её неопределённости. Поступающее сообщение полностью или частично снимает эту неопределённость, следовательно, количество информации можно измерять тем, насколько понизилась энтропия системы после получения сообщения. За меру количества информации принимается та же энтропия, но с обратным знаком.