velikol.ru
1


Измерение информации: содержательный подход

  • Информация и информационные процессы


Как измерить информацию?

  • Вопрос: «Как измерить информацию?» очень непростой.

  • Ответ на него зависит от того, что понимать под информацией. Но поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными.



Содержательный подход к измерению информации

  • Для человека информация — это знания человека. Рассмотрим вопрос с этой точки зрения.

  • Получение новой информации приводит к расширению знаний. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.

  • Отсюда следует вывод, что сообщение информативно (т.е. содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно, т.к. нам это уже известно.

  • Нетрудно понять, что информативность одного и того же сообщения может быть разной для разных людей. Например: «2x2=4» информативно для первоклассника, изучающего таблицу умножения, и неинформативно для старшеклассника.



Информативность сообщения

  • Но для того чтобы сообщение было информативно оно должно еще быть понятно.

  • Быть понятным, значит быть логически связанным с предыдущими знаниями человека. Определение «значение определенного интеграла равно разности значений первообразной подынтегральной функции на верх нем и на нижнем пределах», скорее всего, не пополнит знания и старшеклассника, т.к. оно ему не понятно. Для того, чтобы понять данное определение, нужно закончить изучение элементарной математики и знать начала высшей.

  • Получение всяких знаний должно идти от простого к сложному. И тогда каждое новое сообщение будет в то же время понятным, а значит, будет нести информацию для человека.

  • Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными.



Единица измерения информации

  • Очевидно, различать лишь две ситуации: «нет информации» — «есть информация» для измерения информации недостаточно. Нужна единица измерения, тогда мы сможем определять, в каком сообщении информации больше, в каком — меньше.

  • Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица носит название «бит». Ее определение звучит так:

  • Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.

  • Неопределенность знаний о некотором событии — это количество возможных результатов события.



Пример:

  • После сдачи зачета или выполнения контрольной работы ученик мучается неопределенностью, он не знает, какую оценку получил.

  • «Зачет», «незачет»? «2», «3», «4» или «5»?

  • Наконец, учитель объявляет результаты, и он получаете одно из двух информационных сообщений: «зачет» или «незачет», а после контрольной работы одно из четырех информационных сообщений: «2», «3», «4» или «5».

  • Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности знания в четыре раза, так как получено одно из четырех возможных информационных сообщений.



Пример:

  • На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга?



Формула вычисления кол-ва информации

  • Если обозначить возможное количество событий, или, другими словами, неопределенность знаний N, а буквой I количество информации в сообщении о том, что произошло одно из N событий, то можно записать формулу:

  • 2I = N

  • Количество информации, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения: 2I = N.



Задание 1:



Задание 1:

  • Сколько информации содержит сообщение о том, что из колоды карт достали король пик?

  • Решение:

  • В колоде 32 карты. В перемешенной колоде выпадение любой карты равновероятное событие.

  • N = 32. I - ?

  • 2I = N

  • 2I = 32

  • 25 = 32

  • I = 5 бит



Задание 2:

  • Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?



Задание 2:

  • Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?

  • Решение:

  • N = 6. I - ?

  • 2I = N

  • 2I = 6

  • 22 < 6 < 23

  • I = 2.58496 бит



Задание 3:

  • Сколько информации содержит сообщение о том, что на поле 4х4 клетки одна из клеток закрашена?

  • В книге 512 страниц. Сколько информации несет сообщение о том, что закладка лежит на какой-либо странице?