Презентация по информатике на тему"Подходы к измерению количества информации"

Слайд #1

В презентации использованы слайды
из презентации К.Ю. Полякова
2022 год
Подходы
к
измерению
количества информации

Слайд #2

Содержание





Понятие информации
Единицы измерения информации
Подходы к измерению информации
Количество информации как мера уменьшения
неопределенности знания

Слайд #3

Понятие информации в различных областях науки и техники


Информация - это сведения об окружающем мире (объекте, процессе, явлении, событии), которые являются объектом преобразования (включая хранение, передачу и т.д.) и используются для выработки поведения, для принятия решения, для управления или для обучения.

Информация - это любые данные или сведения, которые кого-либо интересуют (толковый словарь русского языка С.И. Ожегова).

Информация – это сведения(сообщения, данные) независимо от формы их представления (Федеральный закон Российской Федерации от 27 июля 2006г. №149-ФЗ «Об информации, информационных технологиях и о защите информации»).

Информация – это отражение внешнего мира с помощью знаков или сигналов.
Под информацией в теории информации понимают не любые сведения, а лишь те, которые снимают полностью или уменьшают существующую до их получения неопределенность. По определению К. Шеннона, информация – это снятая неопределенность.

Слайд #4

Единицы измерения
1 байт (bytе) = 8 бит
1 Кб (килобайт) = 1024 байта
1 Мб (мегабайт) = 1024 Кб
1 Гб (гигабайт) = 1024 Мб
1 Тб (терабайт) = 1024 Гб
1 Пб (петабайт) = 1024 Тб
210

Слайд #5

Перевод в другие единицы
25 Кб =
=25·1024 байт
=25·1024·8 бит
=25:1024 Мб
=25:1024:1024=25:10242 Гб
=25:1024:1024:1024= 25:10243 Тб

крупные
единицы
мелкие
единицы
деление
умножение

Слайд #6

Подходы к измерению информации
Алфавитный

Отталкивается от практических нужд хранения и передачи информации в технических системах;
Не связан со смыслом (содержанием) информации;
Определение количества символов с учетом информационного веса каждого символа.
Содержательный
(вероятностный)

Рассматривает восприятие информации человеком;
Имеет дело со смыслом информации;
Определение количества информации, с учетом вероятности наступления события.

Слайд #7

Информация и знание
Неопределенность – недостаток знаний (незнание).
при получении информации знания увеличиваются, неопределенность уменьшается
чем больше получено информации, тем больше уменьшается неопределенность
информация – мера уменьшения неопределенности

Как измерить неопределенность?
?
Для человека информация — это знания.
Если некоторое сообщение является информативным, следовательно оно пополняет человека знаниями или уменьшает неопределенность знаний человека.

Слайд #8

Количество информации как мера уменьшения неопределенности знания
Рассмотрим, как можно измерить количество информации на примере подбрасывания монеты:
Перед броском существует неопределенность нашего знания.
возможны два события (как упадет монета, предсказать невозможно)
После броска наступает полная определенность
мы видим, (получаем зрительное сообщение), что монета находится в определенном положении («орел» или «решка»)
Это сообщение приводит к уменьшению неопределенности нашего знания в два раза, т.к. из двух равновероятностных событий реализовалось одно.

Неопределенность знания (N) – это количество возможных
вариантов ответов на поставленный вопрос или количество
возможных исходов события.

Слайд #9

При подбрасывании шестигранного кубика:
Возможно получить один результат из шести равновероятных событий N=6
После броска
получаем зрительное сообщение о результате, неопределенность знаний уменьшается в шесть раз
Количество информации как мера уменьшения неопределенности знания

Слайд #10

Единицы измерения
1 бит (binary digit, двоичная цифра) – это количество информации, которое мы получаем при выборе одного из двух возможных вариантов (вопрос: «Да» или «Нет»?)
«Да» или «Нет» или

Примеры:
Эта стена – зеленая? Да.
Дверь открыта? Нет.
Сегодня выходной? Нет.
Это новый автомобиль? Новый.
Ты будешь чай или кофе? Кофе.
0
1

Слайд #11

Если вариантов больше…
N= 4 – 2 бита
После выполнения контрольной работы ученик имеет неопределенность, он не знает, какую оценку получил: «2», «3», «4» или «5»?
Когда учитель объявляет результаты, ученик получает одно из четырех информационных сообщений: «2», «3», «4» или «5».
«5»
«2»
«3»
«4»
Количество информации
0
0
0
1
1
0
1
1
N=4
N= 8 – 3 бита
?
000 001
010 011
100 101
110 111
N=16 – 4 бита
?
2 бита
N=8

Слайд #12

Количество равновероятных возможных событий
Количество информации в сообщении о том, что произошло одно из N событий.
Обозначим
N
i
Количество информации, содержащееся
в сообщении о том, что произошло
одно из N равновероятных событий,
определяется: 2I = N.
Формула Хартли (1928)

Слайд #13

Формула Хартли (1928)
i – количество информации в битах
N – количество вариантов
Пример:
В аэропорту стоит 6 самолетов, из них один летит в Москву. Сколько информации в сообщении «В Москву летит второй самолет»?
N=6 
бит
Ответ: i=2,585 (количество информации между 2 и 3 битами)

6 вариантов – между 4 (2 бита) и 8 (3 бита)
?

Слайд #14

Количество информации в сообщении об одном из N равновероятных событий:

Слайд #15

Алфавит – набор знаков, используемых при кодировании информации с помощью некоторого языка.
Примеры:
АБВГДЕЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ 32
ABCDEFGHIJKLMNOPQRSTUVWXYZ 26
× O 2
0123456789 10
Мощность алфавита – количество символов.


Алфавитный подход
Все символы несут одинаковую информацию:
!
мощность алфавита
информационная емкость символа

Слайд #16

Вероятность события (р) – число от 0 до 1, показывающее, как часто случается это событие в большой серии одинаковых опытов.

p = 0событие никогда не происходит
(нет неопределенности)
p = 0,5 событие происходит в половине
случаев (есть неопределенность)
p = 1событие происходит всегда
(нет неопределенности)

Полная система событий: одно из N событий обязательно произойдет (и только одно!).
Содержательный подход и вероятность

p= 1/N

pi – вероятность выбора i-ого варианта (i=1,…,N)


pз = 1/2 pк =1/2
pз = 0,5 pк = 0,5 pз +pк = 1/2 + 1/2 =1


Слайд #17

Вычисление вероятности
Задача. В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Какова вероятность поймать карася (пескаря, окуня), если все рыбы одинаково голодны?
Формула:
число «нужных» событий
общее число событий
Решение:
караси
пескари
окуни
Как иначе посчитать p3?
?
Содержательный подход и вероятность
Вероятность показывает какую часть
от общего числа событий составляет данное
событие (например, ловля окуня).
Содержательный подход и вероятность

Слайд #18

На первый взгляд кажется, что формулы для вычисления информации различны. Первая — через количество событий, вторая — через вероятность:
Задача: Ученик за год получил 100 оценок. Одинаковое количество пятерок, четверок, троек, двоек — по 25 штук.

На самом деле это не разные формулы! Первая формула является частным случаем второй, когда вероятность событий одинаковая.

Вероятность каждой оценки была бы равна 25/100 = 1/4. Значит, и количество информации будет одинаковым. Посчитаем:
Но это та же самая задача о четырех равновероятных оценках, количество равновероятностных вариантов N=4
(оценки: 2, 3, 4, 5)

Слайд #19

Вероятностный подход
Как посчитать информацию, если варианты не равновероятны?
– вероятность выбора i-ого варианта (n=1,…,N)
Идея: если случается менее вероятное событие, мы получаем больше информации.
Если произошло событие n, мы получаем информацию
Клод Шеннон (1916 —2001)
американский математик и электротехник, один из создателей математической теории информации и криптографии.

Слайд #20

Вероятностный подход
Задача 1. В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Сколько информации несет сообщение о том, что рыбак поймал карася (пескаря, окуня), если все рыбы одинаково голодны?
Формула:
Решение:
карась
пескарь
окунь
бита
бита
бит

Слайд #21

Вероятностный подход
Для оценки средней информативности событий с учетом разной вероятности их благоприятных исходов формула К. Шеннона:
количество возможных событий (мощность алфавита)
средняя информативность в сообщении о том, что произошло одно из N событий.
N
i
pn
вероятность (частота) наступления событий
Если: p1=p2=…=pn=p (события равновероятны), тогда:

Формула Хартли

Слайд #22

Вероятностный подход
Задача 2. В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Сколько информации несет сообщение о том, что рыбак поймал какую-нибудь рыбу?
Формула:
Решение:
Карась:
Пескарь:
Окунь:
Количество информации: