Исчисление объемов информации
.pdf
Зарегистрируйся в 2 клика в Кампус и получи неограниченный доступ к материалам с подпиской Кампус+ 🔥
Цель работы: Закрепление знаний о количественном исчислении объемов информации. Мера информации по Хартли. Мера информации по Шеннону.
Задания:
1. В результате воздействия импульсной помехи во время передачи посылки из l бит по последовательному каналу был искажен один из передаваемых разрядов.
– расположение бита, подвергшегося искажению известно достоверно, ноего исходное значение полностью утеряно (стирание);
– известно, что один из битов принял инверсное значение относительносвоего исходного, но его расположение неизвестно.
Сравнить конечные неопределенности состояния источника информации для первого и второго случаев, а также оценить по Шеннону объем принятойинформации в обоих случаях, предполагая, что все состояния источника информации равновероятны.
Длина посылки данных l:
а) 8 разрядов; б) 12 разрядов; в) 16 разрядов; г) 20 разрядов.
2. Для заданного фрагмента текста:
– найти объем алфавита источника, необходимого для передачи данного сообщения;
– рассчитать объем информации по Хартли, приходящийся на один символ данного сообщения;
– оценить частоты появления отдельных символов алфавита;
– оценить объем информации по Шеннону, приходящийся на один символ данного сообщения, предполагая, что алфавит источника ограничен символами, встречающимися в сообщении;
– то же, предполагая, что алфавит источника совпадает с алфавитом русского языка.
В качестве фрагмента анализируемого текста выбрать:
«Информатика это отрасль науки, изучающая структуру и общие свойства научной информации, а также вопросы, связанные с ее сбором, хранением, поиском, переработкой, преобразованием, распространением и использованием в различных сферах деятельности»;
Нужно полное решение этой работы?
Решение
1. При известном расположении утерянного бита возможны два состояния передаваемой информации, тогда неопределенность состояния источника при любой длине посылки данных будет
H=-(p1log2p1+p2log2p2)
Так как при равной вероятности появления двух состояний источника вероятность появления каждого p1=p2=0,5, тогда
H=-0,5log20,5+0,5log20,5=1.
В случае, когда известно, что бит принял инверсное состояние, считается, что состояние бита определено. Но так как неопределенно его положение, то количество возможных состояний источника информации зависит от длины сообщения.
При равновероятном появлении одного из состояний определим число состояний и вероятность появления каждого.
При длине сообщения l=8 разрядов число состояний равно N=8, вероятность появления pi=1N=18=0,125.
При длине сообщения l=12 разрядов число состояний равно N=12, вероятность появления pi=1N=112=0,0833.
При длине сообщения l=16 разрядов число состояний равно N=16, вероятность появления pi=1N=116=0,0625.
При длине сообщения l=20, разрядов число состояний равно N=20, вероятность появления pi=1N=120=0,05.
Неопределенность состояния источника
- при длине сообщения l=8
H=-Npilog2pi=-log2pi=-log20,125=3;
- при длине сообщения l=12
H=-log2pi=-log20,0833=3,586;
- при длине сообщения l=16
H=-log2pi=-log20,0625=4;
- при длине сообщения l=20
H=-log2pi=-log20,05=4,322.
Оценим по Шеннону объем принятой информации.
I=Hн-H,
где Hн – энтропия источника информации до передачи информации.
Определим начальную энтропию для каждой из заданных длин сообщений как
Hн=-log212l=l.
Объем принятой информации при l=8:
- в первом случае
I=8-1=7 бит;
- во втором случае
I=8-3=5 бит.
Объем принятой информации при l=12:
- в первом случае
I=12-1=11 бит;
- во втором случае
I=12-3,586=8,414 бит.
Объем принятой информации при l=16:
- в первом случае
I=16-1=15 бит;
- во втором случае
I=16-4=12 бит.
Объем принятой информации при l=20:
- в первом случае
I=20-1=19 бит;
- во втором случае
I=20-4,322=15,678 бит.
2
Задать вопрос
на новый заказ в Автор24.
