Определить количество информации в каждой букве. Определить энтропию и избыточность источника, выдающего текст, состоящий из этих букв, при отсутствии статистических связей между буквами.
Решение
Количество информации, содержащейся в i-м символе равна log2(1/pi), где pi является вероятностью появления i-го символа. Вычисленное количество информации для каждого символа представлено в таблице.
Символ Вероятность Количество информации
пробел 0,174 2,523
а 0,062 4,012
б 0,014 6,158
в 0,038 4,718
г 0,013 6,265
д 0,025 5,322
е 0,072 3,796
ж 0,007 7,158
з 0,016 5,966
и 0,062 4,012
й 0,01 6,644
к 0,028 5,158
л 0,035 4,837
м 0,026 5,265
н 0,053 4,238
о 0,09 3,474
п 0,023 5,442
р 0,04 4,644
с 0,045 4,474
т 0,053 4,238
у 0,021 5,573
ф 0,002 8,966
х 0,009 6,796
ц 0,004 7,966
ч 0,012 6,381
ш 0,006 7,381
щ 0,003 8,381
ы 0,016 5,966
ь ъ 0,014 6,158
э 0,003 8,381
ю 0,006 7,381
я 0,018 5,796
Энтропия источника, не учитывающего статистическую взаимосвязь между буквами, равна:
Hmax=log232=5
При этом с учетом вероятностей равна:
H=i=132(pilog2(1/pi))=4.356
Вычислим избыточность источника R:
R=1-HHmax=0,129google docs
Определим количество информации, содержащейся в последовательности символов “СТУДЕНТ ЖИГАЛОВСКИЙ АЛЕКСАНДР АНАТОЛЬЕВИЧ”
на новый заказ в Автор24.
