Определить среднее количество информации

Рассматриваем дискретный источник сообщений S. Пусть Si – независимые элементы алфавита сообщений, а p(Si) – их вероятности (i = 1, 2, 3). Тогда среднее количество информации на один элемент алфавита сообщений определяется через энтропию источника по следующей формуле:
Iср = H(S) = –i=13p(Si)∙log2p(Si).
В нашем случае имеем:
Iср = –p(S1) · log2 p(S1) – p(S2) · log2 p(S2) – p(S3) · log2 p(S3) =
= –0,05 · log2 0,05 – 0,15 · log2 0,15 – 0,8 · log2 0,8 =
= 0,216096 + 0,410545 + 0,257542 = 0,884184 бит.
Максимальное среднее количество информации на символ сообщения имеет место при равновероятном распределении и вычисляется по следующей формуле: Hmax = log2 n = log2 3 = 1,584963 бит. 
Абсолютная избыточность на символ сообщения:
Dабс = Hmax – H = 1,584963 – 0,884184 = 0,700779.
Относительная избыточность на символ сообщения:
D = Dабс / Hmax = 0,700779 / 1,584963 = 0,442142 = 44,2%.