Вероятности появления символов источника алфавита р(х1)=0,5
.pdf
Зарегистрируйся в 2 клика в Кампус и получи неограниченный доступ к материалам с подпиской Кампус+ 🔥
Вероятности появления символов источника алфавита р(х1)=0,5, р(х2)=0,25, р(х3)=0,125, р(х4)=0,125. Между соседними символами имеются корреляционные связи, которые описываются матрицей вероятностей
13/163/1601/81/23/8000001 1/21/41/4 0
Требуется определить избыточность источника при статистической независимости символов и избыточность при зависимости символов.
Решение
Для оценки избыточности нужно найти безусловную энтропию H2(X) и условную энтропию H3(X/X) источника.
В случае не учета статистической связи на основании для H2(X) имеем
H1X=-i=14Pxi*lnPxi=1.75(бит)
С учетом корреляционной связи
H2X=-i=14Pxii=14Pxi*lnPxi=0,88(бит)
Максимально возможная энтропия источника с четырьмя символами определяется мерой Хартли
Нmax=ln4=2(бит)
Следовательно,
R1=1-H1XНmax=1-1.752=0.125
R1=1-H2XНmax=1-0.882=0.56