Независимые случайные величины X и Y задаются следующими распределениями

Найдем распределение Z=X2-Y.
Вычисления представим таблицей:
Z=X2-Y
X
1/8 3/8 3/8 1/8
-2 -1 1 2
Y
3/8 2 2, P=3/64 -1, P=9/64 -1, P=9/64 2, P=3/64
5/8 4 0, P=5/64 -3, P=15/64 -3, P=15/64 0, P=5/64
Суммируя вероятности для одинаковых значений Z, получаем следующее распределение случайной величины Z:
Z
-3 -1 0 2
P
15/32 9/32 5/32 3/32
Вычисляем энтропии случайных величин:
HX=-ipxilog2pxi=
=-18log218+38log238+38log238+18log218 ≈1,811бит
HY=-ipyilog2pyi=-38log238+58log258 ≈0,954бит
HZ=-ipzilog2pzi=
=-1532log21532+932log2932+532log2532+332log2332 ≈1,766бит
Вычислим совместную энтропию HX,Z, для чего запишем совместное распределение X,Z, используя таблицу вычислений распределения Z=X2-Y:
X
-2 -1 1 2
Z
-3
15/64 15/64
-1
9/64 9/64
0 5/64
5/64
2 3/64
3/64
Тогда:
HX,Z=-i,jpxi,zjlog2pxi,zj=
=-21564log21564+964log2964+564log2564+364log2364 ≈2,766бит
Тогда пользуясь свойством:
HX,Z=HX+HZ|X=HZ+HX|Z
Вычисляем условные энтропии HX|Z и HZ|X:
HX|Z=HX,Z-HZ=2,766-1,766=1бит
HZ|X=HX,Z-HX=2,766-1,811=0,955бит
Вычислим теперь совместную энтропию HY,Z, для чего запишем совместное распределение Y,Z, используя ту же таблицу вычислений распределения Z=X2-Y:
Y
2 4
Z
-3
15/32
-1 9/32
0
5/32
2 3/32
Тогда:
HY,Z=-i,jpyi,zjlog2pyi,zj=
=-1532log21532+932log2932+532log2532+332log2332 ≈1,766бит
И условная энтропия HY|Z:
HY|Z=HY,Z-HZ=1,766-1,766=0бит
Полученное значение условной энтропии HY|Z=0 говорит о том, что, зная значение случайной величины Z, мы однозначно можно определить значение случайной величины Y.
Вычисляем взаимную информацию IY,Z:
IY,Z=HY-HY|Z=0,954-0=0,954