Независимые случайные величины X и Y задаются следующими распределениями

Найдем распределение Z=X2-Y2. Для удобства вычисления представим в виде таблицы:
Z=X2-Y2
X
1/6 1/6 1/3 1/3
-2 -1 1 2
Y
1/6 -1 3, P=1/36 0, P=1/36 0, P=1/18 3, P=1/18
5/6 1 3, P=5/36 0, P=5/36 0, P=5/18 3, P=5/18
Суммируя вероятности для одинаковых значений Z, получаем распределение:
Z
0 3
P
1/2 1/2
Вычисляем энтропии случайных величин:
HX=-ipxilog2pxi=
=-16log216+16log216+13log213+13log213 ≈1,918бит
HY=-ipyilog2pyi=-16log216+56log256 ≈0,650бит
HZ=-ipzilog2pzi=-12log212+12log212 =1бит
Вычислим совместную энтропию HX,Z, для чего запишем совместное распределение X,Z, используя таблицу промежуточных вычислений распределения Z=X2-Y2:
X
-2 -1 1 2
Z
0
1/6 1/3
3 1/6
1/3
Тогда:
HX,Z=-i,jpxi,zjlog2pxi,zj=
=-16log216+16log216+13log213+13log213 ≈1,918бит
Тогда пользуясь свойством:
HX,Z=HX+HZ|X=HZ+HX|Z
Вычисляем условные энтропии HX|Z и HZ|X:
HX|Z=HX,Z-HZ=1,918-1=0,918бит
HZ|X=HX,Z-HX=1,918-1,918=0бит
Полученное значение HZ|X=0 говорит о том, что значение X однозначно определяет значение Z, что, собственно, видно и по таблице совместного распределения.
Вычислим теперь совместную энтропию HY,Z, для чего запишем совместное распределение Y,Z, используя ту же таблицу промежуточных вычислений распределения Z=X2-Y2:
Y
-1 1
Z
0 1/12 5/12
3 1/12 5/12
Тогда:
HY,Z=-i,jpyi,zjlog2pyi,zj=
=-112log2112+512log2512+112log2112+512log2512 ≈1,650бит
И условная энтропия HY|Z:
HY|Z=HY,Z-HZ=1,650-1=0,650бит
Вычисляем взаимную информацию IY,Z:
IY,Z=HY-HY|Z=0,650-0,650=0