Дана матрица совместных вероятностей PX

Определяем распределение X (сумма вероятностей по строкам):
X
x1
x2
x3
Px
4431200
139500
21176000
Тогда энтропия X:
Hx=-4431200log24431200+139500log2139500+21176000log221176000≈1,57
Определяем распределение Y (сумма вероятностей по столбцам):
Y
y1
y2
y3
Py
171400
11576000
11393000
Тогда энтропия Y:
Hy=-171400log2171400+11576000log211576000+11393000log211393000≈1,51
Находим условное распределение X при Y=y1:
PX=x1|y1=pX=x1,Y=y1PY=y1=89600171400=178513
PX=x2|y1=pX=x2,Y=y1PY=y1=18171400=50171
PX=x2|y1=pX=x3,Y=y1PY=y1=37240171400=185513
Получили условное распределение X при Y=y1:
X
x1
x2
x3
Px
178513
50171
185513
Соответствующая энтропия X:
HX|y1=-178513log2178513+50171log250171+185513log2185513≈1,58
Находим условное распределение Y при X=x2:
PY=y1|x2=pX=x2,Y=y1PX=x2=18139500=125278
PY=y2|x2=pX=x2,Y=y2PX=x2=0139500=0
PY=y3|x2=pX=x2,Y=y3PX=x2=1531000139500=153278
Получили условное распределение Y при X=x2:
Y
y1
y3
Py
125278
153278
Соответствующая энтропия Y:
HY|x2=-125278log2125278++153278log2153278≈0,99
Находим условную энтропию источника X относительно Y:
HX|Y=MHX|y=-i,jpi,jlog2pxi|yj=
=-89600log289600171400+18log218171400+…+61600log26160011393000≈1,46
Аналогично находим условную энтропию источника Y относительно X:
HY|X=MHY|x=-i,jpi,jlog2pyi|xj=
=-89600log2896004431200+18log2232404431200+…+61600log26160021176000≈1,40
Вычисляем энтропию совместного распределения:
HX,Y=-i,jpi,jlog2pi,j=-89600log2pi,j+…+61600log2pi,j≈2,97
Убеждаемся в правильности вычислений:
HX,Y=HX+HY|X=HY+HX|Y
2,97=1,57+1,40=1,51+1,46