Для двух заданных источников дискретных сообщений рассчитать энтропию объединения

По условию, имеется два источника дискретных сообщений X и Y. Требуется найти энтропию объединения H(X,Y).
Воспользуемся формулой
HX,Y=HX+HYX,
где
HX=-i=14pxilog2pxi- энтропия источника X;
HYX=-i=14j=16pxi,yjlog2pyjxi-общая условная энтропия
источника Y относительно источника X.
Таким образом, чтобы решить поставленную задачу требуется найти вероятности pxi,yj, i=1,2,3,4;j=1,2,3,4,5,6.
Так как
pxi,yj=pxipyjxi,
то
имеем
px1,y1=px1py1x1=0,25∙0,25=0,0625;
px1,y2=px1py2x1=0,25∙0,25=0,0625;
px1,y3=px1py3x1=0,25∙0,125=0,0625…
Продолжая, аналогичным образом, получим таблицу вероятностей
Найдем энтропию HX источника X:
Найдем общую условную энтропию HYX:
Тогда энтропия объединения HX,Y равна
HX,Y=HX+HYX=1,75+2,5=4,25битсимвол.
Ответ: 4,25битсимвол.