В кошельке монет по 10 копеек, монет по 50 копеек и монет по рублю. Наугад достаём две монеты. Нужно исследовать сложную систему . Подсистема X – «Достоинство первой монеты». Подсистема Y – «Сумма достоинств двух монет».
Самостоятельно выбрав конкретные значения , , найти вероятности всех состояний системы , , и заполнить таблицу вида:
– закон распределения системы
-5936020040 xi
yj 20 60 100 110 150 200 p(xi)
10
50
100
p(yj)
Найти законы распределения подсистем , и , (маргинальные распределения) и записать их в дополнительных столбце и строке.
Найти энтропию подсистемы X, подсистемы Y и энтропию системы . Для этого удобно заранее вычислить необходимые слагаемые во вспомогательной таблице .
Найдите условные законы распределения , и , .
Вычислите частные и полную условную энтропии системы .
Вычислите разными способами взаимную информацию подсистем . Найдите частные информации , , .
Решение
Выбираем:
, , .
Заполняем таблицу с вероятностями всех состояний системы.
Далее находим законы распределения подсистем , и , (маргинальные распределения) и записать их в дополнительных столбце и строке.
– закон распределения системы
-9269567600yj
xi 20 60 100 110 150 200 p(xi) p(xi) · log p(xi)
10 0,0833 0,1667 0,0000 0,0833 0,0000 0,0000 0,3333 -0,5283
50 0,0000 0,1667 0,1667 0,0000 0,1111 0,0000 0,4444 -0,5200
100 0,0000 0,0000 0,0000 0,0833 0,1111 0,0278 0,2222 -0,4822
p(yj) 0,0833 0,3333 0,1667 0,1667 0,2222 0,0278
p(yj) ·
log p(yj) -0,1436 -0,4822 -0,4308 -0,4308 -0,5283 -0,2987
Находим энтропию подсистемы X, подсистемы Y и энтропию системы
. Для этого удобно заранее вычислить необходимые слагаемые во вспомогательной таблице.
H(X) 1,5305
H(Y) 2,3145
H(X,Y) 3,0368
Вспомогательная таблица
-0,2987 -0,4308 0 -0,2987 0 0
0 -0,4308 -0,4308 0 -0,3522 0
0 0 0 -0,2987 -0,3522 -0,1436
Находим условные законы распределения , и , .
Условный закон распределения P(Y | xi)
xi \ yj 20 60 100 110 150 200
10 0,25 0,5 0 0,25 0 0
50 0 0,375 0,375 0 0,25 0
100 0 0 0 0,375 0,5 0,125
Условный закон распределения P(X | yj)
xi \ yj 20 60 100 110 150 200
10 1 0,5 0 0,5 0 0
50 0 0,5 1 0 0,5 0
100 0 0 0 0,5 0,5 1
Вычисляем частные и полную условную энтропии системы , используя новые вспомогательные таблицы:
Вспомогательная таблица
xi \ yj 20 60 100 110 150 200
10 -0,5 -0,5 0 -0,5 0 0
50 0 -0,5306 -0,5306 0 -0,5 0
100 0 0 0 -0,5306 -0,5 -0,375
Вспомогательная таблица
xi \ yj 20 60 100 110 150 200
10 0 -0,5 0 -0,5 0 0
50 0 -0,5 0 0 -0,5 0
100 0 0 0 -0,5 -0,5 0
Частные условные энтропии
xi
10 1,5000
50 1,5613
100 1,4056
yj 20 60 100 110 150 200
0 1 0 1 1 0
Условные энтропии полные
H(Y|X) 1,5063
H(X|Y) 0,7222
Вычисляем разными способами взаимную информацию подсистем
H(X,Y) = H(X) + H(Y|X)= 3,0368
H(X,Y) = H(Y) + H(X|Y)= 3,0368
IX-Y = H(Y)-H(Y|X) 0,8083
IY-X = H(X)-H(X|Y) 0,8083
IY-X = H(X)+H(Y)-H(X,Y) 0,8083
IY-X = M[Iyj-X] 0,8083
Находим частные информации , , .
Частная информация о X при событии Y = yj
yj 20 60 100 110 150 200
1,5850 0,3774 1,1699 0,8774 0,6699 2,1699
0,1321 0,1258 0,1950 0,1462 0,1489 0,0603
Частная информация о Y при событии X = xi
xi
10 0,8350
50 0,5449
100 1,2949
Ixi-yj – Частная информация о событии X = xi при событии Y = yj
xi \ yj 20 60 100 110 150 200
10 1,5850 0,5850 -∞ 0,5850 -∞ -∞
50 -∞ 0,1699 1,1699 -∞ 0,1699 -∞
100 -∞ -∞ -∞ 1,1699 1,1699 2,1699
Задать вопрос
на новый заказ в Автор24.
