В урне находится 4 шара черного и белого цвета

Введем в рассмотрение цепь Маркова с состояниями S0-S4, где индекс в обозначении соответствует числу черных шаров в урне, и определим вероятности переходов между состояниями. Отметим также, что черный шар заменяют на белый с вероятностью 12, а белый – на черный с вероятностью 13.
1) Из состояния S0 мы можем перейти в состояние S1 с вероятностью 13 (вероятность того, что белый шар заменят на черный), а, значит, останемся в этом же состоянии с вероятностью 1-13=23.
2) Из состояния S1 мы можем перейти в состояние S0 с вероятностью 14∙12=18 (был вынут единственный из черных шаров, и он был заменен на белый), в состояние S2 мы можем перейти с вероятностью 34∙13=14 (был вынут один из трех белых шаров, и он был заменен на черный). Тогда с вероятностью 1-18+14=58 мы остаемся в состоянии S1.
3) Из состояния S2 мы можем перейти в состояние S1 с вероятностью 24∙12=14 (был вынут один из двух черных шаров, и он был заменен на белый), в состояние S3 мы можем перейти с вероятностью 24∙13=16 (был вынут один из двух белых шаров, и он был заменен на черный) . Тогда с вероятностью 1-14+16=712 мы остаемся в состоянии S2.
4) Из состояния S3 мы можем перейти в состояние S2 с вероятностью 34∙12=38 (был вынут один из трех черных шаров, и он был заменен на белый), в состояние S4 мы можем перейти с вероятностью 14∙13=112 (был вынут единственный белый шар, и он был заменен на черный). Тогда с вероятностью 1-38+112=1324 мы остаемся в состоянии S5.
1) Из состояния S4 мы можем перейти в состояние S3 с вероятностью 12 (вероятность того, что белый черный заменят на белый), а, значит, останемся в этом же состоянии с вероятностью 1-12=12.
Получили следующую матрицу переходных вероятностей за один шаг:
P=231300018581400014712160003813241120001212
Найдем вероятность того, что на втором и третьем шаге достанут чёрные шары, если в начальный момент времени в урне было равное число белых и черных шаров.
Поскольку в начальный момент времени цепь Маркова находилась в состоянии S2, то после первого шага мы можем оказаться в состояниях S1-S3 со следующими вероятностями:
PS11=14;PS21=712;PS31=16
Находим вероятность вынуть черный шар на втором шаге:
P2=14PS11+24PS21+34PS31=14∙14+24∙712+34∙16=2348
Теперь находим распределение по состояниям после второго шага:
PS02=18PS11=18∙14=132
PS12=58PS11+14PS21=58∙14+14∙712=2996
PS22=14PS11+712PS21+38PS31=14∙14+712∙712+38∙16=67144
PS32=16PS21+1324PS31=16∙712+1324∙16=316
PS42=112PS31=112∙16=172
Находим вероятность вынуть черный шар на третьем шаге:
P3=0∙PS02+14PS12+24PS22+34PS32+1∙PS42=
=0∙132+14∙2996+24∙67144+34∙316+1∙172=5331152
Тогда вероятность того, что на втором и третьем шаге достанут чёрные шары:
PA=P2P3=2348∙5331152≈0,2217
Найдем стационарное распределение вероятностей из соответствующей системы уравнений (коэффициенты в правой части – транспонированная матрица переходных вероятностей), дополненной нормировочным уравнением:
P0=23P0+18P1P1=13P0+58P1+14P2P2=14P1+712P2+38P3P3=16P2+1324P3+12P4P4=112P3+12P4P0+P1+P2+P3+P4=1
Выражая последовательно:
- из первого уравнения:
P0=23P0+18P1 P1=83P0
- из второго уравнения:
83P0=13P0+58∙83P0+14P2 P2=83P0
- из третьего уравнения:
83P0=14∙83P0+712∙83P0+38P3 P3=3227P0
- из пятого уравнения:
P4=112∙3227P0+12P4 P4=1681P0
Тогда из нормировочного уравнения:
P0+83P0+83P0+3227P0+1681P0=1 P0=81625
Остальные вероятности:
P1=83P0=216625
P2=83P0=216625
P3=3227P0=96625
P4=1681P0=16625
Тогда вероятность вынуть черный шар в стационарном режиме:
Pчерн=0∙81625+14∙216625+24∙216625+34∙96625+1∙16625=25
А вынуть его два раза подряд:
PБ=Pчерн2=425