На столе лежит стопка из четырех книг. Каждая книга берется для чтения с вероятностью ¼, а при возвращении она с вероятностью 2/3 кладется сверху, либо с вероятностью 1/3 на прежнее место. С какой вероятностью i-я (i=1,2,3,4) книга окажется наверху через достаточно большое время? (Применение эргодической теоремы обосновать)
Решение
Представим последовательность перемещения книг марковской цепью с четырьмя состояниями S1,S2,S3,S4 – верхней книгой в стопке лежит 1, 2, 3 и 4 книга соответственно.
Определим вероятности переходов между состояниями:
- пусть верхней книгой в стопке лежит первая книга. Тогда с вероятностью p=14∙23=16 следующей книгой, лежащей сверху, может оказаться любая из книг 2-4, а с вероятностью p1,1=1-3∙16=12 верхней останется первая книга;
- пусть верхней книгой в стопке лежит вторая книга
. Тогда с вероятностью p2,1=14 следующей книгой, лежащей сверху, окажется первая книга, с вероятностью p=14∙23=16 – третья и четвертая книга, а с вероятностью p2,2=1-14-2∙16=512 верхней останется вторая книга.
Аналогично S2 получаем вероятности переходов из состояний S3,S4, таким образом матрица вероятностей переходов между состояниями нашей цепи:
A=12161616145121616141651216141616512
Найдем предельное распределение вероятностей (поскольку наша цепь неразложима и непериодическая, то по эргодической теореме предельные вероятности существуют), для чего записываем соответствующую систему линейных уравнений (коэффициенты в правой части есть транспонированная матрица A) и дополняем систему нормировочным уравнением:
P1=P12+P24+P34+P44P2=P16+5P212+P36+P46P3=P16+P26+5P312+P46P4=P16+P26+P36+5P412P1+P2+P3+P4=1
Из первого уравнения:
2P1=P2+P3+P4
Тогда с учетом нормировочного уравнения:
2P1=1-P1 P1=13
Учитывая вид уравнений 2-4, заключаем, что P2=P3=P4, тогда:
3P2=2P1 P4=P3=P2=29
Получили предельное распределение вероятностей 13;29;29;29 – вероятности того, что 1-4 книга соответственно окажется наверху через достаточно большое время.