На столе лежит стопка из четырех книг Каждая книга берется для чтения с вероятностью ¼

Представим последовательность перемещения книг марковской цепью с четырьмя состояниями S1,S2,S3,S4 – верхней книгой в стопке лежит 1, 2, 3 и 4 книга соответственно.
Определим вероятности переходов между состояниями:
- пусть верхней книгой в стопке лежит первая книга. Тогда с вероятностью p=14∙23=16 следующей книгой, лежащей сверху, может оказаться любая из книг 2-4, а с вероятностью p1,1=1-3∙16=12 верхней останется первая книга;
- пусть верхней книгой в стопке лежит вторая книга . Тогда с вероятностью p2,1=14 следующей книгой, лежащей сверху, окажется первая книга, с вероятностью p=14∙23=16 – третья и четвертая книга, а с вероятностью p2,2=1-14-2∙16=512 верхней останется вторая книга.
Аналогично S2 получаем вероятности переходов из состояний S3,S4, таким образом матрица вероятностей переходов между состояниями нашей цепи:
A=12161616145121616141651216141616512
Найдем предельное распределение вероятностей (поскольку наша цепь неразложима и непериодическая, то по эргодической теореме предельные вероятности существуют), для чего записываем соответствующую систему линейных уравнений (коэффициенты в правой части есть транспонированная матрица A) и дополняем систему нормировочным уравнением:
P1=P12+P24+P34+P44P2=P16+5P212+P36+P46P3=P16+P26+5P312+P46P4=P16+P26+P36+5P412P1+P2+P3+P4=1
Из первого уравнения:
2P1=P2+P3+P4
Тогда с учетом нормировочного уравнения:
2P1=1-P1 P1=13
Учитывая вид уравнений 2-4, заключаем, что P2=P3=P4, тогда:
3P2=2P1 P4=P3=P2=29
Получили предельное распределение вероятностей 13;29;29;29 – вероятности того, что 1-4 книга соответственно окажется наверху через достаточно большое время.