Марковские цепи с дискретным временем
Есть 5 пронумерованных стоящих по кругу кочек и две лягушки. В начальный момент времени лягушки сидят на кочках 1 и 2. За один шаг каждая лягушка прыгает на соседнюю кочку с вероятностью 0,5 (то есть, например, лягушка, сидевшая на кочке 1, прыгнет с вероятностью 0,5 на 5 кочку и с вероятностью 0,5 на 2). Каково математическое ожидание времени до того момента, когда они обе окажутся на одной кочке?
Решение
Составим матрицу переходных вероятностей системы:
P=00,5000,50,500,500000,50,50000,500,500,500,50
Пусть pi (t ) - вероятность того, что система находится в состоянии Si в момент времени t , i =1, 2,3,4 . Составим систему уравнений Колмогорова по следующим правилам: слева от знака равенства стоит производная от вероятности pit-pitdt, справа в уравнении стоит сумма произведений вероятностей всех переходов, входящих (входящие стрелки) в состояние Si системы, на интенсивности состояний, из которых эти потоки исходят, минус вероятность pi (t ), рассматриваемого состояния Si, умноженная на суммарную интенсивность переходов, выводящих (выходящие стрелки) из данного состояния Si систему. Для решения подобной системы необходимо добавить еще одно уравнение, определяющее нормировочное условие, поскольку сумма вероятностей всех состояний равна единице:
i=1npi(t)=1
Получаем систему:
p1t+p2t+p3t+p4t+p4t=1
Составляем остальные уравнения по матрице:
p1tdt=-p1t+0,5p2t+0,5p5t
p2tdt=0,5p1t-p2t+0,5p3t
p3tdt=0,5p2t-p3t+0,5p4t
p4tdt=0,5p3t-p2t+0,5p5t
p5tdt=0,5p1t+0,5p4t-p5t
Система для определения вероятностей различных состояний.
p1tdt=-p1t+0,5p2t+0,5p5tp2tdt=0,5p1t-p2t+0,5p3t p3tdt=0,5p2t-p3t+0,5p4tp4tdt=0,5p3t-p2t+0,5p5tp5tdt=0,5p1t+0,5p4t-p5tp1t+p2t+p3t+p4t+p4t=1
Так как предельные вероятности постоянные, заменяем производные нулями (производная от константы – нуль) и приходим к системе алгебраических уравнений:
0=-p1+0,5p2+0,5p50=0,5p1-p2+0,5p3 0=0,5p2-p3+0,5p40=0,5p3-p2+0,5p50=0,5p1+0,5p4-p5p1+p2+p3+p4+p4=1
Решим эту систему уравнений.
0=-p1+0,5p2+0,5p50=0,5p1-p2+0,5p3 0=0,5p2-p3+0,5p40=0,5p3-p2+0,5p50=0,5p1+0,5p4-p5p1=1-p2-p3-p4-p4
Решение СЛАУ методом Гаусса
.
Запишем систему в виде расширенной матрицы:
-1 0.5 0 0 0.5 0
0.5 -1 0.5 0 0 0
0 0.5 -1 0.5 0 0
0 0 0.5 -1 0.5 0
0.5 0 0 0.5 -1 0
1 1 1 1 1 1
Для удобства вычислений поменяем строки местами:
0 0.5 -1 0.5 0 0
0 0 0.5 -1 0.5 0
0.5 -1 0.5 0 0 0
0.5 0 0 0.5 -1 0
-1 0.5 0 0 0.5 0
1 1 1 1 1 1
Умножим 2-ю строку на (-INF). Добавим 3-ю строку к 2-й:
0 0.5 -1 0.5 0 0
NAN NAN -INF INF -INF NAN
0.5 -1 0.5 0 0 0
0.5 0 0 0.5 -1 0
-1 0.5 0 0 0.5 0
1 1 1 1 1 1
Умножим 3-ю строку на (-1). Добавим 4-ю строку к 3-й:
0 0.5 -1 0.5 0 0
NAN NAN -INF INF -INF NAN
0 1 -0.5 0.5 -1 0
0.5 0 0 0.5 -1 0
-1 0.5 0 0 0.5 0
1 1 1 1 1 1
Умножим 4-ю строку на (2). Добавим 5-ю строку к 4-й:
0 0.5 -1 0.5 0 0
NAN NAN -INF INF -INF NAN
0 1 -0.5 0.5 -1 0
0 0.5 0 1 -1.5 0
-1 0.5 0 0 0.5 0
1 1 1 1 1 1
Добавим 6-ю строку к 5-й:
0 0.5 -1 0.5 0 0
NAN NAN -INF INF -INF NAN
0 1 -0.5 0.5 -1 0
0 0.5 0 1 -1.5 0
0 1.5 1 1 1.5 1
1 1 1 1 1 1
Умножим 1-ю строку на (NAN)
Задать вопрос
на новый заказ в Автор24.
