Составить схему процесса Маркова Для N=4 составить матрицу перехода

Составить схему процесса Маркова. Пусть на некотором шаге значение случайного процесса равняется k, т.е. из числа общего числа монет n
Пусть на некотором шаге число монет, лежащих кверху решкой, равняется t. Тогда значение случайного процесса k=t-n-t=2t-n. Выражая число монет, лежащих кверху через значение случайного процесса, получаем:
t=n+k2
Т.к. на каждом шаге равновероятно выбирается любая монета, то вероятность выбрать монету, лежащую кверху решкой и гербом соответственно равны:
pреш=n+k2n=n+k2n
pгер=1-pреш=n-k2n
Учитывая, что значение процесса есть разность между числом лежащих решек и числом гербов, то на каждом шаге значение либо остается неизменным, либо увеличивается/уменьшается на 2 . Определим соответствующие вероятности:
- уменьшается на 2: выбрана монета, лежащая кверху решкой, и при ее броске выпал герб:
pk,k-2=pреш∙1-p=1-p(n+k)2n
- остается неизменным: выбрана монета, лежащая кверху решкой (или гербом), и при ее броске снова выпала решка (или герб соответственно):
pk,k=pреш∙p+pгер∙1-p=pn+k2n+1-pn-k2n=n+2pk-k2n
- увеличивается на 2: выбрана монета, лежащая кверху гербом, и при ее броске выпала решка:
pk,k+2=pгер∙p=p(n-k)2n
Если представить схематично граф переходов (в крайних состояниях pгер и pреш равны нулю, поэтому из этих состояний возможны только два перехода):
То видим, что из любого состояния можно перейти в любое другое за конечное число шагов, т.е