Дан источник сообщений с алфавитом. Бесплатный доступ к решению задач

Зарегистрируйся в 2 клика в Кампус и получи неограниченный доступ к материалам с подпиской Кампус+ 🔥

Условие

Дан источник сообщений с алфавитом . Считая, что источник генерирует Марковскую цепь первого порядка с известной матрицей переходов. Элементы матрицы выбираем самостоятельно. Сумма вероятностей в каждой строке должна быть равна единице. Используя программу Excel простыми итерациями найдите финальные вероятности знаков. Убедитесь, что финальное распределение π, как результат итераций по схеме, инвариантно к начальному распределению π(0). Найдите энтропию источника H(Z). Найти энтропию сообщения H(ZN) длиной в N=5 знаков и энтропию на знак HN(Z), считая, что источник выдаёт независимые последовательности с финальным распределением. С учетом памяти источника, то есть, реальной зависимости знаков в последовательности длиной в N=5 найдите H(ZN), HN(Z), H(Z|Z∞).

Решение

Потяни, чтобы посмотреть

Пусть, для источника все, как в предыдущей задаче:
.
Нахождение простыми итерациями финальных вероятностей знаков:
Уже понятно, что финальные вероятности:
.
Какое бы ни было выбранное распределение в результате будет переход к финальному распределению , поскольку строки матрицы будут равны :
и .
Найдём для примера:
Проведя в файле Excel вычисления с еще двумя разными начальными распределениями, убедимся на практике, что распределение π, как результат итераций по применяемой схеме, инвариантно к начальному распределению π(0).
Найдём энтропию источника H(Z)

50% задачи недоступно для прочтения

Переходи в Кампус, регистрируйся и получай полное решение

Получить задачу