Условная энтропия и энтропия объединения. Бесплатный доступ к контрольной работе

Реферат.Справочник
Контрольные работы по программированию
Условная энтропия и энтропия объединения

Условная энтропия и энтропия объединения .pdf

Зарегистрируйся в 2 клика в Кампус и получи неограниченный доступ к материалам с подпиской Кампус+ 🔥

Условие

Условная энтропия и энтропия объединения Цель работы: Закрепить теоретические сведения об условной энтропии и энтропии объединения. Задания: 1. В результате эксперимента установлено, что в среднем на 100 сообщений длиной 5 символов символ A встречается 50 раз, символ B – 40 раз. Совместно символы A и B встречаются 10 раз. Вычислить условные энтропииH(A|B) и H(B | А). 2. Определить общую условную энтропию сообщений, составленных из алфавита A, B, если вероятности появления символов в сообщении равны 9 p(A) = 0.6, p(B) = 0.4. Условные вероятности переходов одного символа в другой равны p(B | A) = 0.15, p(A | B) = 0.1. 3. Сообщения передаются двоичным кодом. В первом случае вероятности появления 0 и 1 равны соответственно p(0) = 0.8 и p(1) = 0.2. Помехи в канале связи отсутствуют, т.е. условные вероятности переходов 0 в 1 и 1 в 0 равны нулю. Во втором случае символы передаются с равными вероятностями p(0)=p(1) = 0.5, однако в результате действия помех условные вероятности переходов равны p(1 | 1) = 0.8, p(1 | 0) = 0.2, p(0 | 0) = 0.8, p(0 | 1) = 0.2. Чему равна энтропия сообщений в первом и втором случае.

Решение

Потяни, чтобы посмотреть

1. Определим вероятность появления символа А
pA=50500=0,1.
Определим вероятность появления символа B
pB=40500=0,05.
Определим вероятность совместного появления символов А и В
pAB=10500=0,02.
Определим условные вероятности
pA|B=pABpB=0,020,08=0,25.
pB|A=pABpA=0,020,1=0,2.
Определим условные энтропии
HAB=-pA×pB|A×log2pB|A=-0,1×0,2×log20,2=0,046 бит
HBA=-pB×pA|B×log2pA|B=-0,08×0,25×log20,25=0,04 бит
2 . Общая условная энтропия сообщений из алфавита {A, B}
HA,B=HB+H(B|A)
Энтропия события появления символа B в сообщении
HB=-pBlog2pB=-0,4log20,4=0,5288 бит.
Условная энтропия H(B|A)
HBA=-pB×pA|B×log2pA|B=-0,4×0,1×log20,1=0,1329 бит.
HA,B=0,5288+0,1329=0,6617 бит.
3

50% задачи недоступно для прочтения

Переходи в Кампус, регистрируйся и получай полное решение

Получить задачу

Условная энтропия и энтропия объединения

Условие

Решение

Определив обратные дуги в глубинном остовном лесу

Рассчитать производительность сети Ethernet при данных значениях размеров служебных полей кадра и поля данных

Пусть дано натуральное число n. Вычислите: 12 + 23*4+...+n...2n

Условная энтропия и энтропия объединения

Условие

Решение

Определив обратные дуги в глубинном остовном лесу

Рассчитать производительность сети Ethernet при данных значениях размеров служебных полей кадра и поля данных

Пусть дано натуральное число n. Вычислите: 1*2 + 2*3*4+...+n*...*2n

Пусть дано натуральное число n. Вычислите: 12 + 23*4+...+n...2n