Дискретный источник сообщений выдает сообщения из ансамбля {Xj}
.pdf
Зарегистрируйся в 2 клика в Кампус и получи неограниченный доступ к материалам с подпиской Кампус+ 🔥
Условие:
Дискретный источник сообщений выдает сообщения из ансамбля {Xj}, где j = 1, 2, …, N с вероятностями, приведенными в таблице 1.
Таблица 1 – Вероятности сообщений дискретного источника
xj x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 x12 x13
P(xj) 0,25 0,04 0,01 0,06 0,03 0,01 0,05 0,11 0,17 0,09 0,10 0,03 0,05
Закодировать данные сообщения кодом Шеннона-Фано и Хаффмана. Для каждого кода определить среднюю длину кодовой комбинации, среднее количество информации, содержащееся в одном элементе кода и избыточность кода. При определении минимальной длины кодовой комбинации следует воспользоваться приближенной формулой.
На основании полученных результатов сформулировать вывод, какой код является более эффективным.
Нужно полное решение этой работы?
Решение
Код Шеннона-Фано.
Таблица 2, иллюстрирующая процесс построения кода, приведена ниже:
Таблица 2 – Кодирование методом Шеннона-Фано
xi P(xi)
n(xi)
x1 0,25 1 1
11
x9 0,17 1 0 1
101
x8 0,11 1 0 0
100
x11 0,10 0 1 1
011
x10 0,09 0 1 0 1
0101
x4 0,06 0 1 0 0
0100
x7 0,05 0 0 1 1
0011
x13 0,05 0 0 1 0 1
00101
x2 0,04 0 0 1 0 0
00100
x5 0,03 0 0 0 1
0001
x12 0,03 0 0 0 0 1
00001
x3 0,01 0 0 0 0 0 1 000001
x6 0,01 0 0 0 0 0 0 000000
Определение энтропии источника:
бит.
Определение средней длины кодовой комбинации:
элемента.
Определение среднего количества информации, приходящейся на один элемент кода:
бит/элемент.
Определение минимальной средней длины кодовой комбинации:
бит/элемент.
Определение избыточности кода:
.
Код Хаффмана.
Таблица 3, иллюстрирующая процесс построения кода, приведена ниже:
Таблица 3 – Кодирование методом Хаффмана
n(xi) xi P(xi)
11 x1 0,25
284467142943001 0,57
280186228085001
-402845-803700
27876513923100
-480276749900
28016121688000 28197814390000 1,00
01 x9 0,17
287875-574300 0
2743201427931
-556736448100
-741046-1365200
0,43 0
101 x8 0,11 7821214453000
1 0,32
28191213870600
-59690571500
281940-920800 -663586953300
0
001 x11 0,10
-61828-3148000
1 291148-1612900
82412-441700
0,26
1001 x10 0,09
1 0,21 -62211-3079480 2863851428750 278268-160434-4707214930800 -59994-176700
78212-966000
279400-825500 -666577026100
0
0001 x4 0,06
-5746714827300
282986-236200 0
1
-54030137381000,16
10001 x7 0,05
1
-7689014798300284618-1586940
-409575-889000 0,12 -58706-4607240
00001 x13 0,05 7545014049400
-72470-1431000 1
-78549-15621000
-69215-76200,10
100001 x2 0,04
1 277987-46295100
0 -65049-1314300
-74437-215600 -60575139584000,07
-58607-208400
100000 x5 0,03
283112-1548690 0
-66711-36700
000001 x12 0,03
1
-61559-122500
0,05 -59269-61785500
0000001 x3 0,01
-62294143834002841521397001 270716-1537950 -71836-596500
0,02
0000000 x6 0,01
-59225140692000 -65726-10240000
Определение энтропии источника:
бит.
Определение средней длины кодовой комбинации:
элемента.
Определение среднего количества информации, приходящейся на один элемент кода:
бит/элемент.
Определение минимальной средней длины кодовой комбинации:
бит/элемент.
Определение избыточности кода:
.
Вывод:
Более эффективным оказался код Шеннона-Фано