Рассмотреть три распределения вероятностей символов алфавита

Алфавит источника - 11, 12, 13, 14, 15, 16, 17
Вероятность появления букв
Вероятность появления букв
Алгоритм – Шеннона-Фано
Для построения кода Шеннона-Фано все символы алфавита сообщений записываются в порядке убывания вероятностей их появления. Полученную ранжированную (упорядоченную) последовательность символов разбивают на две группы так, чтобы суммы вероятностей групп были примерно одинаковыми. Для символов первой группы в качестве первого кодового символа присваивают 0, а для символов второй группы – 1 . Полученные группы символов опять разбивают таким же образом на две подгруппы и опять кодируют. Это продолжается до тех пор, пока в последних подгруппах не останется по одному символу.
Равномерное распределение
x p шаг
коды
1 2 3
11 1/7 0 0 - 00
12 1/7
1 0 010
13 1/7
1 011
14 1/7 1 0 0 100
15 1/7
1 101
16 1/7
1 0 110
17 1/7
1 111
Средняя длина кода будет равна бит
Избыточностью кода называется разность между средней длиной кодового слова и предельной энтропией источника сообщений
Найдем значение энтропии
бит
Следовательно, избыточность кода в данном случае составляет 0,05
Неравенство Крафта где ni – длины кодов
Проверим выполнение неравенства
Неравенство выполняется.
Распределение P1
x p шаг
коды
1 2 3 4 5
12 0,01 0 0 0 0 0 00000
14 0,02
1 00001
15 0,08
1 - 0001
13 0,09
1 0 - 0010
17 0,1
1 - 0011
16 0,2
1 - - - 01
11 0,5 1 - - - - 1
Средняя длина кода будет равна
бит
Найдем значение энтропии
бит
Следовательно, избыточность кода в данном случае составляет 0,05
Неравенство Крафта где ni – длины кодов
Проверим выполнение неравенства

Неравенство выполняется.
Распределение P2
x p шаг
коды
1 2 3 4 5 6
15 1/128 0
0 0 0 0 0 000000
17 3/128
1 000001
14 1/32
1 - 00001
12 1/16
1 - - 0001
11 1/8
1 - - - 001
13 1/4
1 - - - - 01
16 1/2 1 - - - - - 1
Средняя длина кода будет равна
бит
Найдем значение энтропии
бит
Следовательно, избыточность кода в данном случае составляет 0,01
Неравенство Крафта где ni – длины кодов
Проверим выполнение неравенства
Неравенство выполняется.