Энтропия (мера неопределенности) дискретного распределения

P1+p2+p3=1
Вычислим энтропию
б) равномерное
p1=p2=p3=13
H=-13ln13+13ln13+13ln13=-ln13=ln3
а) треугольное
p2-a+p2+p2-a=1⟹3p2=1+2a
p2=1+2a3; p1=p3=1+2a3-a=1-a3
H=-1-a3ln1-a3+1+2a3ln1+2a3+1-a3ln1-a3=
=-1321-a(ln1-a-ln3)+1+2a(ln1+2a-ln3) =
=23ln3+ln3-1321-aln1-a+2aln3+1+2aln1+2a-2aln3 =
=ln3-132ln1-a+ln1+2a+2aln1+2a-2aln1-a
Можно показать, что
2ln1-a+ln1+2a+2aln1+2a-2aln1-a>0
при любом 0<a<1.
Если разложить в ряд до 3-го порядка включительно:
2ln1-a+ln1+2a+2aln1+2a-2aln1-a≈
≈-2a-a2-2a33+2a-2a2+8a33+2a2a-2a2-2a-a-a22≈
≈3a2-a3+Oa4
При любом 0<a<1 3a2>a3.
Тогда H<ln3.
в) двустороннее
p2+a+p2+p2+a=1⟹3p2=1-2a
p2=1-2a3; p1=p3=1-2a3+a=1+a3
H=-1+a3ln1+a3+1-2a3ln1-2a3+1+a3ln1+a3=
=-1321+a(ln1+a-ln3)+1-2a(ln1-2a-ln3) =
=23ln3+ln3-1321+aln1+a-2aln3+1-2aln1-2a+2aln3 =
=ln3-132ln1+a+ln1-2a-2aln1-2a+2aln1+a
Можно показать, что
2ln1+a+ln1-2a-2aln1-2a+2aln1+a>0
при любом 0<a<1.
Если разложить в ряд до 3-го порядка включительно:
2ln1+a+ln1-2a-2aln1-2a+2aln1+a≈
≈2a-a2+2a33-2a-2a2-8a33-2a-2a-2a2+2aa-a22≈
≈3a2-a3+Oa4
При любом 0<a<1: 3a2>a3.
Тогда H<ln3.