Надежность информационных систем

Введение

Строгое понятие термина информации, а именно количества информации, получило только в 60-х годах ХХ столетия, хотя это слово – от латинского informatio – разъяснение - известно давно и использовалось широко для обозначения процесса и сведений их передачи или получения.
Потребности для использования теории связи привели к распространению комплекса идей, составивших теорию информации. Эта теория в ее нынешнем виде - это научная дисциплина, которая изучает способы хранения и передачи информации наиболее экономными и надежными методами. Но, являясь разделом кибернетики и математики, теория информации используется в широком круге задач в самых разнообразных областях знания.
Одной из дат рождения этой дисциплины считается 1947 год - год, когда опубликованы труды «Математическая теория связи» Шеннона и «Кибернетика» Винера. Нисколько не уменьшая заслуг этих выдающихся американских ученых, отметим, что в областях науки задолго до выхода этих работ появлялись всякие идеи, на базе которых сформировалась теория информации в нынешнем виде.
Впервые высунул идею о связи информации и вероятности высказал известный британский статистик Рональд Фишер. Также ряд результатов, сыгравших одну с основных ролей в формировании современной теории информации, был сформулирован еще в XIX веке в физике.
Например, на базе работ, выполненных Больцманом, стало возможным повязать понятия вероятности и меру необратимости тепловых процессов, получившей популярное название «термодинамическая энтропия». Далее понятие энтропии, уже применительно к процессам трансляции сигналов стало, вместе с понятием количества данных, главным в теории информации.


1. Мера количества информации

В современной теории информации понятие информации точно не определено. Но необходимыми и достаточными условиями для построения теории является термин количества информации. Некоторое количество информации должно быть определено через нечто, что присущее всему многообразию информации, оставаясь нечувствительным к смыслу или ценности информации. Общим является также факт проведения экспериментов и наличие неопределенности в исходе эксперимента. Если бы получателю было бы известно до опыта, какое сообщение он может получить в результате проведения, то получив его, он не приобрел бы любого количества информации.
Понятно, что после проведения экспериментов ситуация становится более определенной, поскольку либо можно ответить на вопрос, что стоял перед проведением исследования, либо число всевозможных ответов, а, следовательно, неопределенность будут уменьшаться. Количество снятой неопределенности после проведения эксперимента можно считать количеством информации, что было получено во время этого эксперимента.
Мера количества информации отвечает следующим понятным свойствам:
1. Количество получаемой информации будет больше в испытании, в котором будет больше число всевозможных исходов:
если >. (1)
Тут I – это количество информации, а k, r - число всевозможных исходов.
2. Испытание только с одним исходом, (когда имеет место одно достоверное событие), имеет количество информации, что равное нулю:

. (2)
3. Количество информации в независимых испытаниях равняется сумме количеств информации для каждого из них:
(3)
Единственной функцией от количества возможных исходов, отвечающей требованиям, является логарифмическая зависимость. Таким образом, когда после испытания неопределенность совсем отсутствует, то количество данных после испытания с некоторыми k исходами равны
(4)
В этой формуле предполагается, что исходы равновероятны, то есть,
,
поэтому оно может быть записано в следующем виде
.
Основание логарифмов и константа c могут выбираться произвольно в силу тождества:
.
Получаем, что переход между системами с логарифмами сводится к умножению частей уравнения на постоянный множитель, который эквивалентен простой коррекции масштаба. Для удобства принимаем с=1, а=2, получим
(5)
Единица измерения информации при основании а=2 называется двоичной единицей - битом и соответствует тому количеству информации, который получается в результате испытания с равновероятными исходами.
Исследуем общий случай, когда все исходы не равновероятны.
Пусть в испытаниях X имеется ровно n исходов с наблюдаемыми вероятностями ), .
Тогда количество информации, которое получается при реализации определенного исхода , есть случайной величиной, равной
.
Но очень часто случайная мера информации очень неудобна для исследования, поэтому выполняют операцию усреднения количеств информации по определенным исходам. В последствии получим:
. (6)
Это соотношение определит среднее количество информации, что несет произвольный результат при условии, что в результате опыта неопределенность отсутствует.

2. Энтропия и ее свойства

Формулой (6) определяется среднее количество информации, что содержится в исходе , при том условии, что после выполнения испытания неопределенность отсутствует. В случае, когда после испытания и остается некоторая неопределенность, тогда в рассмотрение вводят понятие - энтропия.
Энтропия – это среднее количество неопределенности исхода до выполнения испытания.
Рассмотрим свойства энтропии информации.
1. Энтропия неотрицательна, то есть,
,
причем знак неравенства имеет место в случаях, когда испытания имеют несколько достоверных исходов.
2. При заданном параметре n энтропия максимальна и равняется , когда все результаты экспериментов, получаемые при проведении испытаний, являются равновероятными.
3. Средняя неопределенность до исследования совместного наступления любых из событий определяется выражением:
.
В этом случае идет речь о сложном испытании, включающем два более простых (X) и (Y) с такими вероятностями исходов:
,.
4.. Свойство определяется из выражения:
.
5. Неопределенность совместного наступления 2 событий является меньше суммы неопределенностей для каждого из них:
,
причем знак равенства может иметь место только тогда, когда исходы и независимы.
6.Если в событиях и статистически независимы для всех i и j, то