Информация как основа жизни

Формула Шеннона

Возникновение классической теории информации было инду­цировано развитием технических систем связи, призванных слу­жить обмену информацией между людьми. Подчеркнем – технических систем, работа которых определяется законами физики, т.е. законами материального мира. Задача оптимизации работы таких систем требовала, прежде всего, решить вопрос о количестве информации, передаваемой по каналам связи. Поэтому вполне естественно, что первые шаги в этом направлении сде­лали сотрудники Bell Telephon Companie – X. Найквист, Р. Харт­ли и К. Шеннон [3].

В 1924 г. X. Найквист предложил измерять количество ин­формации, приходящееся на одну букву текста, передаваемого по каналу связи, величиной Н-1/п, где п – число букв в используемом языке. Спустя четыре года Р. Хартли, исходя из требования аддитивности, в качестве такой меры начал приме­нять логарифм этой величины, т.е. log(1/n). Двадцать лет спустя, в 1948 г., К. Шеннон для этой же цели ввел величину

(6)

где Hi – количество информации, связанное с i-ой буквой алфа­вита, pi – частота встречаемости этой буквы в данном языке, q - основание логарифмов, а k – коэффициент пропорционально­сти, величина которого зависит от q и от избранных единиц измерения количества информации; знак «минус» перед k по­ставлен для того, чтобы величина Hi всегда была положитель­ной. Тогда суммарное количество информации для сообщения, состоящего из М букв, будет

(7)

где mi – число i-х букв в сообщении

К. Шеннон показал, что с увеличением длины сообщения М почти всегда будет иметь «типичный состав»: (тi/М ? рi). Сле­довательно,

(8)

В случае бинарного кода, когда n = 2, а р1 = р2 = 0,5, q=2 и k=1, количество информации Нм становится равным М и вы­ражается в так называемых бинарных единицах – битах.

Приведенные формулы послужили К. Шеннону основанием для исчисления пропускной способности каналов связи и энтро­пии источников сообщений, для улучшения методов кодирова­ния и декодирования сообщений, для выбора помехоустойчивых кодов, а также для решения ряда других задач, связанных с оп­тимизацией работы технических систем связи. Совокупность этих представлений, названная К. Шенноном «математической теорией связи», и явилась основой классической теории инфор­мации.