Рассмотрим два сообщения: «Каин убил Авеля» и «инилА ваКу лебя». Оба они состоят из одинаковых 15 знаков, но первое – вполне осмысленно, т.е. содержит информацию, а второе представляет собой случайную последовательность букв и никакой информации не содержит. Согласно формуле (8), однако, с ними обоими связано одно и то же количество информации –около 45 битов. Если принять это утверждение за истинное, то отсюда следует, что информация может быть лишена семантики, что на самом деле нонсенс, ибо бессмысленной информации не бывает. Но возможен другой выход из этого противоречия: считать, что формула (8) является мерой не количества информации, а емкости информационной тары. Первая фраза – это тара, «полностью загруженная информацией», а вторая фраза это совершенно пустая тара. Очевидно, что емкость тары не зависит от того, загружена она или нет, полностью загружена или частично, а также от того, чем именно она загружена. Если тара заполнена, то ее емкость может служить мерой количества содержащегося в ней груза. Эти простые соображения позволяют сделать три вывода. Во-первых, если H-функцию считать емкостью информационной тары, то ее в равной мере можно прилагать и к осмысленным, и к бессмысленным наборам символов, которые могут служить носителями информации. Во-вторых, одни и те же единицы измерения, биты, можно применять для оценки и емкости тары, и количества информации, которая в ней может содержаться. В-третьих, при измерении в битах количество информации В, содержащейся в сообщении, заключено в интервал 0?В?Н, где Н – емкость составляющих сообщение носителей информации. Н сообщения, таким образом, – это верхняя граница того количества информации, которое может в нем содержаться, причем В = Н только при абсолютно компактном тексте. К этим же выводам можно прийти и другим путем, рассматривая смысловое содержание понятия «избыточности», или условную вероятность встречаемости i-ro символа после 1-го, 2-го и т.д., а также после разных сочетаний двух, трех и т.д. символов [11]. При таком подходе легко показать, что величина Н имеет максимальное значение только при совершенно случайном расположении символов в сообщении, а при возрастании его осмысленности величины pi независимо от i, стремятся к единице, а Я стремится к нулю. В нашей интерпретации это выглядит вполне естественным: по мере заполнения тары информацией свободного места в ней остается все меньше. Если перед правыми частями формул (6)-(8) не ставить знак минус, как это делал Н. Винер [5], то величина Н будет меньше или равной нулю и будет обозначать количество недостающей в таре информации до ее полного заполнения. Естественно, что эта величина имеет минимальное значение лишь при совершенно случайном расположении составляющих сообщение букв. — 39 —
|