В результате теперь нам приходится мириться с существованием двух различных понятий, которые обозначают одинаковым словом — информация.
В обыденной жизни информация тесно связана со смыслом сообщения и не поддается количественной оценке.
В математической теории информация непосредственно не связана со смыслом сообщения, но зато может быть оценена количественно.
В ателье дамского платья вошла молодая женщина. Она огляделась, удовлетворенно улыбнулась, увидев в углу помещения столик с лежащими на нем журналами мод, удобно расположилась на стуле и стала не спеша перелистывать один журнал за другим. В это время ей не стоит мешать. Она собирает крайне важную для нее информацию. В ее мозгу кипит работа, связанная с переработкой этой информации; она сравнивает поочередно различные фасоны, оценивает цвета и фактуру материи, мысленно примеряет к себе одно платье за другим. Каждое из этих воображаемых действий полно для нее смысла; для нее полна смысла информация, которую она собирает и обрабатывает. Ей предстоит сделать отчаянный шаг — выбрать фасон платья. При этом выборе далеко не последнее значение имеют такие загадочные психологические факторы, как решительность, вкус, рассудительность и другие. Читатель понимает, что здесь за словом «информация» скрывается привычное понятие, связанное с получением интересных и важных сведений, которые никакой непосредственной количественной оценке не поддаются.
А в противоположном углу помещения, за другим столом, сидит другая женщина — приемщица. Она сидит здесь уже не один год и привыкла не обращать внимания на внутреннее состояние посетительниц. Но поскольку по роду службы вынуждена с ними общаться, то и ей также приходится собирать и обрабатывать информацию. Что же интересует приемщицу?
Прежде всего ее интересует, будет ли молодая женщина, листающая журналы мод, заказывать платье. Да или нет? Этот вопрос отметает в сторону колебания и сомнения, соображения и размышления посетительницы, до которых приемщице нет дела. Ответ «да» или «нет» разрешает неопределенность, возникающую перед ней каждый раз при появлении в ателье новой посетительницы. И вот здесь начинаются те рассуждения, которые привели к новому понятию термина «информация».
Дело в том, что ситуации и вопросы, требующие одного из двух возможных ответов: «да» или «нет», — возникают перед человеком все время и в связи с самыми разными обстоятельствами:
Будет ли завтра дождь?
Вы на следующей остановке сойдете?
Есть ли в киоске «Огонек»?
Ты идешь в кино?
Включен ли ток?
И вот математики и инженеры договорились считать, что ответ на такой «простой» или, как его называют, двоичный, вопрос содержит одну единицу информации. Эту единицу назвали «бит».
Значит, независимо от смыслового содержания вопроса ответ на него содержит один бит информации, если он сводится к выбору между «да» и «нет».
Вернемся в ателье. Представим себе, что все модели фасонов, изображенные в журналах, снабжены сквозной нумерацией. Второй вопрос, который интересует приемщицу: «Какой фасон выбран заказчицей?» Число возможных вариантов ответа на этот вопрос дает наша нумерация, их может быть 200, 500, 1000. Чем из большего числа вариантов производится выбор, тем более неопределенной и сложной становится ситуация выбора. Понятно, что тем больше информации несет ответ на такой вопрос.
Теория информации, используя единицу измерения информации (бит), позволяет оценить количество информации, содержащейся в ответе на сколь угодно сложный вопрос, то есть предполагающий множество возможных вариантов ответа.
Понять, как такая оценка производится, проще всего на примере известной школьной задачи, в которой спрашивается, сколько взвешиваний нужно произвести, чтобы среди восьми шариков, одинаковых по внешнему виду, обнаружить один более легкий, чем семь других. Решать эту задачу можно различными способами. Можно один шарик выбрать в качестве эталона и с ним сравнивать остальные. При этом число взвешиваний, необходимых для решения задачи, заранее точно определить нельзя, поскольку выбор эталона, так же как и порядок сравнивания с эталоном других шариков, имеет случайный характер. При неудачном стечении обстоятельств может понадобиться шесть взвешиваний.
Другой способ всегда безошибочно приводит к цели в результате трех взвешиваний. При первом взвешивании следует положить на обе чашки весов по четыре шарика. Это дает возможность сразу вдвое уменьшить неопределенность выбора, выявив, в какой из двух групп находится более легкий. При следующем взвешивании эту группу надо разделить пополам. Третье взвешивание даст возможность найти легкий шарик.
Обратите внимание на то, что эта задача сводится к отысканию ответа на восьмеричный вопрос (какой из восьми шариков легче?), а каждое взвешивание отвечает на один двоичный вопрос. Следовательно, один восьмеричный вопрос можно свести к трем двоичным вопросам, и, значит, ответ на него будет содержать три единицы информации. При 16 шариках потребуется четыре взвешивания, ответ будет содержать четыре единицы информации и т. д.
Если заказчице в ателье предстоит выбрать один фасон из тысячи, то ответ на второй вопрос приемщицы содержит около десяти единиц информации (действительно, ведь 210 = 1024).
Русский алфавит содержит 32 буквы (если не различать букв «е» и «ё»). Задание одной из букв согласно сейчас сказанному соответствует заданию пяти единиц информации. Значит, не вникая в содержание текста, напечатанного на этой странице, можно количественно оценить информацию, которую он содержит. Для этого надо умножить число печатных знаков на пять, что составит примерно 10 тысяч единиц информации, то есть 10 тысяч бит.
Изображение на экране телевизора представляет собой около 500 тысяч световых точек различной яркости. При хорошем качестве изображения можно различить до восьми градаций яркости каждой точки. Значит, каждая точка телевизионного кадра несет три единицы информации, а кадр в целом — полтора миллиона единиц информации.
Подобным же образом определяется количество информации, передающейся при устной речи. Как буква является основным элементом письменной речи, так элементами устной речи считают отдельные звуки; их называют фонемами. Количество фонем языка, конечно, не совпадает с количеством букв алфавита этого же языка. Ведь во время разговора одна и та же буква в разных случаях может звучать по-разному (ее произносят мягко или твердо, она может находиться под ударением или нет). В результате ряда лингвистических исследований были выделены 42 различные фонемы русского языка. Значит, грубо говоря, можно считать, что каждый произносимый нами звук содержит около 5,4 бита. Умножая эту величину на число звуков, произносимых за время разговора, можно определить количество информации, которым обменялись собеседники.
Точно так же можно определить количество информации, которое содержится в музыкальном произведении, в фототелеграмме, в любом сообщении, передаваемом самыми различными способами, посредством самых различных сигналов.
Итак, казалось бы, что математически вопрос о количестве информации, содержащейся в том или ином сообщении, решается очень просто. Необходимо выяснить возможное число различных вариантов этого сообщения и найти логарифм этого числа при основании два.
В действительности, однако, теория информации только начинается с этих элементарных соображений. Вспомните, читатель, вопросы, которые мы задавали, рассказывая историю изобретения паровой машины: «Могла ли изобрести паровую машину тетя Уатта?», «Можно ли, сложив два семизначных числа, получить в ответе бутерброд с маслом?» Формально их можно рассматривать как обычные двоичные вопросы, ответы на которые требуют выбора между «да» и «нет» и, следовательно, несут каждый одну единицу информации. Теория информации не ограничивается таким формальным подходом. Она учитывает не только число возможных вариантов ответа, но еще и вероятность того или иного из этих вариантов.
Заведомо известно, что, сложив два числа, нельзя получить в ответе бутерброд с маслом. Вероятность такого исхода заведомо равна нулю. И наоборот, вы можете быть уверены, что в 100 процентах случаев сложения двух чисел бутерброда с маслом в ответе не будет. Вероятность такого неизбежно отрицательного исхода считают равной единице. Но если ответ на вопрос заранее известен, то, значит, никакой неопределенности он не содержит. Чему же равно количество информации, которое содержит такой заранее известный ответ?
Здравый смысл подскажет каждому, что оно равно нулю. Именно такой ответ дает теория информации. Как видите, математическая теория и здравый смысл имеют много общего и зачастую приводят к одинаковым выводам.
Если бы приемщица ателье систематически вела учет числа посетительниц и отдельно учитывала число заказчиц, то в течение многих лет работы она накопила бы обширный, полезный для нее статистический материал.
Пусть, например, приемщица установила, что в среднем за много лет из каждых двух посетительниц одна становится заказчицей. Значит, одинаково вероятны оба варианта ответа на вопрос, станет ли заказчицей очередная посетительница. Вероятность каждого из ответов оценивают при этом величиной 0,5. Именно в этом и только в этом случае, то есть если оба возможных ответа на двоичный вопрос одинаково вероятны, в теории информации считают, что ответ на двоичный вопрос содержит одну единицу информации. Точно так же ответ на четверичный вопрос содержит две единицы информации только при условии, что одинаково вероятны все четыре варианта ответа.
Итак, если вероятность одного из ответов на двоичный вопрос равна нулю, то равно нулю количество информации, содержащейся в ответе на такой вопрос. Если оба ответа одинаково вероятны, то количество информации, которую несет ответ на вопрос, равняется единице.
Но пусть приемщица ателье в результате опыта установила, что в среднем только одна из двадцати посетительниц становится заказчицей. Какое количество информации содержится в ответе все на тот же вопрос: «Станет ли очередная посетительница заказчицей?»