Количество информацииКоличество информации. В вероятностно-статистической теории связи (именно эта теория положила начало теории информации) информация определяется как противоположность неопределенности, как уменьшаемая неопределенность (энтропия). Исходя из этого, количество информации – это степень уменьшенной, снятой неопределенности в результате передачи сообщений.

В случае, когда событие может иметь два равновероятностных значения (из возможных двоичных ответов на двоичный вопрос – «да» или «нет»), то оно представляет собой минимальное количество информации. Это ответ передается по каналам связи в виде физического сигнала, имеющего одно из двух равновероятностных значений – «0» или «1». Такому двоичному ответу на один из двоичных вопросов, передаваемому по каналам связи с помощью физического сигнала, и соответствует минимальное количество информации, которое Клод Шеннон назвал «бит» (binary digit – двоичная цифра).

В процессе дальнейшего развития статистической теории информации была выработана формула количества информации, которую можно применять и в непрерывных процессах. Статистическая теория изучает информацию на уровне знаков и статистических соотношений между ними, поэтому она синтаксическая. Она исходит из предпосылки, что алфавит знаков задан, а вероятности соответствуют частотам их появления и выражаются функциями распределения. Если это не соблюдается выразить информацию в двоичной форме и определить ее количество не представляется возможным. Таким образом, главная задача статистической теории – это обеспечение правильности передачи сигналов, физических носителей информации, которые рассматриваются без учета других важных свойств информации – ее содержания, смысла, ценности.

Однако в практической деятельности человек часто сталкивается именно с этими свойствами информации, и поэтому в рамках математической теории информации стали разрабатываться другие, нестатистические подходы к определению количества информации. В настоящее время известен целый ряд так называемых теоретико-множественных подходов: алгоритмический, динамический, комбинаторный, топологический. Наряду с этим, в последнее время развиваются математические исследования возможности измерения не только количественных но и качественных свойств информации – ее смысла, ценности, полезности. Развиваются так называемые семантическая и прагматическая концепции информации.

Несмотря на различие математических теорий информации (синтаксической, семантической, прагматической), в них есть много общего, и главное – это понимание информации как уменьшенной неопределенности, поддающейся количественному измерению. Однако для многих видов социальной информации это означает, что ее содержание, смысл и ценность измеряются в знаках, строках, страницах, хотя хорошо известно, что одна и та же информация имеет для различных людей различные смысл и ценность. Следовательно, существующие математические теории применимы только там, где необходимо и есть возможность измерить информационную емкость определенных материальных систем, пропускную способность определенных каналов связи, количество передаваемой в сообщении информации, т. е. некоторые количественные характеристики качественных свойств информации.