Энтропия информации

Главная       Учебники - Компьютеры      Электронная информатизация и электронные ресурсы

 поиск по сайту     

 

 

 

 

 

 

 

 

 

содержание   ..  10  11  12  13  14  15  16  17  18  19  20  ..

 

 

 

2.2. Энтропия информации

Можно ли измерить информацию так же, как измеряют температуру? Подчеркнем, мы говорим о мере информации, а не об объеме подготовленного документа, который легко замерить в страницах, выразить в количестве символов, знаков или букв, в количестве бит или байт. Ответ простой — можно, но сложно. Для этого нам следует напомнить некоторые общие положения статистической физики, которые мы постараемся адаптировать для нашего читателя, как правило, не физика.

Второй закон термодинамики гласит, что в замкнутой, не подверженной внешнему воздействию, системе все изменения идут в одном направлении, а именно: любая система стремится к достижению состояния наибольшего равновесия. Житейски настроенный ум легко с этим согласится. Действительно, если уж куда-то и двигаться, то лучше к спокойному равновесию, а не к опасной неустойчивости. Итак, в жизни замкнутых систем более вероятно движение в сторону равновесия.

Следующий микроблок рассуждений касается соотношения порядка и беспорядка. Более вероятными, более равновесными являются неупорядоченные системы, в которых все параметры — положение компонентов, их скорости и т. п. — размыты в довольно широком диапазоне.

Быть может, вам покажется наглядным пример с идеальным кристаллом обыкновенной поваренной соли (хлористый натрий). Если кристалл идеален, в нем нет примесей, дефектов и дислокаций, то для его описания в целом и описания положения каждого иона внутри него при фиксированной температуре достаточно совсем небольшого количества информации:

1) состав химических компонентов (ионы хлора и натрия);

2) тип симметрии кристалла (кубический);

3) размер кристалла (или его вес);

4) положение центра кристалла и

5) его ориентация в пространстве.

Этих пяти позиций вполне достаточно для того, чтобы с очень высокой точностью (вплоть до проявления квантовых эффектов неопределенности) описать положение каждого из многих миллиардов ионов в кристалле. Все дело в жесткой предопределенности строения, «привязке» каждого иона к точно вычисляемому месту в идеальном кристалле. Стоит появиться каким-то неидеальным элементам — примесям калия или иода, дефектам (трещинкам), дислокациям (смещениям) ионов от равновесного положения и т. п., — как картина существенно осложняется и для описания, даже вероятностного, потребуется огромное количество данных. Итак, более вероятным является неидеальный кристалл; точно так же и горные кристаллические породы рано или поздно будут перемолоты в глину и песок, этот
процесс направлен в сторону достижения более вероятных состояний.

В статистической физике мерой термодинамической уравновешенности системы является энтропия. Любая система стремится перейти от упорядоченного состояния (это состояние с малой энтропией) к неупорядоченному (то есть состоянию с большой величиной энтропии). Как определяет сетевой словарь WWW.hyperdictionary.com, энтропия — это мера беспорядка в системе. Кстати, одним из первых комплексный подход к измерению информации предложил Клод Шеннон |9| на заре становления компьютерной эры.

Стакан, наполненный абсолютно чистой водой, обладает малой энтропией, — вы заранее знаете, какие молекулы там содержатся. Стакан с грязной водой демонстрирует намного большую неопределенность. — кто знает, что там намешано! Поэтому в замкнутой системе процесс всегда пойдет в направлении загрязнения воды в стакане, а не в направлении ее само-очистки.

Энтропия имеет самое непосредственное отношение и к количеству информации, содержащейся в системе. Высокоупорядоченную систему можно описать немногим числом бит информации (мы помним из информатики о битах — минимальных единицах для количественного выражения информации). И наоборот, для описания неупорядоченной, дезорганизованной системы потребуется намного большее количество бит. Например, ряд, состоящий из одного миллиона единиц, можно записать в одной из возможных кодировок просто как х («О», 1 000 000).

А ряд случайно сгенерированных символов (бит, знаков) записать существенно сложнее, если вообще возможно. Поскольку информация снижает неопределенность, то можно говорить об уровне неопределенности.

Существуют различные определения энтропии, касающиеся разных отраслей науки и техники. Поэтому разумнее слово «энтропия» сопровождать дополнением и говорить о:

• термодинамической энтропии;

• энтропии в теории информации;

• энтропии в экономике;

• энтропии в экологии и т. д.

Можно лишь предполагать эквивалентность всех этих понятий, что мы, за неимением другого, и будем делать в дальнейшем.

Основатель кибернетики Норберт Винер в своей классической работе «Кибернетика» (Norbert Wiener. «Cybernetics or Control and Communication in the Animals and the Machine. The MIT Press. Cambridge, Mass., 1965) 1181 отмечал: «Также, как количество информации в системе является мерой ее организованности, так и энтропия системы является мерой ее дезорганизованности, и одна просто является негативом другой». Понятие «энтропия» применительно к теоретической информации было введено в обиход в 1948 г. уже известным нам Клодом Шенноном. Инженер крупной американской телефонной компании «Белл» (Bell Laboratories) Клод Шеннон занимался изучением способов подавления так называемого белого шума, мешающего телефонным переговорам. Этот шум проявляется как шорох и при его чрезмерном усилении передача полезного сигнала невозможна. В связи с этим К. Шеннон интересовался определением количества информации. Свои результаты он опубликовал в 1948 г. вначале в статье «Математическая теория коммуникации» (Mathematical Theory of Communications) в техническом журнале, выпускаемом своей компанией (Bell Systems Technical Journal), а затем и в ставшей классической монографии, на которую мы уже ссылались [9|.

Ну, а сейчас — немного математики из работ Шеннона (читателям, не знаюшим или испытывающим неприязнь к математике, эту часть можно пропустить).

Для процесса, имеющего $n$ возможных исходов (событий), вероятность какого-то конкретного события определяется выражением:

P=P1,P2.P3, ...Рn

Итак, неопределенность является функцией. К. Шеннон сформулировал несколько аксиом и показал, что если связать информационную энтропию с термодинамической энтропией
то, приняв для константы Больцмана «к» значение 1, а для логарифма натуральное основание, получим:

 

 


В формуле Шеннона энтропия Н(М) некоего сообщения М выражается в битах следующим образом: Н(М) = log2р(М). где р(М) — вероятность послания М.

Например, если по проводам передается послание из двух букв АП, то первая буква содержит больше информации, чем вторая, поскольку она может быть любой из букв апфавита. В английском языке если первая буква послания — «q», то выбор для второй буквы очень ограничен, ибо в английском языке вслед за буквой «q» обычно идет буква «и», иными словами, мы уже заранее знаем, что может появиться.

В заключение этого раздела мы хотели бы особенно подчеркнуть, что количество энтропии в сообщении не связано прямым образом с ценностью сообщения. Можно потратить массу бит информации и передавать незначащую информацию, не содержащую нового знания, а можно в кратких и точных выражениях сказать то. что вы хотели бы поведать миру и людям. Обращаясь к нашему примеру с кристаллом, можно предположить. что для многих людей чистый правильный кристалл как-то симпатичнее стакана с грязной водой или горки песка. Точно так же неуклонное движение к неупорядоченному состоянию не имеет приложений к открытым системам, в том числе к возникновению, развитию и/или возможной гибели на Земле высокоорганизованных форм жизни и человечества в целом. Это уже выходит за рамки нашей книги, и желающим разобраться в проблеме мы предлагаем обратиться к другим источникам.