Теория информации
Конспект лекций
назад | содержание | вперед

2. ВЕРОЯТНОСТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ КОЛИЧЕСТВА ИНФОРМАЦИИ

 

2.4 Условная энтропия. Свойства условной энтропии

Согласно правилу сложения энтропий количество информации, содержащееся в двух различных независимых сообщениях, равно сумме количеств информации, содержащихся в отдельных сообщениях. Однако если сообщение содержит часть другого сообщения, то количество информации от двух таких сообщений не будет равно сумме количеств информации от каждого сообщения по отдельности, а будет меньше. Большое значение для определения количества информации, содержащейся в статистически зависимых сообщениях, имеет понятие условной энтропии.

Пусть имеются два источника информации. Первый источник порождает символы с вероятностями , а второй источник  порождает символы с вероятностями . Поскольку сообщения зависимы, то заданного символа вероятности появления  символов

определяются условными вероятностями

Для фиксированного символа   совокупность условных вероятностей определяет частную условную энтропию

которая характеризует информативность сообщений  после того, как стало известен символ . Если частную условную энтропию усреднить по всем значениям , то найдем общую условную энтропию сообщений  относительно сообщений

С учетом выражений для частных условных энтропий можно получить такое выражение

Известно, что вероятность совместного появления двух статистически зависимых случайных величин  и  определяется равенством

Поэтому окончательное выражение для условной энтропии можно записать так

Основной смысл средней условной энтропии состоит в том, что показывает, какую энтропию дают сообщения , когда уже известна энтропия сообщений .

Приведем основные свойства условной энтропии.

  1. Если сообщения и  статистически независимы, то условная энтропия сообщений  относительно сообщений  равна безусловной энтропии сообщений , т.е. .
  2. Если сообщения и  статистически жестко зависимые, т.е. появление одного из них непременно влечет появление другого, то условная энтропия сообщений  относительно сообщений  равна нулю, т.е. .

Пример 2.4.1.  Известны энтропии двух зависимых источников информации и : бит, бит. Определить, в каких пределах может изменяться величины условных энтропий  и .

Решение. На рисунках представлены различные варианты взаимосвязей энтропий источников и .

При отсутствии взаимосвязи между источниками информации:

 

Если источники информации независимы, то бит, а бит.

И эти значения условных энтропий являются максимальными.
По мере увеличения взаимосвязи источников условные энтропии  и будут уменьшаться:

При полной статистической зависимости двух источников один из них не вносит никакой информации, поскольку при появлении  неизбежно следует , т.е.  при  и .  Поэтому.

При этом  бит. Поэтому  будет изменяться от 10 бит до 5 бит при максимально возможном изменении  от 5 бит до 0 бит.

 

 

наверх

 


назад | содержание | вперед