Начну бурчать про информацию.

Подход Шеннона понятен. Есть ограниченный набор мыслимых разумных сообщений из А в Б. У каждого своя вероятность (априорная, то есть "до опыта"). Скажем, бросает кадр в А монетку и сообщает в Б результат. Мыслимых сообщений - две штуки, "орёл" и "решка", у каждого априорная вероятность - 1/2. Когда что-то определённое выпало, его вероятность (апостериорная, после опыта) равна единице. Информации, по Шеннону, получено минус двоичный логарифм 1/2, то есть 1 бит.

В жизни как-то запутаннее. Мыслимых разумных сообщений, ожидаемых в Б из А, может быть до хрена. Их вероятности - хрен сосчитаешь. Кроме того, некоторые сообщения, по знакам различающиеся, могут быть синонимичными, совпадающими по смыслу для принимающей стороны в Б, как их учитывать - хрен знает.

К тому же, Б может вообще ничего не ожидать - и вдруг от А приходит депеша. Можно ли измерить количество полученной информации? Далее, у А может быть свой набор возможных сообщений, но он не знает, все ли будут понятны (то есть иметь смысл) для Б. Получается, что количество отправленной информации может быть не равно количеству информации полученной. Во, фигня!