Yurate
22:03 10-01-2010
Начну бурчать про информацию.

Подход Шеннона понятен. Есть ограниченный набор мыслимых разумных сообщений из А в Б. У каждого своя вероятность (априорная, то есть "до опыта"). Скажем, бросает кадр в А монетку и сообщает в Б результат. Мыслимых сообщений - две штуки, "орёл" и "решка", у каждого априорная вероятность - 1/2. Когда что-то определённое выпало, его вероятность (апостериорная, после опыта) равна единице. Информации, по Шеннону, получено минус двоичный логарифм 1/2, то есть 1 бит.

В жизни как-то запутаннее. Мыслимых разумных сообщений, ожидаемых в Б из А, может быть до хрена. Их вероятности - хрен сосчитаешь. Кроме того, некоторые сообщения, по знакам различающиеся, могут быть синонимичными, совпадающими по смыслу для принимающей стороны в Б, как их учитывать - хрен знает.

К тому же, Б может вообще ничего не ожидать - и вдруг от А приходит депеша. Можно ли измерить количество полученной информации? Далее, у А может быть свой набор возможных сообщений, но он не знает, все ли будут понятны (то есть иметь смысл) для Б. Получается, что количество отправленной информации может быть не равно количеству информации полученной. Во, фигня!
Комментарии:
LEGA
22:53 10-01-2010
и А и Б всегда могут всегда задать вопрос - все ли понятно. И подать информацию более уточненно. Что в свою очередь снижает возможность искажения. Чем больше будет уточнений - тем более точной будет информация. Гейзенберг.)
Yurate
22:57 10-01-2010
Если А говорит на китайском, а Б - на североиндейском диалекте, они долго будут уточнять
LEGA
23:00 10-01-2010
Yurate это с учетом фактора времени) задача усложняется) А если взять что время равно бесконечности - то тогда они все таки поймут друг друга)
Yurate
23:02 10-01-2010
Ну да, есть шанс построить общий контекст. После чего разработать каждому свой тезаурус.
Но я возвращаюсь к количественной стороне: можно ли определиться с количеством посылаемой и принимаемой информации?
LEGA
23:06 10-01-2010
Yurate Если не путать качество и количество, то - сколько послано знаков - столько получено. Другое дело - качество их расшифровки. Сколько качественно расшифровано?
Yurate
23:07 10-01-2010
ну пять знаков послано
сколько информации получено?
LEGA
23:10 10-01-2010
пять знаков получено
а расшифровано от нуля до бесконечности
Yurate
23:12 10-01-2010
"10011" и "конец" - это одно и то же количество информации?
LEGA
23:17 10-01-2010
нет, конечно. ) И тогда уже лучше точнее с понятием информации давай определимся. Информации, которая измеряется в количественном или качественном варианте?
Yurate
23:18 10-01-2010
См. пост Меня интересует, с какого боку подойти к количественной оценке информации, содержащейся в отрезке текста.
LEGA
23:27 10-01-2010
С точки зрения бесконечности)