Информационный Завет. Основы. Футурологическое исследование

С первых строк статьи автор призвал очистить понятие информации от психологического содержания. Информация – физическая величина и точка.

Хартли указывал, что во время коммуникации каждый последующий выбор символа в цепочке делает сообщение более точным. Например, в предложении «Apples are red» первое слово исключает из нашего представления какие-либо другие фрукты («говорю о яблоках»), второе – заостряет внимание на свойствах данной категории фруктов («говорю о свойствах яблок»), третье – накладывает ограничение на мысль о других цветах и оттенках («говорю о красных яблоках»). Таким образом, чтобы высказывание обрело смысл, который мы хотим передать, надо сделать три последовательных шага. Взять первое слово, затем – второе и потом – третье. Если использовать только одно слово или расставить все слова в неправильном порядке, смысл исказится. Алгоритм нарушать нельзя.

Это общее рассуждение. Можно ли к этой логике применить математику? Хартли посчитал, что можно. Количество информации (мера Хартли) – это число последовательных шагов, которое нужно предпринять, чтобы сообщение обрело нужный смысл:

I = log

N

(здесь I – количество информации, N – количество всех возможных комбинаций).

Под «всеми возможными комбинациями» в приведённом выше примере понимается сочетание слов apples,are, red в любом порядке и в любом долевом количестве. Т.е. сообщение может быть таким: red are apples. Или: apples apples apples. Число возможных комбинаций – 27. И только одно из них обладает тем смыслом, который мы хотим передать. Напоминает творчество борелевских обезьян, не так ли?

Сыграем в игру. Она похожа на игру «да-нет» (вариант – «съедобное-несъедобное»), когда продвигаешься к ответу, отсекая лишние варианты.

У нас есть три слова (are, red, apples). Это заданная длина сообщения. Нам нужно найти фразу, имеющую смысл. Сделаем допущение: мы немного разбираемся в английском языке, и знаем, что сначала должно стоять подлежащее, затем – сказуемое, и замыкает фразу определение. И ещё одно допущение: фразы с повторяющимися словами не отражают нужный нам смысл.

Итак,

1. убрать варианты, где слова повторяются. Таких 21. Остаётся 6;

2. убрать варианты, где первое слово не apples. Таких 4. Остаётся 2;

3. убрать вариант, где второе слово не are. Остаётся один вариант.

Сравним с результатом вычислений по формуле Хартли. I = logN = log27, т.е. округленно 4,8 единиц информации. Или почти пять последовательных операций для преобразования информации из абракадабры в имеющую смысл. Но в нашей игре «да-нет» нам для этого понадобилось всего три шага. Формула Хартли неточна?

Да, это так. Но это не значит, что идея ошибочна. Напомню, что в примере со словами мы сделали несколько допущений, облегчив себе поиск истины.

Возьмём числа (с ними всегда проще и понятнее, чем с буквами и словами) и снова подвергнем формулу проверке.

Допустим, некто загадал число от 1 до 100. Я должен его угадать, использовав минимальное количество вопросов. Согласно формуле Хартли: I = logN = log100, т.е. примерно 6,6 шагов-вопросов мне понадобится. Округлим до 7.

Итак,

1. число больше 50? Ответ: нет.

2. число больше 25? Ответ: нет.

3. число больше 12? Ответ: нет.

4. число больше 6? Ответ: нет.

5. число больше 3? Ответ: да.

6. число больше 5? Ответ: нет.

7. это число 5? Ответ: нет. Значит, загаданное число: 4.

Теоретическое вычисление и практический результат совпали. Формула Хартли доказала свою состоятельность.

Надеюсь, читатель обратил внимание на то, что формула Хартли удивительно напоминает формулу Больцмана для определения величины энтропии термодинамической системы. Это не случайно.

Смысл меры Хартли состоит в том, что она отражает затраты, которые необходимо предпринять, чтобы перевести информацию из неупорядоченной в упорядоченную. И не просто затраты, а затраты минимальные.

И в примере с яблоками, и в примере с числами мы могли бы просто перебирать варианты. В первом случае нам понадобилось бы 27, во втором – 100 шагов (представьте, сколько бы сил и времени занял поиск текста «Гамлета» в творческой куче, которую сотворили обезьяны-машинистки!).

Мы поступили по-другому. Оказалось, что для любой информации есть короткий путь измерения её смысла или ценности, какой бы объёмной они ни была. У всякой информации есть цена. Формула Хартли вычисляет её.

По сути, теоретические работы Найквиста и Хартли – начала информационной теории. Информация, «очищенная от психологических факторов», становится физическим явлением, для которого впервые предложен математический способ измерения.

Машина Тьюринга

Широкой публике гениальный математик Алан Тьюринг (Alan Turing) известен, вероятно, как человек, разгадавший шифр «Энигмы»

. Благодаря чему цивилизованный мир победил нацистов. Если даже это и правда, то не вся. Главная заслуга Алана Тьюринга перед человечеством состоит в другом. В своих работах он описал то, что сегодня мы называем компьютером.

В год, когда Ральф Хартли предложил свою формулу для вычисления меры информации, великий математик Давид Гильберт (David Hilbert) сформулировал проблему разрешения (Entscheidungsproblem). Её суть сводится к тому, что у любой задачи (которую можно выразить с помощью букв или цифр) должен существовать алгоритм (порядок шагов для её решения). Если алгоритма нет (никто не может придумать), то задача не является разрешимой. Однако это не означает, что задача не может быть решена в принципе

.

Поясним сказанное на примере. Возьмём два числа: 25 и 100. Каков их наибольший общий делитель? Пойдём не интуитивно, а строго математически. От большего числа будем отнимать меньшее. В результате трёх последовательных вычитаний получим число, которое соответствует наименьшему числу, выбранному изначально (25). Тогда можно сказать, что наибольший общий делитель для 100 и 25 есть число 25. Или: 25 – наибольшая общая мера выбранных чисел. Принято говорить, что 100 и 25 – соизмеримые величины.

Приведённый порядок вычисления – известный ещё со времен Евклида (Euclid) алгоритм для поиска наибольшего общего делителя. Но что, если существуют задачи, для которых алгоритм указать нельзя?

Вообразим два других числа. Очень больших. Длиною в миллиарды миллиардов знаков. Попробуем найти их наибольший общий делитель. (Представляю, как вы чертыхаетесь).

Ну, хорошо – предоставим это компьютеру. Пусть попотеет. Сможет ли он выполнить порученную работу? Допустим, что сможет. Возникает вопрос: сколько времени это займёт? Ответ: неизвестно.

Это так называемая «проблема остановки». Мы не знаем, как долго будет работать вычислитель (человек или машина) над решением некоторых (математически сложных) проблем. Другими словами, мы не можем для них предложить алгоритм – порядок шагов, которые нужно предпринять, чтобы получить точный ответ.

В 1931 году математик Курт Гёдель (Kurt G?del) доказал, что во всякой сложной (с т. зр. логики и математики) умозрительной системе есть недоказуемые утверждения

. Т.е. они содержат такие величины, для которых невозможно придумать алгоритм. Это невычислимые величины.

При этом теория может быть верной. И величину можно вычислить в принципе. Но указать алгоритм вычисления нельзя. Способ Евклида для очень больших чисел работает плохо. Не исключено, что результата придётся ждать вечность.

Все эти математические ухищрения кажутся играми разума. Однако, критерий вычислимости (или, как говорят математики, алгоритмической неразрешимости) крайне важен в обычной жизни. Его существование позволяет метеорологам сохранять лицо и надёжно защищать персональные данные

.

Алан Тьюринг много размышлял над точным определением понятия «алгоритм». Ведь на проблемы, поставленные Гильбертом и Гёделем, можно посмотреть под другим углом

. Что такое вообще «алгоритм»? Можно ли его точно описать? И какие задачи можно решить с его помощью?

В 1936 году Тьюринг в работе «О вычислимых величинах применительно к проблеме разрешения» (On Computable Numbers, with an Application to the Entscheidungsproblem) описал универсальное вычислительное устройство (universal computing machine)

. Подробная схема работы этого гипотетического устройства есть во многих книгах по математике