Информационный Завет. Основы. Футурологическое исследование

. Я расскажу о сути.

Допустим, вы располагаете какой-либо информацией. Её можно представить в форме последовательности знаков (букв или цифр). Вам нужно преобразовать информацию – что-то вычислить или сделать так, чтобы эту информацию было удобно передать. Тьюринг показал, что, получив от нас алгоритм (или, выражаясь современным языком, «компьютерную программу»), его устройство сделает эту работу.

Например, укажем универсальному вычислительному устройству, как переводить буквы английского алфавита в числа в двоичной системе счисления (напишем команды «Переведи a в 110 0001», «Переведи p в 111 0000» и т.д.). Т.е. дадим машине алгоритм. Если на входе у нас слово apples, то на выходе устройство выдаст: 110 0001_111 0000_111 0000_110 1100_110 0101_111 0011.

Теоретически существует алгоритм для любой задачи, какую только мы способны вообразить. Перемножить 100-значные числа. Предсказать завтрашнюю погоду. Выиграть в рулетку.

Однако «способны» не значит «можем».

То, что может, и есть «машина Тьюринга» (Turing machine). Абстрактная математическая модель, описывающая, тем не менее, реальный способ отделить вычислимость от невычислимости.

Позже был сформулирован тезис (принцип) Тьюринга-Чёрча (Church-Turing thesis or principle): всякая вычислимая функция вычислима машиной Тьюринга. Иначе говоря: если для определенной задачи можно создать алгоритм, по которому машина Тьюринга будет работать, то задача выполнима

.

Последствия конструирования схемы универсального компьютера были огромны. Математики получили точное представление об алгоритме как об универсальном способе преобразования информации. Инженеры могли перейти к созданию практических устройств, способных решить любую вычислительную задачу. А машины, пользуясь единым языком, могли бы не только обрабатывать данные, но и «общаться» между собой. Т.е. обмениваться информацией.

Архитектура фон Неймана

Джон фон Нейман (John von Neumann) – один из крупнейших математиков XX века. К его достижениям, например, принадлежит строгая математическая формулировка принципа неопределённости – базового тезиса квантовой теории. Формулировки Вернера Гейзенберга (Werner Heisenberg) и Эрвина Шрёдингера (Erwin Schr?dinger) – гуру квантовой механики – стали частными случаями интерпретации фон Неймана

.

Если Тьюринг подробно описал, что такое компьютер, то фон Нейман придумал, как именно он должен работать. Он предложил законы, по которым должно существовать современное вычислительное устройство.

В 1946 году в небольшой брошюре «Предварительное рассмотрение логической конструкции электронного вычислительного устройства» (Preliminary Discussion of the Logical Design of an Electronic Computing Instrument), написанной совместно Артуром Бёрксом (Arthur Burks), Германом Голдстайном (Herman Goldstine) и Джоном фон Нейманом, были изложены принципы компьютерной архитектуры (или, как говорили тогда, машинной организации)

:

1. «Языком» компьютера является двоичная система счисления (0 и 1).

2. Компьютер работает по программе – алгоритму указаний или команд.

3. И команды, и данные хранятся на одних и тех же элементах машины – т.е. информация, записанная в двоичном коде, может использоваться и в качестве указаний, и в качестве памяти для компьютера.

4. Наличие «внутренней классификации» – информация (команды и данные) разбита на единицы, каждая из которых пронумерована и доступна для извлечения в любой момент времени.

5. Команды исполняются строго последовательно – нельзя перейти к следующей команде, пока не выполнена предыдущая.

6. Алгоритм необязательно должен быть линейным – в зависимости от входных данных последовательность выполнения команд может меняться.

Фактически первый электронный цифровой компьютер был сконструирован за несколько месяцев до выхода упомянутой брошюры – в конце 1945 года. Его назвали «ENIAC» (Electronic Numerical Integrator and Computer).

В 1950 году при непосредственном участии фон Неймана группа метеорологов произвела на ENIAC первый успешный численный прогноз погоды. Всего на сутки, и вычисления заняли почти 24 часа, так что практическая польза от такого прогноза оказалась невелика

. Но лиха беда начало.

Летом 1951 году было презентовано новое устройство – IAS-машина или «машина фон Неймана» (учёный возглавлял проект). Размер памяти этого компьютера вмещал 1024 слова. Однако, «машина фон Неймана» работала в 240 раз быстрее, чем ENIAC. Эволюция современных компьютеров началась.

Архитектуру фон Неймана ещё называют «принстонской», поскольку над IAS-машиной учёный и его коллеги трудились в Институте перспективных исследований, расположенном в Принстоне.

Другая группа исследователей и конструкторов под руководством инженера Говарда Эйкена (Howard Aiken) работала в Гарвардском университете. Принципы организации вычислительных устройств, предложенные Эйкеном, называют «гарвардской архитектурой».

Гарвардская архитектура отличается от архитектуры фон Неймана тем, что данные и команды хранятся на разных элементах компьютера. С одной стороны, это увеличивает скорость обработки информации. С другой стороны, требуется больше деталей – резко увеличивается себестоимость устройства.

Поэтому в последующие годы возобладала более простая принстонская архитектура. Большинство современных компьютеров – потомки ENIAC, сконструированного по заветам Джона фон Неймана.

С использованием транзисторов в качестве переключателей вместо электронных ламп и электромеханических реле производство компьютеров значительно удешевилось. Начиная с 1960х гг. электронные вычислительные устройства удостоились наивысшей оценки, какую только способны дать люди вещам. Они стали массовым товаром.

Клод Шеннон и теория информации

Вернёмся немного назад во времени. За 20 лет до того, как Тьюринг придумал концепцию устройства, перерабатывающего информацию, и за 30 лет до того, как фон Нейман обосновал принципы работы этого устройства, в небольшом городке на берегу живописного озера Мичиган родился Клод Элвуд Шеннон (Claude Elwood Shannon).

Застенчивый и любознательный паренёк с детства любил возиться с техникой. Собирал авиамодели и модели радиоуправляемых лодок, чинил радиостанции для жителей провинциального Гейлорда.

Его совсем не занимали вопросы политики или религии. Он был одиночкой, не слишком разговорчивым даже с коллегами по научной работе. По словам жены, Шеннон «спал, когда хотел спать, и часто проводил часы за кухонным столом, обдумывая идеи». Вместе с тем, он постоянно что-то придумывал и изобретал

.

Одним словом, Шеннон был мыслителем-универсалом, виртуозно владевшим математической теорией и применявшим её для решения разнообразных практических вопросов. Причём внешняя оценка его не волновала. Ему просто нравилось думать.

С 1940 по 1941 год Клод Шеннон работал в принстонском Институте перспективных исследований (Institute for Advanced Study, сокр. IAS), где встречался и беседовал с Джоном фон Нейманом. Именно он, к тому времени уже маститый профессор, посоветовал молодому аспиранту рассмотреть понятие энтропии применительно к информации.

В те годы кафедру Массачусетского технологического института (Massachusetts Institute of Technology, сокр. MIT) возглавлял Норберт Винер, уже снискавший в научном мире авторитет благодаря работам по теории вероятностей, статистике, теории чисел и др. Винер сформулировал понятие о новой науке, рассматривающий информационный обмен в сложных системах, – кибернетике. В 1941 году Шеннон защитил докторскую диссертацию в MIT и позже, конечно, внимательно следил за работами Винера, где рассматривались вопросы движения информации

.

В 1943 в США прилетел Алан Тьюринг, чтобы обменяться с союзниками наработками в деле расшифровки немецких военных кодов. Он встретился с Шенноном и, в частности, показал свою работу, посвященную универсальной машине.

Спустя три года впервые в литературе появляется термин «bit» (сокращение от англ. binary digit) как единица измерения информации – в научный обиход его ввёл математик Джон Тьюки (John Tukey).

Вот краткая хронология событий, предшествовавших появлению в 1948 году знаменитой статьи Клода Шеннона «Математическая теория связи» (A Mathematical Theory of Communication)

. Усилия многих учёных (в основном – математиков), иногда действовавших совместно, иногда конкурировавших друг с другом, привели к рождению того, что мы называем теорией информации. Без всякого преувеличения этот факт можно сравнить с появлением теории эволюции Дарвина и общей теорией относительности Эйнштейна.

До этой работы об информационном обмене рассуждали исключительно с утилитарных позиций. Считалось, например, что передача информации полностью зависит от свойств канала коммуникации. Если канал слишком «шумный», то передать сообщение невозможно. Поэтому надо работать над «информационной проводимостью» линий передачи, учитывая характеристики металлических сплавов и т. д. О свойствах собственно информации почти никто не задумывался.

Шеннон взялся за решение проблемы, сначала рассмотрев общие вопросы. Он ввёл понятие «информационной энтропии», предложив формулу:

H = – (p

log

 p

 + p

log