Измерять и навязывать. Социальная история искусственного интеллекта

Измерять и навязывать. Социальная история искусственного интеллекта
Маттео Пасквинелли

Individuum. Внесерийное
Искусственный интеллект стремится «разгадать загадку разумности», ключ к которой лежит в тайной логике ума или глубинной физиологии мозга, – так принято считать. Философ науки Маттео Пасквинелли не согласен с этой теорией и строит собственную, которая основана на истории автоматизации труда, гонке за производительностью и желании общества постоянно оценивать человеческую жизнь. Прослеживая историю ИИ – от первого прототипа калькулятора конца XVIII века до современных алгоритмов машинного обучения, распознавания изображений и слежения, – автор показывает, почему у ИИ нет шансов стать злонамеренным «сверхразумом».

В формате PDF A4 сохранен издательский макет книги.

Маттео Пасквинелли

Измерять и навязывать. Социальная история искусственного интеллекта

Перевод Ивана Напреенко

Copyright © Matteo Pasquinelli, 2023

All rights reserved

The moral rights of the author have been asserted

© И. Напреенко, перевод с английского, 2024

© ООО «Индивидуум Принт», 2024

Предисловие переводчика

Книгу Маттео Пасквинелли, итальянского философа науки, можно отнести к критическим исследованиям искусственного интеллекта. Она четко очерчивает круг идейных противников автора в публичной сфере. Этот круг можно охарактеризовать двумя научно-популярными работами – на обе автор ссылается и обе переведены на русский. Это «Верховный алгоритм» Педро Домингеса и «Искусственный интеллект» Ника Бострома. По совпадению или нет, именно эти книги в 2016 году Билл Гейтс посоветовал прочитать желающим лучше понять, что такое ИИ, – дело было на одной из закрытых конференций Code, где «топовые инфлюэнсеры» из мира технологий и бизнеса обсуждают ближайшее будущее.

Книгу «Верховный алгоритм» Пасквинелли называет «примером корпоративной повестки». С первых же страниц Домингес берет читателя под ручку, используя узнаваемый тон, свойственный продавцам мечты: «Машинное обучение открывает новую главу в долгой, растянувшейся на миллион лет эволюционной саге: с его помощью мир сам почувствует, чего вы хотите, и сам под вас подстроится. Не надо даже волшебной палочки: окружающий вас мир – сегодня виртуальный, а завтра физический – станет похож на волшебный лес»[1 - Домингос П. Верховный алгоритм: как машинное обучение изменит наш мир. М.: Манн, Иванов и Фербер, 2016. С. 17.]. «Искусственный интеллект» – другая история. Волшебный лес Бострома сулит не исполнение (даже невысказанных) желаний, а мрачный финал, где «машинный сверхразум» изведет «всю Землю, а потом и обозримую Вселенную»[2 - Бостром Н. Искусственный интеллект: этапы, угрозы, стратегии. М.: Манн, Иванов и Фербер, 2016. С. 197.] на канцелярские скрепки.

Эти две работы воплощают тот взгляд, который Пасквинелли совершенно претит, – технологический детерминизм, предполагающий, что развитие техники определяет судьбу общества в однонаправленной истории все более совершенных достижений. На одном полюсе находится утопия блаженства, на другом – классический монстр, который губит незадачливого Франкенштейна. Общий знаменатель – это мистификация ИИ. Приписывая объекту таинственную самостоятельность, завороженный наблюдатель проецирует на него свои страхи и надежды.

Если в искусственном интеллекте и есть тайна, то ее механизм раскрыт еще Людвигом Фейербахом: немецкий материалист полагал, что человечество проецирует на высшее существо, Бога, свои лучшие качества и способности, отчуждая их от самих себя. Схожим образом человечество не опознает в ИИ собственные силы, знания и – на чем делает особый акцент Пасквинелли – труд и его разделение. Расплетая цепочки уравнений, скрытые в черном ящике искусственного интеллекта, философ демонстрирует их проблематичность. Так, например, разумность машины в первых нейронных сетях 1950-х годов была приравнена к задаче классификации изображений, что довольно далеко от моделирования мозга и когнитивных процессов, которым занимались, по собственным утверждениям, отцы-основатели современной технологической реализации ИИ. В результате таких уравнений за проявления «сверхразума» предлагается принимать игру статистических корреляций внутри колоссальных объемов данных, запущенную за счет применения психометрических методов к анализу визуальной информации.

Оптический элемент в социальной истории ИИ для автора книги особенно важен. Название оригинала (Eye of the Master) отсылает к выражению Энгельса, которое в отечественной переводческой традиции передают как «хозяйский глаз». Немецкий философ описывал этой метафорой контроль мастеров над рабочими, усилившийся с внедрением промышленных машин и достигший пика в фордизме. Также оно широко употреблялось на фабриках и заводах XIX века. Пасквинелли трактует словосочетание расширенно – как «индустриалистскую перспективу», согласно которой развитие средств производства трансформирует трудовые отношения и которую автор диалектически переворачивает.

Выбранное для перевода название – «Измерять и навязывать», – помимо уместной отсылки к работе Фуко, акцентирует предикаты ИИ, которые связаны с измерением и координацией рабочих процессов. Соответствующие задачи стали необычайно значимы для хозяев производств еще на заре промышленного капитализма в связи с масштабной трансформацией разделения труда. Но ИИ, в чем уверен Пасквинелли, древнее первых станков и уж тем более ЭВМ. Его корни уходят в известную человечеству на протяжении тысячелетий культурную технику алгоритмизации социальных, в первую очередь трудовых, практик. Иными словами, ИИ – это не только и не столько технологический артефакт, не «искусственный интеллект», а созидательная деятельность, захваченная и перестроенная технонаукой. Несколько утрируя мысль автора, можно предположить, что отношения между интеллектом и ИИ отражают образ двух рук, рисующих друг друга. Представим, что его анимировали и обнаружилось, что загадки предшествования здесь нет. Одну руку видно сразу, другая же, поначалу нечеткая, обретает объем и начинает все сильнее искажать ту, которая ее рисует.

Проблематичность стоящих за ИИ уравнений, о которой я упомянул, имеет и переводческое измерение. В отечественной традиции предложенное в 1957 году Джоном Маккарти выражение artificial intelligence принято передавать как «искусственный интеллект», хотя в СССР это выражение стало применяться к научным разработкам и исследованиям позднее, уже в 1970-е (я еще расскажу, почему). Насколько верна эта привычка, если русскому слову «интеллект» в английском соответствует, собственно, intellect? Понятие intellect предполагает способность мыслить и понимать, тогда как intelligence относится к применению этой способности на практике, например в форме получения и использования знаний и навыков. Соответственно, эта практическая форма и может быть описана через набор инструкций, то есть алгоритмизирована.

Пасквинелли приводит еще один интересный пример, который помогает понять, в какую цепочку уравнений вписан термин intelligence. В конце 1920-х годов, развивая теорию информации на основе выработанных внутри телеграфного дела техник, инженер Ральф Хартли предложил отказаться от выражения act of intelligence[3 - Букв. перевод «интеллектуальный акт».] – оно использовалось для описания работы операторов с принимаемым сигналом. Хартли указывал, что этот термин, обозначающий «интерпретацию сигнала», слишком психологичен и антропоцентричен, поскольку никакой интерпретации, то есть придания смысла сообщению, от оператора не ждут. От него требуется лишь декодировать сигнал, «определить последствия выбора в пользу одного символа при отказе от другого символа»[4 - Geoghegan B. D. Information // Digital Keywords: A Vocabulary of Information Society and Culture. Benjamin Peters (ed.). Princeton: Princeton University Press, 2016. P. 177.]. Смещение в пользу механистического понимания умственной деятельности также объясняет, почему слово intelligence в дальнейшем вошло в обозначение секретных служб Великобритании (Secret Intelligence Service) и США (Central Intelligence Agency). Подобные содержательные сдвиги вокруг и внутри понятия intelligence, которые не улавливаются понятием «разум» в русском языке, нашли выражение в проекте ИИ.

Рассматривая генеалогию ИИ, Пасквинелли сосредоточился на англо-американской линии проекта. Обогатить социально-историческую перспективу и общее понимание читателю поможет обращение к советскому опыту в этой области.

Расскажу об эпизоде из собственной биографии: в конце XX – начале XXI века мой отец работал в Российском НИИ Искусственного интеллекта. Согласно информации на все еще живом официальном сайте, эта организация была создана в 1991 году «Государственным Комитетом РСФСР по делам науки и высшей школы… на базе Государственной научной фирмы “Интеллектуальные технологии”, образованной научным коллективом, сформировавшимся в Сибирском Отделении АН»[5 - https://www.artint.ru/]. Это место работы регулярно ускользало из моей подростковой памяти, поэтому я нередко переспрашивал отца и всякий раз удивлялся ответу. Романтичное словосочетание «искусственный интеллект» плохо сочеталось с бесконечными таблицами Excel, которые я видел на экране отцовского компьютера. Я спрашивал отца, что он считает, и слышал в ответ – математические модели экономики для неполных данных. Причем здесь искусственный интеллект, думал я?

Полудетское удивление внезапно схватывает своеобразие советского проекта: кибернетика, а затем «искусственный интеллект» в СССР развивались как управленческая парадигма, призванная в первую очередь решать задачи плановой экономики, которая сталкивалась с нехваткой необходимых показателей. Вокруг термина «искусственный интеллект» – самой возможности машины мыслить – велись оживленные дискуссии в научных кругах в 1950-х и начале 1960-х годов, и лишь позднее он был аккомодирован в исследованиях и разработках. В 1968 году философ Эдвард Ильенков доказывал, что машинное мышление принципиально невозможно и, более того, разговоры об этом уводят от сути вопроса. «Проблема “Человек – Машина”, если покопаться в ней чуть поглубже, оказывается на поверку проблемой отношения Человека к Человеку, или, как выразился бы философ старой закалки, проблемой отношения Человека к самому себе, хотя отношения и не прямого, а “опосредствованного” через Машину», – это утверждение советского марксиста очень близко к тому, что говорит Пасквинелли[6 - См.: Ильенков Э. Об идолах и идеалах. М.: Политиздат, 1968. С. 32]. Последние исследования показывают, что на институциональную и культурную форму ИИ в СССР повлияло как нежелание признавать за машиной способность мыслить, так и общая ориентация на «ситуационное управление», за счет чего центральную проблему искусственного интеллекта начали понимать как контроль в комплексных системах (например, производстве и логистике)[7 - Kirtchik O. The Soviet scientific programme on AI: if a machine cannot ‘think’, can it ‘control’?// BJHS Themes, 2023. P. 8, 111–125.]. Но и на Западе, как утверждает автор этой книги, развитие ИИ стало продолжением «революции контроля», определившей рост информационных технологий в современном мире.

Главы книги Пасквинелли можно читать не последовательно: они похожи на отдельные исследовательские семинары, связанные общей перспективой и сквозными примерами. Сложный материал комбинируется с многообразием сюжетов, что требует от читателя внимания и концентрации. Однако усилия вознаградятся. Конечно, реконструированный ИИ предстает величественным и пугающим средоточием всеобъемлющей парадигмы «глаза Хозяина», эдаким гиперобъектом (если воспользоваться термином Тимоти Мортона), который подчиняет человеческий опыт алгоритмической логике квантификации, эффективности и оптимизации. Но вместе с тем интеллектуальное путешествие, предпринятое итальянским философом, оказывает духоподъемное и освобождающее воздействие. Лишая мистической автономности «верховный алгоритм», книга не приносит готовых рецептов того, как его расплести, но по меньшей мере определяет направление движения: вопрос о власти машин над человечеством есть вопрос политический, и ответ на него в конечном счете лежит в сфере отношений между людьми.

Иван Напреенко,

социолог, редактор журнала «Социология власти» и сайта о книгах и чтении «Горький»

Февраль 2024

Введение: ИИ как разделение труда

Частичное искусство отдельного машинного рабочего, подвергшегося опустошению, исчезает как ничтожная и не имеющая никакого значения деталь перед наукой, перед колоссальными силами природы и перед общественным массовым трудом, воплощенными в системе машин и создающими вместе с последней власть «хозяина»[8 - Маркс К. Капитал. Т. I. М.: Государственное издательство политической литературы, 1952. С. 429. Маркс также отмечает: «Позже мы увидим, что «хозяева» начинают петь совсем по-другому, когда им угрожает потеря их «живых» автоматов» (см.: Там же). – Здесь и далее, если не указано иное, прим. автора.].

Карл Маркс, «Капитал», 1867 г.

Все люди являются интеллектуалами… Это означает, что если можно говорить об интеллигентах, то нельзя говорить о неинтеллектуалах, ибо неинтеллектуалов не существует. <…> Нет такой человеческой деятельности, из которой можно было бы исключить всякое интеллектуальное вмешательство, нельзя отделить homo faber от homo sapiens[9 - Грамши А. Тюремные тетради. Ч. I. C. 343. М.: Издательство политической литературы, 1991.].

Антонио Грамши, «Тюремные тетради», 1932 г.[10 - Перевод скорректирован: итальянский термин gli intellettuali соответствует русскому слову «интеллектуалы» (в англоязычной традиции его передают как intellectuals). Однако в советской традиции перевода, ведущей отсчет с 1950?х гг., устоялся вариант «интеллигенты», который в силу конкретно-исторических коннотаций сужает понятие Грамши. При этом философ, безусловно, был прекрасно знаком с ролью, которая приписывалась интеллигенции в российской революционной традиции, и в размышлениях об особой социальной роли интеллектуалов отталкивался в том числе от этого. – Прим. пер.]

В XX веке мало кому пришло бы в голову считать водителя грузовика работником умственного труда, иначе говоря, интеллектуалом. Однако в начале XXI века внедрение искусственного интеллекта (ИИ)[11 - В России сложилась традиция переводить словосочетание artificial intelligence как «искусственный интеллект». «Интеллект» в русском языке соотносится с английским intellect, под которым подразумевается способность понимать и объяснять (ср. «разум»), однако у intelligence прямого аналога в русском нет, это слово означает способность получать и применять на практике знания и навыки (ср. «разумность»). В случаях употребления слова intelligence с определениями я буду следовать сложившейся традиции перевода. В случаях обособленного словоупотребления intelligence, помимо вариантов «интеллект» и «интеллектуальные способности», я буду также использовать слово «разумность», делая акцент на наблюдаемом комплексе качеств, которые указывают на их глубинный источник (собственно, разум) в случае с живыми существами. – Прим. пер.] в беспилотные транспортные средства и другие артефакты побудило иначе взглянуть на ручные навыки, в частности, на вождение, и обнаружить, что самое ценное в труде никогда не сводилось к ручному компоненту, а включало в себя когнитивные и кооперативные аспекты. Нужно признать, что благодаря исследованиям ИИ водители грузовиков примкнули к интеллектуалам[12 - Согласно Грамши, чья цитата открывает книгу, все люди могут считаться интеллектуалами в том смысле, что не существует труда, в котором отсутствует хотя бы «минимум созидательной интеллектуальной деятельности». Однако, как тут же поясняет философ, «не все люди выполняют в обществе функции интеллектуалов (так, о том, кто жарит себе яичницу или пришивает заплату на куртку, не скажут, что он является поваром или портным)» (см.: Там же). – Прим. пер.]. В этом есть парадокс и вместе с тем горькое политическое откровение: понадобилось усерднейшим образом развивать автоматизацию, чтобы увидеть, насколько глубоко «интеллектуальные способности» проявлены в занятиях и работах, которые традиционно считались сугубо ручными и неквалифицированными, – настолько, что ими пренебрегали и профсоюзы, и критическая теория. В нынешнюю цифровую эпоху лишь немногие социологи, например Ричард Сеннет, взяли на себя труд утверждать, что «делать значит думать». Этот же тезис историки науки Лисса Роберт и Саймон Шаффер выразили в изящном образе «разумной руки», которая и в ренессансной мастерской, и в индустриальную эпоху не сводилась к мышечной силе, направляя проектирование, изобретательство и научные прорывы[13 - Сеннет Р. Мастер. М.: Strelka Press, 2018; Roberts L. and Schaffer S. (eds). The Mindful Hand: Inquiry and Invention from the Late Renaissance to Early Industrialisation. Chicago: University of Chicago Press, 2007. О роли физического прикосновения в цифровую эпоху см.: Ladewig R. and Schmidgen H. (eds). Body and Society 28. Nos. 1–2. Special issue. Symmetries of Touch: Reconsidering Tactility in the Age of Ubiquitous Computing (2012).]. Отрицание разумности ручного труда и общественной деятельности, наблюдаемое нами сегодня, по-видимому, представляет собой симптом избыточного роста цифровой сферы и дематериализацию человеческой деятельности, которые нагнетают вокруг ИИ ауру таинственности.

Что такое ИИ? Согласно господствующей точке зрения речь идет о попытке «разгадать загадку разумности» [intelligence]. Ключ якобы лежит в тайной логике ума [mind] или в глубинной физиологии мозга, например в сложных нейронных сетях. В этой книге я утверждаю обратное: внутренний код ИИ заключается в имитации не биологического разума, а разумности труда и общественных отношений. Сегодня представляется очевидным, что ИИ – проект, направленный на сбор знаний, выраженных в индивидуальном и коллективном поведении, и их перекодирование в алгоритмические модели с целью автоматизации самых разных задач – от распознавания паттернов[14 - В случаях, когда речь идет о распознавании сугубо визуальных данных, которое исторически предшествует экстраполяции метода на невизуальную информацию, я использую устоявшийся перевод «распознавание образов». В других случаях, когда речь идет о расширенном применении метода, – «распознавание паттернов». – Прим. пер.] и манипулирования объектами до перевода с языка на язык и принятия решений. Как это бывает с типичными эффектами идеологии, «ключ» к загадке лежит на самом видном месте, но никто его не замечает – да и не хочет замечать.

Вернемся к беспилотным автомобилям. Какую работу выполняет водитель? И в какой степени ИИ cпособен эту деятельность автоматизировать? Беспилотное транспортное средство призвано имитировать – с высокой долей приближения и в условиях значительной неопределенности – все микрорешения, которые принимает водитель на оживленной дороге[15 - В начале 1960?х годов Романо Альквати определил информацию как новаторские микрорешения, которые принимают работники в процессе производства (см. главу 5 этой книги). См. также: Pasquinelli M. Italian Operaismo and the Information Machine // Theory, Culture and Society 32, no. 3 (2015): 49–68; Sprenger F. Microdecisions and Autonomy in Self-Driving Cars: Virtual Probabilities // AI and Society (2020): 1–16.]. Искусственные нейронные сети «учатся» корреляциям между визуальным восприятием среды и механическим контролем транспортного средства (рулевое управление, ускорение, торможение), а также этическим решениям, которые в случае опасности необходимо принять за несколько миллисекунд. Вождение требует высоких когнитивных навыков, которые нельзя заменить импровизацией, и умения быстро решать задачи. Навыки вырабатываются только привычкой и тренировками – процессами, которые нельзя назвать полностью осознанными. Вождение остается, по существу, социальной и кооперативной деятельностью, регулирующейся кодифицированными правилами (включая правовые ограничения) и спонтанными элементами, к которым относится неявный культурный код – в каждой местности он свой. Считается, что закодировать такую сложную деятельность непросто, и даже бизнесмен Илон Маск признал (после не столь уж и малочисленных аварий автомобилей Tesla со смертельным исходом), что «обобщенное беспилотное вождение – это трудная проблема»[16 - Hawkins A. J. Elon Musk Just Now Realizing That Self-Driving Cars Are a «Hard Problem» // theverge.com. 5 July 2021.]. Как бы то ни было, все сложности, с которыми столкнулся промышленный проект беспилотных транспортных средств, ясно показали, что задача вождения не сугубо «механическая». И если навык вождения можно перевести в алгоритмическую модель, то лишь потому, что это логическая деятельность, поскольку в конечном счете всякий труд логичен[17 - См. также: A Manifesto // Logic Magazine. Issue 1. March 2017.].

В каких же тогда отношениях состоят труд, логические правила и автоматизация, которая представляет собой не что иное, как изобретение новых машин? Здесь все запутано, в этом и заключается главная проблема ИИ, которой посвящена моя книга. Предлагаемый взгляд на ИИ вовсе не нов. Историк науки Лоррейн Дастон, например, уже рассматривала эту проблему на примере великих счетных проектов эпохи Просвещения, которые предшествовали автоматическим вычислениям[18 - В английском языке слова calculation и computation в целом взаимозаменяемы, однако в контексте ИИ их следует разводить, как это делает автор. В первом случае речь идет об арифметических операциях, во втором – об алгоритмических. Слово calculation и родственные термины, например calculus, я передаю через слова с корнем «счет», а также вариантами «исчисление», «счисление»; в случае с computation использую производные от слова «вычисление» (см. советский вариант перевода computer как «вычислительной машины»). – Прим. пер.]. В конце XVIII века для создания длинных логарифмических таблиц, необходимых для модернизации революционной Франции, математику Гаспару де Прони пришла в голову идея применить промышленное разделение труда (канонизированное Адамом Смитом в «Исследовании о природе и причинах богатства народов») в ручных расчетах[19 - Daston L. Calculation and the Division of Labor, 1750–1950 // Bulletin of the German Historical Institute 62 (Spring 2018): 13.]. С этой целью Прони создал социальный алгоритм — иерархическую организацию, состоявшую из трех групп служащих, которые делили нагрузку; каждый брал на себя часть больших расчетов, а затем они вместе собирали окончательный результат. Несколько лет спустя в промышленной Англии Чарльз Бэббидж использовал интуицию разделения труда в качестве внутреннего принципа разностной машины, создав таким образом первый прототип современного компьютера. Что важно, Бэббидж понял: разделение труда может не только служить принципом для проектирования машин, но и применяться для вычисления затрат на производство (с тех пор этот метод известен как «принцип Бэббиджа»).

В индустриальную эпоху надзор за разделением труда входил в задачи фабричного мастера[20 - Фридрих Энгельс оспаривал тезис о «хозяйском глазе» и утверждал, что внутри крупных предприятий и инфраструктур того времени, например железнодорожных компаний, рабочие обладали широким представлением о производственном процессе: «Экономическое развитие нашего современного общества все более и более ведет к концентрации, к обобществлению производства в огромных предприятиях, которыми уже не могут более руководить отдельные капиталисты. Всякий вздор о «хозяйском глазе» и о создаваемых им чудесах превращается в явную бессмыслицу, как только предприятие достигает определенных размеров. Представьте себе «хозяйский глаз» на Лондонской и Северо-Западной железных дорогах! Но то, чего хозяин сделать не может, то рабочие, наемные служащие компании, с успехом могут делать и делают. Итак, капиталист уж больше не может предъявлять права на свою прибыль как на «заработную плату за руководство», так как он ничем не руководит». Цит. по: Энгельс Ф. Общественные классы. Необходимые и излишние // К. Маркс и Ф. Энгельс. Сочинения. Изд. 2?е, Т. 19. М.: Государственное издательство политической литературы, 1962. С. 299.]. Хозяйский глаз[21 - В оригинале книга М. Пасквинелли называется The Eye of the Master. – Прим. ред.] долго контролировал и дисциплинировал рабочих в мастерских, лагерях и на плантациях, составлял планы сборочных линий и планировал смены каторжного труда. Еще до изобретения промышленных машин мастерские-потогонки в городах и колониальных поместьях «механизировались» с точки зрения телесной дисциплины и режима визуальности[22 - О режиме видимости на рабовладельческих плантациях см.: Mirzoeff N. The Right to Look: A Counterhistory of Visuality. Durham, NC: Duke University Press, 2011.]. Как показал философ Мишель Фуко, введение дисциплинарных техник, основанных на сегментации времени, пространства и отношений, подготовило почву для капиталистического режима эксплуатации труда[23 - Фуко М. Надзирать и наказывать: Рождение тюрьмы. М.: Ад Маргинем, 1999.]. Вместе с тем рационалистический взгляд на мир позволил подробно описать движения человеческого тела и набросать эскиз его механизации. Историк Зигфрид Гидион детально зафиксировал этот процесс в известной работе «Механизация становится у руля». Согласно Гидиону, механизация «начинается с понятия Движения», вытесняет ремесла и наконец в развитом виде представляет собой «сборочный конвейер, в котором вся фабрика объединена в синхронно действующий организм»[24 - Giedion S. Mechanization Takes Command: A Contribution to Anonymous History. Oxford: Oxford University Press, 1948. P. 5.].

Кульминацией механического мышления стал тейлоризм – система «научного управления», которая стремилась экономить движения рабочих в мельчайших деталях. Как заметил политэконом Гарри Браверман, «Тейлор понимал принцип Бэббиджа лучше, чем кто-либо из современников последнего, и всегда им руководствовался в расчетах»[25 - Braverman H. Labor and Monopoly Capital: The Degradation of Work in the Twentieth Century. New York: Monthly Review Press, 1974. P. 117. См.: Taylor F. W. The Principles of Scientific Management. New York: Harper & Brothers, 1911.]. Для наблюдения за малейшими движениями рабочих тейлористская система обзавелась своего рода кинематографическими глазами: хозяин фабрики буквально стал режиссером, который снимал трудящихся, чтобы измерять и оптимизировать их производительность, осуществляя на практике «кинематографический способ производства» (по выражению исследователя медиа Джонатана Беллера)[26 - Beller J. The Cinematic Mode of Production: Attention Economy and the Society of the Spectacle. Lebanon, IN: University Press of New England, 2006.]. Тейлоризм породил «исследования времени и движения», которыми в те же годы занимались советский революционер Алексей Гастев и американские инженеры Франк и Лилиан Гилбреты, породив по обе стороны Атлантики сходные фотографические методы – циклограмму и хроноциклограф соответственно[27 - См.: Maier C. S. Between Taylorism and Technocracy: European Ideologies and the Vision of Industrial Productivity in the 1920s // Journal of Contemporary History 5, no. 2 (1970): 27–61; Hellebust R. Aleksei Gastev and the Metallization of the Revolutionary Body // Slavic Review 56, no. 3 (1997): 500–518; Olenina A. H. Psychomotor Aesthetics: Movement and Affect in Modern Literature and Film. Oxford: Oxford University Press, 2020; Sutil N. S. Motion and Representation: The Language of Human Movement. Cambridge, MA: MIT Press, 2015; Brown E. The Corporate Eye: Photography and the Rationalization of American Commercial Culture, 1884–1929. Baltimore, MD: Johns Hopkins University Press, 2008; Nelson D. (ed.), A Mental Revolution: Scientific Management Since Taylor. Columbus, OH: Ohio State University Press, 1992.]. Эта книга продолжает указанную линию аналитических исследований трудовых процессов с начала индустриальной эпохи до появления ИИ и призвана показать, как «разумность» технологических инноваций часто возникает из подражания абстрактным отображениям человеческой практики и коллективного поведения.

Промышленные машины, например ткацкие и токарные станки, возникли не по мановению руки одинокого инженерного гения, а из имитации схем коллективного труда. Они появились на свет путем улавливания паттернов движений рук и орудий рабочих, фиксации невидимых творческих ноу-хау и последующего их превращения в механические артефакты. Основываясь на теории изобретательства, которую уже в XIX веке разделяли Смит, Бэббидж и Маркс, я утверждаю в этой книге, что самые сложные «разумные» машины также возникли из воспроизведения схем коллективного разделения труда. Я именую описанную теорию развития техники трудовой теорией автоматизации, или трудовой теорией машин, которую распространяю на исследования современного ИИ и обобщаю в виде трудовой теории машинного интеллекта[28 - Словосочетания «трудовая теория автоматизации» и «трудовая теория машин» созданы по аналогии с выражениями, употребляемыми в политической экономии, в частности, «трудовой теории стоимости».].

Уже Маркс не считал «хозяина» отдельной личностью и, согласно открывающей это введение цитате, полагал, что он представляет собой согласованное могущество науки, колоссальных сил природы и общественного массового труда, воплощенного в системе машин. После того, как разделение труда в обществе приняло всеобъемлющий характер, что констатировал в конце XIX века Эмиль Дюркгейм, хозяйский глаз превратился в новые технологии контроля – в частности, статистику и глобальные «операции капитала» (меткое выражение Сандро Меццадра и Бретта Нильсона)[29 - Дюркгейм Э. О разделении общественного труда. М.: Канон+, 1996; Mezzadra S. and Neilson B. The Politics of Operations: Excavating Contemporary Capitalism. Durham, NC: Duke University Press, 2019. P. 55]. В конце XX века управление трудом превратило общество в «цифровую фабрику», приняв форму поисковых алгоритмов, онлайн-карт, приложений для обмена сообщениями, социальных сетей, платформ гиг-экономики, сервисов мобильности и, в конечном счете, алгоритмов ИИ, которые все шире используются для автоматизации всех упомянутых сервисов[30 - Altenried M. The Digital Factory: The Human Labor of Automation. Chicago: University of Chicago Press, 2021.]. Сегодня несложно увидеть, что ИИ означает дальнейшую централизацию цифрового общества и координацию разделения труда внутри него.

Тезис, что проектирование вычислений и «разумные машины» воспроизводят схему разделения труда, не надо считать еретическим. Его подтверждают основополагающие теории компьютерной науки[31 - В советской и российской традициях выражение computer science принято передавать термином «информатика», что отражает континентальную ориентацию на понятие «информация», тогда как для американской традиции центрально понятие «алгоритм» (см. второе примечание на стр. 52). Поскольку в книге идет речь об американской родословной ИИ, отличной от европейской традиции, я использую для перевода буквальный вариант «компьютерная наука». – Прим. пер.], которая унаследовала от индустриальной эпохи оттенок колониальных фантазий и классовое разделение. Например, прославленный гений автоматизированных вычислений Алан Тьюринг сам воспроизводил иерархический и авторитарный образ мысли. В лекции 1947 года Тьюринг представил Автоматическую вычислительную машину (АВМ), один из первых цифровых компьютеров, в качестве централизованного аппарата, который координирует операции согласно иерархии ролей «хозяина и слуги»:

Грубо говоря, те, кто работает с АВМ, разделятся на хозяев и слуг. Хозяева будут готовить для машины таблицы с командами, придумывая все более и более сложные способы ее применения. Слуги станут кормить машину карточками, когда она их позовет. Слуги починят любую деталь, которая сломалась. Соберут данные, которые она потребует. По сути, слуги заменят машине конечности. Со временем вычислитель возьмет на себя функции и хозяев, и слуг. Слуг заменят механические и электрические конечности и органы чувств. Можно, например, установить операторы отслеживания кривых, чтобы получать данные напрямую, не заставляя девушек считывать значения и набивать их на карточках. Хозяева также станут не нужны, поскольку, как только техника начинает действовать по шаблону, ее можно заменить таблицей с командами, которую электронный вычислитель способен сделать самостоятельно. Но, возможно, хозяева откажутся уходить. Возможно, они не захотят, чтобы их рабочие места таким образом украли. В этом случае они окружат свою работу тайной и придумают возражения, облеченные в умело подобранный птичий язык, и так станут отвечать на опасные предложения. Я полагаю, что подобного рода реакция представляет вполне реальную опасность[32 - Turing A. Lecture on the Automatic Computing Engine (1947) // The Essential Turing. B. Jack Copeland (ed.). London: Clarendon Press, 2004. P. 392.].

Молодой Тьюринг описывает разделение вычислительных задач между «хозяевами», «слугами» и «девушками» безжалостно. Это напоминает то, как Эндрю Юр в готическом ключе описывал фабрику викторианской эпохи: «огромный автомат, состоящий из различных механических и интеллектуальных органов, действующих в непрерывной заботе о производстве общего объекта и подчиненных саморегулирующейся движущей силе»[33 - Ure A. The Philosophy of Manufactures. London: Charles Knight, 1835. P, 13–14.]. Схожим образом Тьюринг воображает разумный автомат, который в будущем будет программировать себя сам, заменив как хозяев, так и слуг. Сегодня видению Тьюринга противостоит армия рабочих-призраков с Глобального юга, которые, как документально доказывают Мэри Грей и Сиддхарт Сури, убраны из поля зрения, чтобы шоу машинной автономии продолжалось[34 - Gray M. and Suri S. Ghost Work: How to Stop Silicon Valley from Building a New Global Underclass. New York: Houghton Mifflin Harcourt, 2019. См. также: Irani L. The Cultural Work of Microwork // New Media and Society 17, no. 5, 2013: 720–739; Irani L. and Silberman M. S. Turkopticon: Interrupting Worker Invisibility in Amazon Mechanical Turk // Proceedings of CHI 2013. 28 April – 2 May 2013.]. Тьюринг бы счел это парадоксом, но ИИ в основном заместил хозяев, то есть управляющих, а не слуг – рабочие нужны (и всегда будут нужны), с одной стороны, чтобы производить данные и значения для ненасытных конвейеров ИИ и его глобальных монополий, а с другой стороны, чтобы обслуживать мега-машину, фильтруя контент, проверяя безопасность, бесконечно оценивая и оптимизируя. Как отмечают гендерные исследовательницы Неда Атанасоски и Калинди Вора, мечты о полной автоматизации и ИИ, подобные тем, что озвучивает Тьюринг, не нейтральны. Они исторически укоренены в существовании «суррогатного человечества» – рабов, слуг, пролетариев и женщин, которые невидимым трудом сделали возможным универсалистский идеал свободного и автономного (белого) субъекта[35 - Atanasoski N. and Kalindi V. Surrogate Humanity: Race, Robots, and the Politics of Technological Futures. Durham, NC: Duke University Press, 2019.].

Множественные истории ИИ

Написание истории ИИ в нынешней непростой ситуации требует принимать в расчет обширную идеологическую конструкцию: в компаниях Кремниевой долины и высокотехнологичных университетах пропаганда всемогущества ИИ стала нормой и порой даже принимает форму фольклорных представлений о машине, обретающей «сверхчеловеческий разум» и «самосознание». Хорошей иллюстрацией подобных представлений служит апокалиптический нарратив из «Терминатора», согласно которому системы ИИ достигли технологической сингулярности и стали представлять «экзистенциальную угрозу» для выживания человечества на планете – именно это проповедует среди прочих футуролог Ник Бостром[36 - Бостром Н. Искусственный интеллект. Этапы. Угрозы. Стратегии. М: Манн, Иванов и Фербер (https://ru.wikipedia.org/wiki/%D0%9C%D0%B0%D0%BD%D0%BD,_%D0%98%D0%B2%D0%B0%D0%BD%D0%BE%D0%B2_%D0%B8_%D0%A4%D0%B5%D1%80%D0%B1%D0%B5%D1%80), 2016.]. В мифологиях технологической автономии и машинного интеллекта ничего нового нет: они были придуманы в индустриальную эпоху для мистификации роли рабочих и субалтернов[37 - Schaffer S. Babbage’s Dancer and the Impresarios of Mechanism // Cultural Babbage: Technology, Time and Invention. Francis Spufford and Jenny Uglow (eds). London: Faber & Faber, 1996; Schaffer S. Enlightened Automata // The Sciences in Enlightened Europe. William Clark, Jan Golinski, and Simon Schaffer (eds). Chicago: University of Chicago Press, 1999; Truitt E. R. Medieval Robots: Mechanism, Magic, Nature, and Art. Philadelphia: University of Pennsylvania Press, 2015; Voskuhl A. Androids in the Enlightenment: Mechanics, Artisans, and Cultures of the Self. Chicago: University of Chicago Press, 2013.]. Описывая культ автоматов в эпоху Бэббиджа, Шаффер сформулировал это так: «Чтобы машины казались разумными, требовалось спрятать источник энергии, то есть рабочие руки, которые их поддерживали и направляли»[38 - Schaffer S. Babbage’s Intelligence: Calculating Engines and the Factory System // Critical Inquiry 21, no. 1 (1994): 204. См. также: Geoghegan B. Orientalism and Informatics: The Alterity in Artificial Intelligence, from the Chess-Playing Turk to Amazon’s Mechanical Turk // Ex-Position 43 (June 2020): 45–90.].

Помимо спекулятивных нарративов, которые никогда не вдаются в достаточные технические подробности, чтобы прояснить, какие именно алгоритмы реализуют «сверхинтеллект» (super-intelligence), сегодня можно найти множество технических историй ИИ, призванных сделать понятными его сложные алгоритмы[39 - См., например: Nilsson N. The Quest for Artificial Intelligence: A History of Ideas and Achievements. Cambridge: Cambridge University Press, 2010.]. Соответствующие технические обзоры часто выражают ожидания корпораций от «верховного алгоритма»: чтобы он, с чудесной скоростью сжимая данные, решал перцептивные и когнитивные задачи. Именно так неромантично описывается метрика, по которой оценивают «разумность» систем[40 - Пример корпоративной повестки см.: Домингос П. Верховный алгоритм: как машинное обучение изменит наш мир. М.: Манн, Иванов и Фербер, 2016.]. Эти публикации обычно игнорируют исторический контекст и социальные последствия автоматизации и рисуют линейную историю математических достижений, укрепляя тем самым технологический детерминизм[41 - Об идее автономных технологий см. классический труд: Winner L. Autonomous Technology: Technics-Out-of-Control as a Theme in Political Thought. Cambridge, MA: MIT Press, 1977.]. К техническим историям ИИ следует также отнести когнитивную науку, поскольку она в значительной степени развивалась под влиянием компьютерной науки. Эпохальный двухтомник Маргарет Боден «Ум как машина» (Mind as Machine; 2006) остается, пожалуй, самой подробной историей ИИ как когнитивной науки и показывает сложную генеалогию проекта без какого-либо идеологического пафоса.

Сопротивляясь узкотехническим подходам, все большее число авторов рассматривают социальные последствия ИИ с точки зрения рабочих, сообществ, меньшинств и общества в целом. Эти авторы ставят под вопрос виртуозность алгоритмов, которые якобы «разумны», но по факту усиливают неравенство, усугубляют гендерные и расовые предубеждения и укрепляют новую форму извлечения знаний. Благодаря книгам «Убийственно большие данные» (2016) Кэти О’Нил, «Алгоритмы угнетения» (2018) Сафии Нобл, «Гонка за технологиями» (2019) Рухи Беньямин, «Дискриминация данных» (2021) Уэнди Чан (Цюань Сицин) и другим работам расширяется новая область знания – критические исследования ИИ[42 - О’Нил К. Убийственные большие данные: как математика превратилась в оружие массового поражения. М: АСТ, 2018; Noble S. U. Algorithms of Oppression: How Search Engines Reinforce Racism. New York: New York University Press, 2018; Benjamin R. Race after Technology: Abolitionist Tools for the New Jim Code. Cambridge: Polity, 2019; Wendy Hui Kyong Chun. Discriminating Data: Correlation, Neighborhoods, and the New Politics of Recognition. Cambridge, MA: MIT Press, 2021. Исследования в области ИИ в ходе развития сталкиваются с внутренними проблемами. Как отмечает Ярден Кац, порой «критически настроенные эксперты по ИИ используют свою позицию для укрепления белого господства с прогрессивным лицом… прибегая к языку, заимствованному у радикальных социальных движений» (см.: Katz Y. Artificial Whiteness. New York: Columbia University Press, 2020. P. 128).]. В основе этого направления лежат более ранние исследования ИИ, кибернетики и рациональности времен холодной войны, среди которых стоит упомянуть «Искусственное понимание» (1998) Элисон Адамс, «Вычисления и человеческий опыт» (1997) Филипа Агре, «Закрытый мир» (1996) Пола Эдвардса, «Возможности вычислительных машин и человеческий разум» (1976) Джозефа Вайценбаума и статью Хьюберта Дрейфуса «Алхимия и искусственный интеллект» (1965) для корпорации RAND (эту работу обычно считают первой философской критикой ИИ)[43 - Систематический обзор критических исследований ИИ см.: University of Cambridge, Department of History and Philosophy of Science. Mellon Sawyer Seminar. Histories of AI: A Genealogy of Power. May 2020 – July 2021. URL: www.ai.hps.cam.ac.uk (http://www.ai.hps.cam.ac.uk/).].

Размещая свою книгу внутри растущего корпуса критических работ, я стремлюсь осветить социальную генеалогию ИИ и, что важнее, точку зрения социальных классов, которые развивают ИИ как особое представление о мире и особую эпистемологию. На формирование информационных технологий и ИИ в XX веке воздействовали различные социальные группы и конфигурации власти. Можно сказать, что парадигмы механического мышления (а затем и машинного интеллекта) возникли в разное время и разными способами не на плечах гигантов, а на плечах торговцев, солдат, командиров, бюрократов, шпионов, промышленников, менеджеров и рабочих[44 - См.: Hadden R. On the Shoulders of Merchants: Exchange and the Mathematical Conception of Nature in Early Modern Europe. Albany, NY: State University of New York Press, 1994. См. также: Erickson P. et al. How Reason Almost Lost Its Mind: The Strange Career of Cold War Rationality. Chicago: University of Chicago Press, 2013.]. Автоматизация труда представляет собой ключевой аспект каждой из этих генеалогий, но историография технологий часто это игнорирует, предпочитая взгляд «сверху».

Например, согласно популярной точке зрения подъем кибернетики, цифровых вычислений и ИИ детерминистски объясняется обильными финансовыми вливаниями со стороны Пентагона в годы Второй мировой и период холодной войны[45 - О «военных априори» в истории вычислений см.: Winthrop-Young G. Drill and Distraction in the Yellow Submarine: On the Dominance of War in Friedrich Kittler’s Media Theory // Critical Inquiry 28, no. 4 (2002): 825–854.]. Однако недавние исследования показали, что архипелаг «военной рациональности» был нестабилен и на нем культивировались только парадигмы, имевшие ключевое значение в моделировании гонки вооружений и логистических проблем, – теория игр и программирование линейных перемещений[46 - См.: Erickson P. et al. How Reason Almost Lost Its Mind: The Strange Career of Cold War Rationality. Chicago: University of Chicago Press, 2013.]. Как бы то ни было, государственный аппарат начал влиять на информационные технологии задолго до военной гонки Второй мировой. Автоматизация поиска, выдачи информации и статистического анализа начали применяться с целью механизировать государственную бюрократию и работу правительства по меньшей мере с переписи 1890 года, когда Герман Холлерит представил табулятор для обработки перфокарт. «Правительственная машина», по выражению Джона Агара, предвосхитила появление в эпоху цифровых технологий крупных центров обработки данных, к которым причастны не только интернет-компании, но и спецслужбы, что во всех подробностях описали математик Крис Уиггинс и историк Мэтью Л. Джонс[47 - Agar J. The Government Machine: A Revolutionary History of the Computer. Cambridge, MA: MIT Press, 2003. См.: Wiggins Ch. and Jones M. L. How Data Happened: A History from the Age of Reason to the Age of Algorithms. New York: W. W. Norton, 2023.]. Коротко говоря, свыше 100 лет сбор «больших данных» об обществе и его поведении стимулировал развитие информационных технологий – от табулятора Холлерита до машинного обучения[48 - См.: Katz Y. Manufacturing an Artificial Intelligence Revolution // SSRN Electronic Journal (November 2017).].