Роботы-убийцы против человечества. Киберапокалипсис сегодня

Точно так же, как динамичность, огромное значение может иметь и среда использования автономного оружия. Например, автономные боевые системы, рассчитанные на поражение в подводной среде, как правило, на порядок дешевле подобных систем для сухопутной и даже воздушной среды. Дело в том, что для сухопутной и воздушной сред больших затрат требует создание средств тонкого распознавания с тем, чтобы по ошибке или необоснованно не атаковать мирную цель и не нанести потери гражданскому населению. В случае подводного оружия такой задачи нет.

Наконец, ключевым параметром является поражающая мощь. Даже школьнику понятно, что риски использования автономного роботизированного бомбардировщика с атомными крылатыми ракетами на борту на тысячи порядков выше, чем риск применения самонаводящегося, полностью роботизированного пулемета. Соответственно автономия должна рассматриваться вместе с другими важнейшими характеристиками оружия. Только комплексное рассмотрение позволит профессионально говорить о возможностях и рисках.

В настоящее время 30 стран используют в своих вооруженных силах автономные и полуавтономные системы. Во всех этих системах на сегодняшний день человек находится в «петле управления», выполняя, по крайней мере, функцию контролера. Кроме того, пока автономные военные системы используются в основном для разведки, транспортировки и логистики, а также позиционной обороны. Даже в случаях логистики и транспортировки, в основном эти системы применяются для перемещения и складирования грузов, боеприпасов и т. п., а не людей. Возможно, самым главным является тот факт, что во всех 30 странах пока люди не только выполняют функции контролера, но и во всех случаях имеют возможность вручную отключить систему в случае сбоя и т. п.

Однако принимая во внимание ускоряющиеся темпы развития систем робототехники, информационных и когнитивных технологий, возрастающую международную напряженность и неустойчивость мировой динамики, с высокой степенью вероятности можно прогнозировать, что будущее не будет линейным продолжением прошлого. Уже в ближайшем будущем кто-то из государственных или негосударственных акторов неизбежно перейдет зыбкую границу между автономными системами (с человеком-контролером и ликвидатором) и автономными системами в формальном смысле (без человека-контролера и ликвидатора, где человек выполняет только функцию активатора оружия). Более того, нельзя быть уверенным, что эта зыбкая граница уже кем-то где-то и когда-то не перейдена.

Бесспорно, необходимо вести публичные и закрытые дискуссии среди военных профессионалов, ученых, инженеров, юристов, специалистов по этике и активистов. Однако при ведении подобных дискуссий не надо обольщаться и считать, что их выводы и итоги могут что-либо изменить в контексте динамики автономии, интеллектуальности и живучести роботизированных и иных автоматических систем как в гражданской, так и особенно в военной сферах. Эти дискуссии важны для понимания, но совершенно бессмысленны, как способ ограничения развития. В нашем разделенном мире никакое соглашение относительно ограничений технического прогресса не будет выполняться. Всегда найдется тот, кто в силу обстоятельств, умысла или по любознательности нарушит любые соглашения. В этом смысле более оправдана позиция, исходящая из динамичности научно-технического прогресса и независимости его направленности и динамики от наших желаний, соглашений или опасений.

Роботы на поле боя. Центр Новой Американской Безопасности 2014 г. Извлечения из доклада

Введение. Революция в вооружениях

Вооружения, инфраструктуры и методы ведения войн непрерывно меняются. Нации должны адаптироваться к переменам, иначе они рискуют потерпеть поражение на поле боя. Исход войн определяют, конечно же, люди. Но качество и продвинутость вооружений в истории зачастую играли и играют решающую роль. Никакая масса солдат не сможет преодолеть отсутствие у армии, например, пулеметов. Какой бы у армии не был высокий боевой дух, он не защитит от безжалостных авиационных атак с использованием оружия массового поражения.

Высокий уровень боеготовности и мощи вооруженных сил зависит не только от используемых технологий и инноваций, но и от других факторов: качества управления, ресурсной обеспеченности, культурно-образовательного уровня и т. п. Иногда эти факторы при приблизительном равенстве в используемых вооружениях могут сыграть определяющую роль. Сегодня, как никогда ранее, технологические факторы переплетены с институциональными, культурными и поведенческими. Новые технологии меняют лицо войны и Соединенные Штаты должны опережающим образом адаптироваться к этим изменениям.

В глобальной среде безопасности четко проявляется несколько тенденций. Так или иначе, они ведут к эрозии традиционных американских военных преимуществ. Прежде всего, все более широко по миру распространяются мощные вооружения и средства их доставки, в том числе в виде ракет разного радиуса действия. Одновременно, не только государства, но и негосударственные акторы имеют доступ к новым высокоточным вооружениям, а также миниатюрным минам, бомбам, боеприпасам, которые могут быть доставлены на место взрыва не только отдельными людьми, но и микроподлодками, микродронами и т. п. Становятся все более доступными различного рода технологии, имеющие двойное назначение. Практически все современные информационные технологии являются технологиями двойного назначения и могут быть использованы в военной сфере злонамеренными государствами, негосударственными группами и индивидуумами против Америки. Дополнительные возможности для создания разрушительных, но при этом миниатюрных вооружений создает появление принципиально новых, в том числе композитных, материалов, 3D печать, подлинный бум робототехники, который охватил не только ведущие технологические страны мира, но и страны с невысоким уровнем развития. Все это создает принципиально новые угрозы овладения мощными разрушительными вооружениями злонамеренными государствами, негосударственными группами и индивидуумами.

Поскольку в высокотехнологическом мире больше нет разделения на гражданские и военные технологии, глобальные потоки технологий и их открытость действуют в сторону выравнивания возможностей обладания разрушительными вооружениями не только между государствами, но даже и между государственными и негосударственными акторами.

Дополнительный импульс этому дает становящаяся на наших глазах глобальной система телекоммуникаций, опирающаяся, прежде всего, на интернет и гаджеты типа мобильных телефонов. В этой среде любой сложный вирус, типа Stuxnet, а тем более боевые программы, рассчитанные непосредственно на поражение боевой техники и гражданских инфраструктур по своей смертоносности не отличаются от оружия массового поражения. В военном деле появился принципиально новый феномен. Речь идет о так называемых вооружениях с открытым кодом. Сегодня значительная часть программного кода, необходимого для создания мощных боевых платформ и эксплойтов, устройств 3D печати и Боевых Автономных Роботизированных Систем (БАРС) находится в свободном доступе и является своего рода опенсорсной средой разработки вооружений.

В результате такие факторы, как численность населения, объем ВВП, масштаб военных расходов, которые в прошлом в значительной мере определяли соотношения между различными странами, с каждым годом теряют свое решающее значение. При наличии опенсорсной среды разработки, позволяющей создать боевые компьютерные программы, различного рода БАРСы, вызов сильным державам могут бросить не только злонамеренные и маргинальные государства, но и группы националистических хакеров и киберпреступников, а также иррегулярные формирования и сети транснациональной преступности. Более того, уже сегодня не является фантастикой, когда угрозу Америке могут создать несколько или даже один индивидуум, закупивший рой полностью автономных дронов и оснастивший их обычными сельскохозяйственными устройствами для разбрызгивания удобрений. Но вместо удобрений будут использоваться вещества, произведенные при помощи поражающих биотехнологий, которые могут иметь генную маркировку и предназначаться для летального воздействия не на все население, а лишь на людей, обладающих определенными генами и т. п.

Сегодня все эти тренды уже привели к широкому распространению возможности производства смертоносных вооружений не только государствами, но и малыми группами. Это создает принципиально новые угрозы не только для американских вооруженных сил за пределами страны, но и для населения на территории Америки. Сегодня Соединенные Штаты расходуют все больше средств на создание системы тотального наблюдения, разведки и оповещения о возможности производства на территории Соединенных Штатов или доставки в страну принципиально новых видов вооружений, сочетающих миниатюризацию с разрушительными эффектами. Пора понять, что тотальное наблюдение – это не прихоть АНБ и не стремление ограничить гражданские права и свободы, а печальная и неотвратимая необходимость в борьбе с принципиально новыми типами угроз для Америки.

В противовес ожиданиям информационная революция не остановилась на совершенствовании систем коммуникаций и обработки информации для людей. Вслед за «интернетом людей» появился «интернет вещей», затем интернет, встроенный в человека. Сегодня мы уже живем в мире «интернета всего». Но и это не завершение революции. На наших глазах происходят перемены, возможно более значительные, чем появление первых станков. Речь идет о робототехнической революции, которая охватывает промышленность, другие сферы экономики, быт и повседневную жизнь и, конечно же, в первую очередь, военное дело. Победителем в этой технологической гонке станет не тот, кто затратил больше всего ресурсов в сфере робототехники, и даже не тот, кто производит лучших роботов, поскольку эти технологии неизбежно становятся известны всем, а тот, кто лучше всех сможет использовать робототехнику для решения стоящих разнородных военных задач. Надо помнить: робототехника – это инструмент. А эффективность любого инструмента зависит не только и не столько от собственного совершенства, сколько от навыков и понимания возможностей его использования людьми.

Соединенные Штаты использовали и используют тысячи воздушных и наземных роботов в Ираке и Афганистане. Они занимались, прежде всего, наблюдением, распознаванием, разведкой и в последнее время выполняли работу саперов и обезвреживали взрывные устройства. Однако надо признаться, что такое использование демонстрирует непонимание военного потенциала робототехники. Пока роботы выполняют лишь незначительную часть работ, которые они способны делать.

Впрочем, в этом нет ничего неожиданного. Например, уже в ходе Первой мировой войны имелись возможности использовать авиацию для бомбардировки наземных войск и городов противника. Однако понадобилось больше 20 лет, чтобы этот потенциал был полностью востребован в ходе Второй мировой войны.

Сегодня автоматизированные робототехниче-ские системы (АРС) и БАРСы вышли из младенческого возраста. Поэтому, если Соединенные Штаты и в будущем хотят оставаться не только технологическими, но и военными лидерами в применении БАРС, нам нужно понять, что их надо использовать не только там, где «скучно, грязно и опасно», а там, где БАРСы и их комбинации с мощнейшими системами, приближающимися по своему потенциалу к искусственному интеллекту, позволяют на порядки превзойти возможности противника, применяющего БАРСы лишь только как дополнение к традиционным войскам, состоящим из людей. Мы надеемся, что этот доклад позволит Америке по максимуму использовать потенциал БАРС и сделать их не дополнением традиционных вооруженных сил, а мощными, самостоятельными и самодостаточными системами. Обращаясь к истории военного дела, нам предстоит пройти тот же путь, что и теоретикам и практикам танковых подразделений. Если на заре своего появления танки применялись лишь для поддержки пехоты, устрашения командиров и солдат противника, то во Второй мировой войне танковые клинья носили самодостаточный характер и решили исход начального этапа войны на Западной фронте и чуть не решили на Восточном.

В докладе рассмотрены ключевые компоненты создания преимуществ БАРС и препятствия по практической реализации этих преимуществ. Также будут даны рекомендации, как Америке достичь неоспоримого доминирования не только в разработке, но и в применении БАРС.

Третья производственная революция и робото-техническая революция в военном деле неостановимы. Никто не будет ждать американских военных, пока они в полной мере признают, оценят или используют потенциал БАРС. Наши противники показали, что они не только быстро учатся на американском примере, но и стараются найти свои пути обеспечения превосходства. Наши противники отнюдь не примитивны или глупы. Они умны, коварны и сосредоточены. Даже те, кто не развивает собственные робототехнические разработки, научились обнаруживать или попросту красть наши. Кроме того, стирание граней между гражданскими и военными возможностями использования робототехники, широкое распространение в этой сфере решений с открытым кодом, играют на руку не нам, а им. Поэтому мы в Америке должны прекратить убаюкивать себя верой в нашу исключительность, лидерство и технологическое превосходство. Вчерашняя исключительность, доминирование и превосходство отнюдь не гарантируют их в будущем. Поэтому мы должны скромно, неустанно, при сосредоточении всех ресурсов и интеллектуальных сил трудиться для того, чтобы даже в изменившихся неблагоприятных условиях наши вооруженные силы не только обладали лучшими БАРСами, но и – возможно главное – умели лучше всех в мире их применять.

Этот доклад призван детально выявить основные эксплуатационные характеристики БАРС, создаваемые ими преимущества, а также новые типы операций, в которых могут быть использованы БАРС.

Пока БАРС используются либо для замены людей, либо как средства поддержки воинских подразделений. В докладе мы специально остановимся на принципиально новых, радикально разрушительных возможностях, которые открывает использование БАРС без участия воинских подразделений. Мы покажем принципиально новые преимущества, открываемые использованием БАРС как разведывательно-ударного, не зависящего от людей на поле боя, роя. Этот рой может быть охарактеризован как Разведывательно-Ударная Боевая Сеть (РУБС), обладающая следующими ключевыми характеристиками:

• мобильностью и отсутствием преград для доступа;

• незаметностью и низкой распознаваемостью для средств противника;

• масштабируемостью и пластичностью состава БАРС, входящих в рой;

• высочайшим уровнем координации действий и взаимной обучаемостью за счет использования единой удаленной памяти для БАРС;

• разнообразием реализуемых функций и выполняемых задач;

• скоростью.

Преимущества БАРС

В соответствии с «Дорожной картой БАРС» FY 2013-2038, принятой министерством обороны США, использование БАРС нацелено на «монотонные, грязные и опасные миссии». Такое понимание БАРС драматическим образом ограничивает их потенциал. В Дорожной карте под роботизированными устройствами понимаются два принципиально разных типа систем: собственно БАРСы и платформы и транспортные средств, удаленно контролируемые, управляемые человеком, требующие его постоянного присутствия. Относительно второго типа систем некорректно применять термин БАРС. Более правильно использовать термин «Человеко-машинные системы и платформы».

БАРС в чистом виде предполагает два ключевых преимущества:

• высокую эффективность, связанную с отсутствием различного рода преград, имеющихся для человека в различных средах, чрезвычайно высокие возможности проникновения, скорость, невидимость и, в случае необходимости, самая различная размерность;

• нечувствительность к рискам. Потерять платформу и человека – риски несоизмеримые.

Боевые роботизированные системы используются сегодня по-разному. В Ираке и в Афганистане активно применялись наземные роботы-саперы, разминировавшие и разрядившие тысячи самодельных взрывных устройств. В авиации всеобщее признание получили такие беспилотники, как Predator и т. п. за их способность выполнять функции непрерывно в течение 24 часов на самых различных высотах. При этом следует заметить, что и наземные роботы, и дроны не являются БАРСами, а представляют собой человеко-машинные системы, в которых человек осуществляет удаленное управление и контроль над роботом. В принципе, эти системы мало чем отличаются от использовавшихся Советами в 70-е годы прошлого века автоматизированными средствами исследования Луны, типа лунохода. При этом, подобные человеко-машинные системы весьма эффективны, поскольку позволяют снизить самые неприемлемые потери для американской армии – потери личного состава. Операторы роботов-саперов и дронов могут многократно меняться в ходе сеанса использования роботизированных систем без ущерба для выполнения боевых функций. Любопытно, что даже в этих условиях, как показали исследования военных психологов, операторы роботов-саперов и дронов подвержены чрезмерным эмоциональным и психологическим перегрузкам. Результатом является недостаточная эффективность выполнения боевых миссий, и большое количество ошибок, особенно в случае дронов, повлекших за собой бессмысленные жертвы среди мирного населения. Дроны, повинуясь управляющим командам операторов, атаковали вместо Аль-Каиды бойцов Талибан, мирные караваны и деревни. Широкое освещение этих случаев в средствах массовой информации не только нанесло вред внешней политике и национальной безопасности нашей страны, но и бросило несправедливую тень на использование робототехнических систем на поле боя. Как это ни парадоксально, ошибки происходили не из-за того, что человек был выключен из этих систем, а из-за того, что операторы играли в них слишком большую роль.

Внимательно анализируя эволюцию роботов-саперов и дронов можно без труда обнаружить, что процесс идет в направлении сокращения присутствия оператора и уменьшения функций, выполняемых ими. Например, MQ-1 Predator требует большего участия человека, чем MQ-1C Gray Eagle или RQ-4 Global Hawk. Более автоматизированные дроны показали особо высокую эффективность как с точки зрения решения боевых задач, так и минимизации атаки ложных или ошибочных целей, а также потерь устройств из-за ошибок операторов. Если брать наземных и морских роботов, то здесь эта тенденция также действует. При этом в отличие от дронов, степень автоматизации наземных и морских роботов обратно пропорциональна размерам.

Необходимо подчеркнуть, что в реальности все возможности боевых человеко-машинных систем пока не используются. И дело здесь даже не в том, что эти системы отличаются от БАРСов, но и в том, что пока многие роботизированные системы стоят очень дорого. В этих условиях их применение сдерживается опасениями командования потерять столь дорогостоящие системы. До сегодняшнего дня применяемые в вооруженных силах роботизированные системы являются результатом многочисленных компромиссов, связанных с порядком формирования производственных программ и тендеров. Этот порядок не позволяет принять участие в конкурсах наиболее инновационным молодым командам, стартапам и университетским группам, которые в результате разрабатывают различного рода гражданских роботов, существенно более эффективных, чем техника, используемая Пентагоном. Бюрократические процедуры, зацикленность на избранных подрядчиках и не всегда оправданные сложные системы согласований приводят к тому, что вооруженные силы страны не могут воспользоваться всем инновационным потенциалом Америки, демонстрируемым в гражданском секторе и в коммерческих разработках. При всех отмеченных недостатках роботизированные системы развиваются в направлении все большей автономности.

Эффект автономности

Автономность – это способность машины (робота) выполнять задачи без участия человека. Автономные роботы не предполагают наличия управляющего оператора. Автономия позволяет добиться нескольких ключевых эффектов, включающих в себя:

• увеличение надежности и повышения выживаемости;

• быстроту реакции и повышение адаптивности;

• повышение точности и десубъективизация при выполнении задач, элиминация человеческих ошибок;

• способность осуществлять операции в высокорискованной, либо вообще не приспособленной для присутствия человека среде, или в среде, требующей от дистанционного оператора невыносимых эмоциональных и сенсорных нагрузок.

Автоматизированные функции выполняют не только БАРС, но и человеко-машинные системы. Такая ситуация характерна не только для военного, но и для гражданского сектора. Однако именно в гражданском секторе мы в наиболее наглядном виде видим эволюцию роботизированных систем. Сначала автомобили были полностью механическими. Затем появились автоматические коробки передач, автоматические приборы контроля устойчивости, сцепление, подушки безопасности и т. п. Относительно недавно автомобили получили датчики дистанционного контроля при парковке, круиз-контроль и т. п. Сегодня на улицах уже нескольких американских городов ездят автомобили Google, которые, по сути, представляют собой автономные робототехнические средства. Пассажиры автомобилей Google никоим образом не участвуют в управлении. По тому же пути будут неизбежно развиваться и военные АРСы.

Когда мы рассматриваем вопрос автономии ро-бототехнических систем, его нужно изучить по трем параметрам:

• первый – распределение функций командования и контроля между человеком и машиной;

• второй – уровень комплексности робототех-нической системы;

• третий – каким образом в системе принимаются решения о ее действиях.

Машины, которые в одних ситуациях действуют автономно, а в других – нуждаются в решении и управляющем воздействии человека, называют полуавтономными. Как правило, человек вмешивается в такие системы в случае возникновения нештатных операций. В полуавтономных системах предусмотрено два контура управления – чисто автоматический и человеко-машинный при выявлении неисправностей, либо при сигнализировании об определенных ситуациях, связанных с необходимостью принятия именно человеческого решения. Полуавтономные системы получили особое развитие в конце прошлого века и в начале нынешнего веков. Их распространение было связано с тем, что до самого последнего времени существовала твердая убежденность относительно способности машин принимать решения более оптимальные, чем человек только в стабильных, устойчивых, так называемых – счетных ситуациях. Однако с появлением Больших Данных и соответствующих методов их обработки и анализа, включающих «глубокое обучение» и самосовершенствующиеся программы, выяснилось, что во многих нестабильных, неопределенных ситуациях машины принимают более эффективные решения по сравнению с человеком. Поэтому сегодня все большее распространение в гражданском секторе и бизнесе получают полностью автономные робо-тотехнические системы.

Следует отметить, что автономность характеризует не только взаимоотношения между человеком и машиной, но и уровень сложности системы. Так случилось, что термин «автоматический» используется, как правило, для простых систем, базирующихся на элементарных механических и электромагнитных эффектах. Термин «автоматический» привычно применяется к самодельным минам в военном деле или тостерам и механическим термостатам в быту. Когда появились первые самоуправляющиеся машины, использующие последние достижения программной инженерии, их сразу стали называть автономными. Поэтому традиционно автономными системами называют сложные системы, предусматривающие такие программные решения, как нейронные сети, глубокое обучение, самосовершенствующиеся программы и т. п. Наконец, несколько слов следует сказать по процессу принятия решения.

Автономными, как правило, называются роботизированные системы, где функция принятия решений реализована через те или иные программные продукты, размещенные в самом устройстве, либо в «облаке». В автономных системах блок принятия решений представлен сложными разнообразными алгоритмами и не требует присутствия человека. Фактически автономные роботизированные системы обладают полной независимостью в решении, по крайней мере, некоторых из поставленных перед ними задач. Например, на самой ранней стадии дроны были автономны в части решения задач навигации, обеспечения полета и т. п., но человек принимал окончательные решения об открытии огня на поражение. На наш взгляд по критерию принятия решений подавляющая часть систем пока является автономной. Лишь в последние пару лет появились БАРС, где решение об открытии огня принимается на алгоритмическом уровне.