Искусственный интеллект. Большие данные. Преступность

По сути это представляет собой следующий шаг после массового внедрения в военную практику дронов – робототехнических летательных комплексов с ограниченными огневыми возможностями. Кроме того, по заданию ВВС в настоящее время завершается отработка комплексных авиационных звеньев, которые предусматривают патрулирование и ведение боевых действий группой самолетов, один из которых пилотируется человеком, а несколько – системами с ИИ. В этом случае человек может в определенных случаях изменить команды ИИ. Данная система разрабатывается ВВС, поскольку командование авиацией, по крайней мере, в настоящее время и в ближайшем будущем не готово доверить решение о применении тактического ядерного оружия, которым оснащены многоцелевые истребители-бомбардировщики, роботам.

Сухопутные войска и Корпус морской пехоты США испытали прототипы автономных транспортных средств, а том числе оснащенных средствами огневого поражения. В ходе действий Сил специального назначения США в Ираке, Афганистане и Сирии в 2017 г. сухопутные войска уже активно применяли в боевых условиях роботизированные автономные эвакуационные машины.

Корпус морской пехоты в 2018 г. начнет принимать на вооружение многофункциональный универсальный роботизированный тактический транспорт. Роботизированное с элементами ИИ транспортное средство грузоподъемностью от одной до трех тонн будет следовать за ротами и взводами морских пехотинцев по местности с любым рельефом и любой сложности. Средства предназначены для транспортировки любых грузов – от запасных патронов и снарядов до пищи и одеял. Несколько аналогичных средств в настоящее время разрабатываются и для сухопутных вооруженных сил.

Скорее всего, сама логика развития ИИ ведет к тому, что возможности тройного использования будут постоянно увеличиваться. Многие задачи, которые в настоящее время автоматизируются, являются по своей сути тройственными. Например, ИИ, анализирующий программное обеспечение на уязвимости, может выполнять функции киберзащиты, кибердиверсий и киберпреступлений. Все то же самое относится к стаям дронов, находящихся под управлением ИИ. Команда инженеров из Массачусетского технологического института (MIT) с помощью ИИ смогла создать устройство, которое способно следить за человеком через стены. Причем устройство получилось совсем не громоздким.

Прибор получил название RF-Pose. Для того, чтобы обучить алгоритм новым фокусам, сотрудники MIT отслеживали движения людей при помощи радиолокатора и видеокамеры. Они фиксировали ходьбу, беседу между людьми, позу сидя, стоя и позу ожидания, а также открывание дверей. Затем при помощи не очень сложной компьютерной программы изображение было преобразовано в скелетную модель каждой зафиксированной ситуации. Эти модели вместе с радиосигналом изучил ИИ, и таким образом он обучился распознавать связь между показаниями радиолокатора и тем, какие действия производил в данный момент человек или группа людей.

В итоге специалисты MIT создали алгоритм, который практически в реальном времени может показывать перемещения людей за стеной или другим препятствием. Стоит заметить, что на данный момент система способна «выдавать» лишь двухмерное изображение, но со временем систему можно будет оптимизировать таким образом, чтобы она смогла производить мониторинг в трех измерениях.

В планы создателей также входит научить ИИ распознавать более сложные движения вроде мелкой моторики кистей и пальцев, так как сейчас возможно лишь наблюдение за перемещением конечностей и туловища. Сами авторы утверждают, что их система может найти применение в самых различных сферах. От вполне логичных наблюдений за местами массового скопления людей до медицинских учреждений и мест лишения свободы.

Рассмотрим теперь более подробно криминальные угрозы ИИ.

Развитие ИИ происходит в условиях увеличения анонимности. Многие задачи включают в себя общение с другими людьми, наблюдение за ними, принятие решении, воздействующих на их поведение. Согласно экспертным оценкам, до 90 % подобных задач могут быть автоматизированы и на горизонте пяти лет переданы ИИ. При этом соединение ИИ и интернета всего создают поистине безграничные возможности для злонамеренной деятельности, вплоть до убийств, которые правоохранительным органам весьма трудно квалифицировать именно как убийство. Проблема мира интернета в том, что в нем любое целенаправленное действие может быть замаскировано либо под отказ, либо нерегламентную работу оборудования. Разделить их никто не сможет.

Развитие ИИ открывает широчайшие перспективы для преступности. Уже сегодня злоумышленники могут без каких-либо препятствий приобрести как программные, так и аппаратные компоненты самых мощных систем ИИ. Более того, широкое использование открытого кода в ИИ позволяет преступникам без каких-либо затрат средств получать доступ к последним разработкам ведущих компаний.

В настоящее время алгоритмы ИИ создаются в течение месяцев, а не лет. Это достигается за счет того, что над ними работают не закрытые коллективы специалистов, а открытые сообщества программистов. Соответственно, преступники имеют возможность бесплатно получать новейшие разработки. Министерство внутренней безопасности США пыталось законодательно ограничить распространение определенных разработок в области ИИ, но потерпело поражение. Программисты просто отказались закрыть для себя возможность создавать системы с открытым программным кодом.

Сегодняшние системы ИИ страдают от ряда новых неурегулированных уязвимостей. К ним относятся атаки через фиктивные данные, используемые при обучении, а также злонамеренное вмешательство в работу нейронных сетей. Эти уязвимости не имели аналогов в прошлом, поэтому не очень понятно, как с ними справляться. Есть основания полагать, что в будущем атаки на ИИ будут более эффективными, более точными, более сложными для атрибуции и будут использовать в основном уязвимости в программном обеспечении ИИ.

Проведенные эксперименты показывают, что более 70 % атак на ИИ осуществляется с использованием ИИ. Соответственно, в будущем, по мере широкого распространения ИИ, следует ожидать нарастания количества подобных атак экспоненциальными темпами. Кроме того, при широком внедрении ИИ неизбежно усиление дифференциации в мощи и функциональных возможностях различных ИИ. Соответственно суверенностью можно сказать, что более сильные ИИ будут использоваться для атак, в том числе в целях установления программного контроля над более слабыми ИИ.

Наверняка следует ожидать атак на ИИ с использованием фишинга. В обозримой перспективе основным типом ИИ будут системы, постоянно взаимодействующие с человеком: с программистами, аналитиками или администраторами. Поскольку именно человек является наиболее уязвимым звеном в системах гибридного интеллекта, есть основания полагать, что злоумышленники будут предпочитать дешевые фишинговые атаки дорогостоящим атакам непосредственно на ИИ.

Самые современные фишинговые атаки предполагают высокий уровень социального инжиниринга[10 - Социальный инжиниринг – система управления поведением человека с использованием методов социологии и психологии.]и хорошее знание психологических особенностей того человека, против которого осуществляется атака. В конечном счете, все делается для того, чтобы он кликнул на ссылку, которая позволит злонамеренному софту проникнуть не только в компьютер человека, но и в ИИ, с которым он взаимодействует.

Прогресс в ИИ, несомненно, приведет к увеличению масштабов и эффективности злоумышленников. Этот вывод следует из того простого факта, что ИИ способствует повышению анонимности взаимодействующих с ним акторов. Если актор знает, что его атака не может быть отслежена, или даже в худшем случае обнаружение не может надежно идентифицировать его с атакой, ему гораздо легче решиться на нападение, чем хакерам в прошлом. По мнению многих практиков в сфере кибербезопасности, распространение ИИ приведет к значительным изменениям в психологии потенциальных злоумышленников и сформирует у них установку на безнаказанность.

Большую угрозу создает тот факт, что особенностью настоящего времени является создание комбинированных систем, включающих ИИ и роботизированные устройства. Известно, что ряд стран начал эксперименты по созданию обучающихся роев боевых дронов, связанных с ИИ, выступающим как их центр управления. Причем такие работы ведутся как государственными, так и негосударственными (террористическими и иными деструктивными) структурами.

Преступный мир использует дроны уже довольно активно. В основном цель использования – это контрабанда или доставка тех или иных предметов в тюрьмы. С помощью дронов заключенным доставляют наркотики, сигареты, мобильные телефоны, бритвенные лезвия и другую контрабанду.

Иногда пытаются доставить таким способом и оружие. Предполагается, что в обозримом будущем все тюрьмы США будут оборудованы системами обнаружения приближающихся дронов. Наркокартели из Мексики отправляют свой товар в США с помощью беспилотников с заранее введенными данными GPS, так что отпадает необходимость наличия оператора.

Но в последнее время в прессу все чаще попадают истории, когда дроны применяются для сбора информации или иных противоправных действий.

По данным ФБР, слежка за агентами и сотрудниками правоохранительных органов с помощью дронов – это быстро растущий тренд в преступном мире.

Дроны применяются и для оказания давления на свидетелей или лиц, кто может дать показания. Преступники ставят под наблюдение с воздуха полицейские участки и другие объекты, чтобы фиксировать, кто входит и выходит из здания, таким образом определяя, кто сотрудничает с органами или был вызван для дачи показаний. После чего на этих людей можно начинать воздействовать.

Слежка за членами конкурирующей группировки и ее лидерами – еще одно направление.

Еще один популярный способ применения дронов – это поиск объектов для совершения краж или ограблений. Маневренность дронов позволяет им изучать план собственности, где установлена какая система безопасности, где находятся хлипкие двери и окна, где расположены камеры. Все это позволяет преступникам выбрать дом или иной объект, составить детальный план и выбрать маршрут для взлома. С помощью дронов можно также установить график пребывания хозяев или охраны на объекте, привычки владельцев, количество людей и так далее.

В Австралии с помощью дронов преступники следят в портах за контейнерами с контрабандным товаром. Если сотрудники портовых служб приближаются к контейнеру, то преступники идут на различные ухищрения, чтобы отвлечь их: сообщают о пожаре в другом конце порта, краже или вызывают ложную тревогу любым другим способом.

В Ирландии зафиксированы случаи, когда дроны вели воздушную съемку банкоматов, так как операторы, видимо, надеялись, что технологии позволят на большом расстоянии рассмотреть, какие пин-коды вводят люди.

Еще одно направление – это использование дронов для несанкционированной съемки пикантных сцен сексуального плана через окна или с воздуха над частной собственностью в целях дальнейшего использования полученных кадров для шантажа попавших под камеру людей.

Наибольшую опасность представляют дроны со взрывчаткой. Беспилотники такого рода находят с 2002 года. Использование в массовом порядке таких беспилотников Исламским государством (организация, запрещённая в РФ) на Ближнем Востоке не осталось незамеченным преступниками в других частях света. Например, в Мексике подобные летающие машинки смерти уже находят у картелей. Дроны со взрывчаткой прозвали «бомбы-картошки»[11 - См.: Плеханов И. Разведывательные дроны преступников. Альманах «Искусство востока», 17.05.2018.].

Прогресс ИИ породит новые угрозы. Уже есть признаки того, что начали совершаться киберпреступления и проведены хакерские атаки, управлять которыми будет не человек, а ИИ. При этом даже в случае обнаружения и отражения атаки крайне сложно найти лиц, инспирировавших эти атаки.

Кроме того, системы ИИ активно используются для распространения дезинформации и фейков. В настоящее время дезинформация, как правило, разоблачается на основе анализа фотографического материала. Поскольку ИИ позволяет не только синтезировать любое фотоизображение, но и создать практически не отличимую от реальности фальсифицированную аудио- и видеозаписи, можно ожидать, что в самое ближайшее время появятся технически сложные фейки, подкрепленные синтетическими фотографиями, аудио- и видеозаписями. Для того, чтобы доказать их поддельность, потребуются огромные финансовые средства, мощные технические возможности и усилия высококвалифицированного персонала.

В ближайшем будущем существующие угрозы будут дополнены новыми, связанными с развитием ИИ. Типовые угрозы станут более технически сложными и изощренными. Это проявится по нескольким направлениям.

Во-первых, в ближайшие годы скачкообразно увеличится сложность кибератак и кибертерроризма. Типичными станут не привычные атаки, связанные с фишингом, заражением компьютеров и т. п., а гораздо более высокотехнологичные атаки, нацеленные на овладение информационными массивами атакуемых компьютеров и перехват управления ими. С другой стороны, более широкое распространение получат целевые атаки. В настоящее время типичная кибератака со стороны высокотехнологичных преступников ориентирована на компьютеры, обслуживаемые тем или иным провайдером, расположенные в той или иной местности и т. п. При подключении к киберпреступным атакам ИИ можно будет проводить предварительную селекцию не самих технических средств, а их обладателей по полу, возрасту, профессиональным занятиям и т. п. Соответственно, в этом случае атаки будут ориентированы не на регионы или провайдеров, а на те или иные группы населения, либо компании, обладающие определенными характеристиками. Это будет киберпреступностью принципиально нового типа.

В 2017 г. антитеррористические подразделения Израиля успешно провели испытания дрона, который атаковал в многотысячной толпе строго определенных лиц. В качестве эксперимента одежда этих лиц была обрызгана определенной краской. Однако никто не мешает вместо краски использовать отравляющее вещество, либо просто пулю. Мы имеем дело с объединением дрона с ИИ, способным в потоковом видео опознать лицо среди тысяч субъектов.

В подавляющем большинстве докладов по теме ИИ львиная доля внимания, связанного с угрозами, приходится на риски попадания ИИ в детские руки, либо в руки террористов и т. п. Что касается детей и подростков, то разрушительный эффект их деятельности подчас оказывается сопоставимым с ударами со стороны экстремистских радикалов, вооруженных гаджетами. В 2017 году в Польше на протяжении двух дней было парализовано все городское движение просто потому, что одному 13-летнему «таланту» захотелось проверить свои расчеты относительно того, можно или нет проложить трамвайную линию не внутри города, а между городами. Эта шалость обошлась Польше почти в 30 млн. злотых и почти 10 человек, пострадавших в авариях, были доставлены в больницы.

На сегодняшний день накоплено достаточно материала, чтобы изложить классификацию вредоносного использования элементов ИИ по недосмотру, ошибке и т. п., приводящих к негативным последствиям.

В максимально грубом приближении можно выделить три типа угроз, связанных с использованием ИИ добропорядочными акторами.

Первая группа объединяет ИИ с подавляющим большинством других сложных машин, созданных человеком. Речь идет о банальных отказах. К сожалению, совершенно не осознанным остался тот факт, что интернет всего, по сути, означает ИИ всего. Любые компании – производители продукции, в которую встроены миникомпьютерные элементы – от чайника до кроссовок – наиболее эффективно выполняют свои обязанности. Если могут участвовать в коллективном машинном обучении. Однако это возможно лишь в том случае, если все эти устройства задействованы на центральный процессор, который анализирует недостатки, конфликты, инциденты, делает из этого выводы, и вносит изменения в программы вещей, связанных с интернетом. Теперь предположим, что в силу программного сбоя обучение произошло неправильно, и вместо того, чтобы снизить вероятность неблагоприятных последствий, все устройства сети научились, как попадать в ситуацию, в которую попал виновник происшествия. Такие случаи в реальности уже случались. Компьютер не обладает самосознанием и поэтому он обучает всех тому, что предусмотрено в его программе.

Вторая группа угроз сопряжена с особенностями программного обеспечения ИИ. На сегодняшний день и, видимо, в период ближайших пяти лет, алгоритмическим ядром ИИ будут выступать нейронные сети вкупе с машинным обучением. Как уже отмечалось, по сути, нейронные сети – это программная поисковая среда, которая постоянно меняется за счет перенормирования удельных весов, определенных программой, в зависимости от фактически полученных результатов.

Если в 2015–2017 гг. ИИ использовал простые нейронные сети, соответственно, и разработчики и аналитики хорошо понимали значение перенормировок на каждой итерации расчетов, то нынешние глубокие сети оказываются для человека черным ящиком. Фактически возникает ситуация, когда машины делают выводы, которые в подавляющем большинстве являются точными, но как и почему они делаются, люди не понимают. Фактически ИИ превращается в черный ящик, относительно которого известны только вход и выход.

В научных и политических дискуссиях, которые ведутся вокруг модели «ИИ как черный ящик», прежде всего, в США, а также Великобритании и Израиле, на первый план выступает стремление сделать этот черный ящик прозрачным и понятным для аналитиков. Однако если посмотреть статистику фактических инцидентов с ИИ, то заботиться надо не о вскрытии черного ящика, а о явном задании времени оптимизации.

Многие исследователи опасаются, что компьютер при решении той или иной задачи построит программу, в которой оптимизироваться должно то, что оптимизируемым с точки зрения человеческого общества ни в коем случае быть не может. Грубо говоря, существует перезагруженный авиационный маршрут. Число желающих осуществить перелет намного превышает возможности авиакомпании. Компьютер, рассмотрев различные способы решения этой проблемы, пришел к выводу, что лучшим вариантом будет серьезная авария без смертельных случаев, но с большим числом раненых самолета данной авиакомпании на данном маршруте. Модель показала падение числа желающих до нормативного уровня. У математиков эта ситуация известна как отсутствие запрета на скрытую оптимизацию.

Данный пример показывает не только появление принципиально новых угроз, но и принципиальное различие в подготовке, анализе и принятии решения у человека и компьютера. Человек отказался бы от подобной оптимизации на самой ранней стадии разработки темы. А компьютер выбрал ее как основную.

Еще одна группа угроз связана, как это ни парадоксально, с притуплением внимания и снижением ответственности лиц, принимающих решения, чьим советником является ИИ. В отличие от триллеров и фантастических блокбастеров, лица, принимающие решения, это, в подавляющем большинстве, обычные по интеллектуальным способностям средние люди. Они находятся под прессингом воздействия социальных СМИ, телевидения, интернета, которые изо дня в день вот уже на протяжении двух-трех лет рассказывают о всемогуществе ИИ. Соответственно, даже в тех случаях, когда окончательные решения остаются за человеком, а ИИ дают лишь рекомендации, то, как показали эксперименты в университетах Йокогамы (Япония) и Ванкувера (Канада), лица, принимающие решения на уровне полицейских управлений городов, более чем в 98 % случаев солидаризировались с рекомендациями ИИ и принимали те решения, которые де-факто выработал ИИ.

В одном случае опыт проводился для 70 ситуаций, в которых принимали участие три полицейских начальника, а в другом – для 300 ситуаций, где работало пять начальников. Самым удивительным итогом эксперимента стало следующее. ИИ дали неправильные ответы по оценке ситуации для Японии примерно в 20 % случаев, для Канады – в 17 %. Начальники же в тех примерно 10 % случаев, где приняли решение вопреки ИИ, правы оказались лишь в Канаде в 5 %, а в Японии – ни в одном. Данные выкладки показывают, что тема гибридного или человеко-машинного интеллекта чрезвычайно сложна. В конечном счете, мы пытаемся соединить то, в чем мы вообще ничего не понимаем, – человеческое сознание, с тем, что является техникой в первом поколении ИИ, и надеемся на базе этого соединения успешно решать все проблемы.

Рассмотрим основные сценарии злонамеренного использования ИИ

Ключевой угрозой является автоматизация социальной инженерии. С помощью ИИ на человека, являющегося целью социальных инженеров, собирается досье. При этом особое внимание обращается на его непроизвольные автоматические реакции, которые и будут использоваться социальными инженерами при фишинговых атаках, использовании телефонии и т. п. По мере развития ИИ в целях обеспечения анонимности возможно использование социальными инженерами чат-ботов, которые будут вести разговоры с жертвами. Наряду с автоматизацией социальной инженерии следует ожидать использования ИИ для улучшения выбора целей и определения приоритетов в злонамеренных атаках. Автономное программное обеспечение, внедренное в атакуемую сеть, будет в течение долгого времени обеспечивать ИИ необходимой информацией.