Цифровое общество в культурно-исторической парадигме

Ключевые слова: искусственный интеллект, машинное обучение, осознанность, групповое принятие решений, каузальная атрибуция, социальное доверие, толерантность к неопределенности, архитектура выбора.

Среди технологий, стремительно меняющих повседневную жизнь людей, системы на основе «слабого» искусственного интеллекта занимают особое место. Во-первых, в эпоху, когда технологический оптимизм сопровождается социальным пессимизмом, именно с этими технологиями связана надежда на улучшение работы социальных институтов и оздоровление целых сфер жизни общества, таких как государственное управление, коммунальные услуги, общественный транспорт, здравоохранение, даже образование и СМИ. Машинное обучение, анализ больших данных и блокчейн рассматриваются как своего рода лекарство или даже протез для слабеющего социального доверия. Во-вторых, существует возможность появления «сильного» искусственного интеллекта, который, в отличие от других технологий, не только в массовом сознании, но и среди экспертов наделяется характеристиками субъекта, представляется как сила, способная со временем подчинить себе человека (Turchin, Denkenberger, 2018). Как показывают проведенные нами эмпирические исследования, отношение молодежи к технологиям искусственного интеллекта существенно различается в зависимости от сферы их применения, при этом наибольшие опасения вызывают автономные киберфизические системы, предполагающие вмешательство в человеческое тело и в процессы принятия решений (Нестик, 2018).

Одна из причин тревоги по поводу развития искусственного интеллекта связана с так называемой проблемой «черного ящика»: не только политики и обыватели, но и сами разработчики не могут в точности объяснить логику, лежащую в основе тех или иных заключений, сделанных самообучающейся нейросетью (Knight, 2017). Влияние таких алгоритмов на общество трудно оценить, так как их коды защищены коммерческой тайной, а истинные цели часто не ясны.

Искусственный интеллект, интернет вещей и анализ больших данных являются ключевой частью того пакета цифровых технологий, которые лежат в основе автоматизации, «платформенной экономики» и сдвига границ отраслей. По мнению экспертов Price Waterhouse Coupers, влияние этих технологий на общество не будет мгновенным, и будет нарастать в виде трех волн автоматизации. Первая волна завершится к середине 2020-х гг., она охватила прежде всего финансовый, IT и телекоммуникационный секторы и затрагивает в основном легко автоматизируемые операции с доступными данными. Вторая волна к концу 2020-х будет связана с оснащением людей-операторов новыми физическими и когнитивными возможностями: охватит производство, хранение и доставку, а также сферу розничных продаж. Наконец, третья волна к середине 2030-х гг. будет связана с появлением автономных систем (например, транспортных), где принятие решений в меняющейся обстановке будет доверено искусственному интеллекту. Эти изменения по-разному ощущаются людьми в зависимости от страны проживания и профессии, например, ожидается, что в Юго-Восточной Азии, Северной Европе и России влияние автоматизации затронет меньше рабочих мест по сравнению с Восточной Европой и США (Parlett et al., 2018).

В отличие от европейских стран и США, в российском массовом сознании последствия автоматизации труда пока недооцениваются. Как показал опрос россиян, проведенный ВЦИОМ по репрезентативной выборке в декабре 2017 г., 74% убеждены, что в обозримом будущем их рабочее место не смогут занять роботы (Роботизация работы…, 2017). При этом 73% вообще никогда не задумывались об этой проблеме. Большинство (62%) считают тенденцию к замене людей на рабочих местах роботами и алгоритмами неправильной, причем наиболее категорично это мнение отстаивает именно молодежь, а не старшее поколение (так считают 70% в группе 18–24 лет по сравнению с 55% в группе 45–59 лет).

Внедрение технологий «слабого», специализированного искусственного интеллекта (ИИ) в повседневную жизнь ставит перед психологической наукой и практикой целый ряд проблем, актуальность которых будет нарастать в ближайшие годы. Анализ этих проблем позволяет сформулировать несколько перспективных направлений социально-психологических исследований.

Чрезвычайно актуальным сегодня является исследование последствий использования алгоритмов для когнитивного и эмоционального развития личности. Например, остается не вполне ясным, как распределение когнитивных задач между ИИ и человеком повлияет на развитие интеллекта и когнитивный стиль. Например, как изменится роль эмоций в человеческом познании? Повысит ли использование систем распознавания лиц эмоциональный интеллект человека? С другой стороны, нужно разобраться в том, как особенности мышления самих разработчиков и пользователей самообучающихся алгоритмов влияют на окружающий нас, все более программируемый мир. Как будет развиваться ИИ в культурах с холистическим и аналитическим мышлением?

Влияние культурных различий на разработку и подходы к использованию ИИ остается пока не изученным. Между тем, значимость этой проблемы определяется не только растущим влиянием машинного обучения на интеллект интернет-пользователей, но и в связи с разворачивающейся конкуренцией между Китаем, Россией, США и Европой в области создания ИИ. По данным агентства CB Insights, в 2017 г. доля Китая в общемировом финансировании стартапов по разработке ИИ составила 48%. Использование ИИ в системах стратегической безопасности и кибероружия требует учета культурных и психологических особенностей взаимодействия человека с искусственным интеллектом. Если влияние культурных особенностей обучающих выборок, а также кросс-культурных различий самих разработчиков и заказчиков ИИ на работу таких систем подтвердится, то возникает еще один вопрос: как эти различия повлияют на взаимодействие между двумя и более конкурирующими системами ИИ?

Развитие систем с использованием искусственного интеллекта окажет влияние не только на когнитивные процессы, но и на целый ряд личностных феноменов: Я-концепцию, самоотношение и способы самопрезентации, стратегии коупинга, временную перспективу и др. Например, расширятся возможности для конструирования своей идентичности и целенаправленного управления самопрезентацией. Развитие интернета вещей, персональных помощников и возможностей для тонкой настройки окружающего личность цифрового мира при помощи самообучающихся алгоритмов приведет к формированию расширенного образа Я, включающего в себя более отчетливое представление о том, как нас воспринимают окружающие, каково наше физическое и эмоциональное состояние. При этом уже сегодня у пользователей социальных сетей появляется возможность в режиме реального времени сравнивать себя с другими людьми по гораздо большему числу физических, психологических и социальных параметров. Появится больше оснований для чувства депривации и несправедливости. Создание различных социальных рейтингов на основе обрабатываемых алгоритмами цифровых следов может привести как к обострению чувствительности к социальному сравнению, так и к десенсибилизации, безразличию, особенно если сравнение оказывается не в нашу пользу. Требуются специальные исследования того, как эти изменения скажутся на первичной и вторичной социализации личности.

Возможность анализа цифровых следов личности, накопленных за десятилетия, с помощью ИИ расширит временную перспективу в прошлое и будущее. Эффекты автобиографической памяти, искажения при прогнозировании человеком своих эмоциональных реакций и поступков, эффект дисконтирования будущего – все это будет корректироваться ИИ на основе нашего реального поведения в прошлом, а также больших данных о поведении других людей. Последствия этих изменений для личности уже сегодня можно моделировать на основе лабораторных экспериментов и анализа Big Data.

Однако искусственный интеллект как инструмент повышения осознанности будет востребован далеко не всеми. Более вероятен спрос на те его функции, которые связаны с когнитивным упрощением действительности. Развитие цифровых технологий, в том числе полномасштабное внедрение машинного обучения в повседневную жизнь, углубляет культурный разрыв между теми, кто готов к неопределенности и выбору, и теми, кто стремится избежать необходимости что-либо выбирать. Искусственный интеллект дает возможность личности переложить ответственность за свои действия на обезличенный алгоритм и его разработчиков. Это уже происходит в сфере таргетированной интернет-рекламы и новостей, где персонализация контента помещает человека в «пузырь» его собственных интересов, отменяя необходимость самостоятельно искать информацию.

Более того, алгоритмы превращаются в «архитектуру выбора», подталкивающую нас к решениям, которые должны повысить качество нашей жизни (Талер, Санстейн, 2017). Даже если в основе такого цифрового патернализма будут либеральные ценности, – что кажется маловероятным в культурах с вертикальным коллективизмом, – использование алгоритмов, корректирующих несовершенство человеческой природы ради благих целей, может способствовать снижению осознанности и рефлексивности общества.

В этой связи нельзя не упомянуть о растущей актуальности исследований, направленных на поиск психологических механизмов, которые делают личность уязвимой в отношении информационных компаний в социальных медиа, опирающихся на технологии ИИ. Сегодня специально обученные нейросети позволяют создавать вымышленный видеоконтент, неотличимый от настоящего. Созданные искусственным интеллектом видеодвойники политиков или значимых для конкретного человека людей могут говорить заданные тексты, обращаться с призывами, которых никогда не произнесли бы их реальные прототипы. Стало возможно управление такими видеодвойниками в режиме реального времени (Memes That Kill, 2018). Использование ИИ позволяет перевести информационные войны в полностью автоматизированный режим, когда нейросети сами скачивают метаданные «мишеней» и анализируют их психологический профиль по цифровым следам в поиске уязвимостей, затем генерируют искусственный видеоконтент с учетом этих психологических профилей, организуют армию ботов для его вброса в социальные сети, таргетируют сообщения для тех пользователей, которые с наибольшей вероятностью перешлют эту информацию своим друзьям, а затем проводят автоматизированную оценку разрушительного воздействия информационной кампании на общество страны-противника.

Сегодня вновь приобретают актуальность исследования конформности и подчинения, однако, в роли авторитетного другого будут выступать не экспериментаторы, а киберфизические системы, искусственный интеллект или специалисты по большим данным, психологически бесконечно далекие для обывателя. Чрезвычайно важно изучить, как все большая «искусственность» управляемой нейросетями повседневной жизни повлияет на фундаментальные психологические феномены – объяснение человеком своих успехов и неудач, веру в способность влиять на свое будущее, убеждение в справедливости мира, доверие к социальным институтам.

Перечисленные нами проблемы станут обостряться по мере того, как автоматизация будет приводить к потере все большего числа рабочих мест, особенно в массовых профессиях – среди продавцов, водителей и грузчиков, бухгалтеров, юристов, программистов. Потеряв работу из-за внедрения технологий искусственного интеллекта, они все равно будут вынуждены этими технологиями пользоваться. Какие требования будут предъявлять к искусственному интеллекту люди, вынужденные менять профессиональную идентичность? Каковы социально-психологические последствия появления в обществе большого количества «лишних людей»?

Целый ряд важных направлений исследований можно выделить в связи с влиянием ИИ на межличностные отношения и социальные группы. Применение машинного обучения уже сегодня влияет на формирование персонального социального капитала и межличностное сравнение в социальных сетях, подсказывая нам людей, похожих на нас. Как повлияют персональные помощники на процессы каузальной атрибуции? Будем ли мы по-прежнему более склонны объяснять поведение других людей их личностными качествами, а не обстоятельствами? Внимание исследователей сосредоточено на том, как люди взаимодействуют в мультиагентных человеко-машинных системах, в том числе с социальными роботами. Особенно перспективными в этом направлении представляются модели «межличностного» восприятия роботов (Kotov, 2017), а также исследования психологии взаимодействия людей с роевым интеллектом (Карпов, 2018). Вместе с тем, недостаточно внимания уделяется тому, какое влияние слабый (специализированный) искусственный интеллект в качестве интеллектуального агента может оказывать на групповую динамику, как он участвует в групповой рефлексии, формировании ситуативной осознанности и ментальных моделей. Прежде всего это касается использования машинного обучения в системах поддержки группового принятия решений. Примером могут служить нейросети, которые по обмену сообщениями в корпоративных чатах дают не только оценку эмоционального состояния и лояльности участников той или иной команды, но и прогноз эффективности проектных групп. Как рекомендации основанных на ИИ экспертных систем будут влиять на принятие кадровых решений, ролевые ожидания участников, межличностное восприятие и внутригрупповое доверие? В каких случаях совместного принятия решений такая система должна быть наделена чертами виртуальной личности, действовать как «член команды», а в каких – полностью обезличена?

Развитие ИИ тесно связано с рынком больших данных, с борьбой за доступ к обучающим выборкам. Создание совместных баз данных, а также открытых платформ для обучения нейросетей типа Azure, потребует разработки социально-психологических технологий формирования не только межличностного, но и межгруппового доверия. Новый импульс получат исследования межгрупповых отношений в цифровой экономике, доверия клиентов к организациям, совместимости разных корпоративных культур обращения с ИИ.

Отдельной и крайне мало изученной областью является социальная психология разработчиков ИИ и робототехников (Голиков, 2018). Усложнение технологий приводит не к ослаблению, а к усилению роли человеческого фактора как причины крупных катастроф. Как психологические характеристики команды разработчиков влияют на создаваемые ими нейросети? Как групповая рефлексивность, коллективные эмоциональные состояния и способы разрешения конфликтов с заинтересованными сторонами проекта влияют на способность разработчиков вовремя обнаружить ошибки и оценить последствия некорректной работы алгоритма? Как в среде специалистов по большим данным и робототехников формируются нравственные нормы и представления о конечных пользователях? Как эти нормы и представления влияют на создаваемые ими алгоритмы?

Совершенно очевидно, что использование нейросетей в финансовых операциях и кредитном скоринге, рекламе, формировании новостного контента, работе государственных служб и системе здравоохранения открывает новую страницу для юридической психологии. С одной стороны, все более актуальными становятся исследования социально-психологической специфики киберпреступлений с использованием машинного обучения, а также готовности граждан обращаться к услугам хакеров для взлома или обхода значимых для них алгоритмов. Анализ Big Data открывает здесь новые возможности не только для участников теневой экономики, но и для психологов, их изучающих. С другой стороны, важно разобраться в том, как применение искусственного интеллекта повлияет на правовое сознание молодежи, на стратегии оправдания теневого поведения и экстремизма. Кроме того, появление общедоступных алгоритмов в сфере обработки обращений граждан и юридического консультирования может изменить способы мобилизации права в российском обществе. Наконец, специального изучения требуют психологические проблемы, которые возникают у работников органов защиты правопорядка при внедрении различных автоматизированных систем выявления и прогнозирования преступлений в условиях дефицита ресурсов для борьбы с этими правонарушениями.

Библиографический список

1. Голиков Ю.Я. Неопределенность и риски традиционных и новых областей высоких технологий и актуальные психологические проблемы их развития // Актуальные проблемы психологии труда, инженерной психологии и эргономики: Сб. научных трудов. Вып. 8 / Под ред. А.А. Обознова, А.Л. Журавлева. М.: Изд-во «Институт психологии РАН», 2018. С. 11–29.

2. Карпов В.Э. От роевой робототехники к социуму роботов // Искусственный интеллект: проблемы и пути решения – 2018: Материалы конференции. М., 2018. С. 122–130.

3. Нестик Т.А. Социально-психологические аспекты отношения человека к новым технологиям // Актуальные проблемы психологии труда, инженерной психологии и эргономики: Сб. научных трудов. Вып. 8 / Под ред. А. А. Обознова, А. Л. Журавлева. М.: Изд-во «Институт психологии РАН», 2018. С. 50–73.

4. Роботизация работы: возможность или опасность? // ВЦИОМ. № 3538. 4 декабря 2017. URL: https://wciom.ru/index.php?id=236&uid=116605 (дата обращения: 05.01.2018).

5. Талер Р., Санстейн К. Nudge. Архитектура выбора. Как улучшить наши решения о здоровье, благосостоянии и счастье. М.: Манн, Иванов и Фербер, 2017.

6. Knight W. The Dark Secret at the Heart of AI // MIT Technology Review. 11 April 2017. URL: https://www.technologyreview.com/s/604087/the-dark-secret-at-the-heart -of-ai/ (дата обращения: 07.01.2018).

7. Kotov A. A computational model of consciousness for artificial emotional agents // Psychology in Russia: State of the Art. 2017. V. 10. N. 3. P. 57–73.

8. Memes That Kill: The Future of Information Warfare // CBInsights Re-search Briefs. 3 May 2018. URL: https://www.cbinsights.com/research/future-of-information-warfare (дата обращения: 07.01.2018).

9. Parlett N., Foyster R., Ho P. Will robots really steal our jobs? An international analysis of the potential long term impact of automation. PwC, 2018. URL: https://www.pwc.com/hu/hu/kiadvanyok/assets/pdf/impact_of_automatio n_on_jobs.pdf (дата обращения: 05.05.2018).

10. Turchin A., Denkenberger D. Classification of global catastrophic risks connected with artificial intelligence // ИИ & Society. 2018. P. 1–17. URL: https://doi.org/10.1007/s00146-018-0845-5 (дата обращения: 05.01.2018).

Introduction of artificial intelligence technologies into everyday life: perspectives of psychological research

    Nestik T.A.,
    Institute of Psychology RAS, Moscow

Abstract. The article discusses the problems posed by the introduction of technologies of "weak" or specialized, artificial intelligence in everyday life for psychological science and practice. Attention is drawn to the study of the implications of using algorithms for cognitive and emotional development; the impact of cultural differences on the development and approaches to the use of AI; the possibilities opened by the AI for increasing awareness and mindfulness, for constructing identity, self-image and temporal perspective, for impression management; the influence of the world programmability on causal attribution processes and trust in social institutions; the implications of machine learning in group decision support systems; the impact of AI on the legal consciousness and legal mobilization. The psychological problems associated with the emergence of "redundant people" who have lost their jobs during the automation process are recognized as particularly acute. The author draws attention to the likelihood of reduced awareness and reflexivity of society under the influence of the digital “choice architecture”, as well as the widening of the cultural gap between those who are ready for uncertainty and choice, and those who are trying to avoid having to choose something, shifting the responsibility to algorithms.

Keywords: artificial intelligence, machine learning, awareness, group decision making, causal attribution, social trust, tolerance for uncertainty, choice architecture.

Ложные подсказки и троянское обучение: цифровая перспектива[3 - Исследование поддержано РФФИ, проект 18-29-03167.]

    Поддьяков А.Н.,
    Национальный исследовательский университет «Высшая школа экономики»; Институт психологии РАН, г. Москва

Аннотация. Дается краткий обзор некоторых исследований дачи ложных подсказок и троянского обучения (обучения со скрытыми, не декларируемыми целями тому, о чем не подозревает обучаемый). Предлагается рабочая классификация, позволяющая различать ситуации ложных подсказок и троянского обучения, в разной степени связанные с речевой деятельностью как одной из важнейших для человека. С целью объединения исследовательского поля, отталкиваясь от аналогии с исследуемыми в настоящее время «отравляющими атаками» на системы машинного обучения, можно интерпретировать ложные подсказки и троянское обучение как «отравляющую атаку на семантическую сеть». Рассматриваются возможные аспекты проблемы, связанные с подавлением вербальной креативности и исполнения. В заключение ставится вопрос о динамике представленности нарративов о ложных подсказках (обучении со злым умыслом) в различные периоды и в различных обществах, в том числе цифровом.

Ключевые слова: троянское обучение, отравляющая атака, вербальная креативность, семантическая сеть, нарратив угрозы.

В театральной среде рассказываются истории о розыгрышах, когда актера более опытные партнеры предостерегают перед выходом на сцену: «Ты там не скажи … вместо …» (за «не скажи» идет неправильное слово или смешно переиначенная реплика). И именно то, от чего якобы отговаривали, на сцене закономерно и произносится – на радость советчику и залу. Другой вариант – неправильная подсказка от суфлера, решившего, например, проучить зазнавшегося актера или актрису. Эти истории – часть более широкого пласта нарративов, восходящих к таким общекультурным формам накопления и передачи социального опыта, как народные сказки. В них нередко представлены ситуации, когда одни персонажи учат других тому, что для последних невыгодно или опасно: Баба-Яга учит Иванушку садиться на лопату, чтобы засунуть его в печь; лиса учит волка ловить рыбу на собственный хвост в проруби, в результате хвост примерзает, и волк его лишается; Братец Кролик учит Братца Лиса, как вести себя тому, кто хочет правдоподобно изобразить покойника при появлении друзей, и т. д.

Ложные наводки и подсказки, акты «троянского» (обманного) обучения стали объектом научного изучения (Лефевр, 1973; Поддьяков, 2006, 2011; Kline, 2015; Rhodes et al., 2015).

В.А. Лефевр в своей теории конфликтующих структур и рефлексивного управления ввел понятие «формирование доктрины противника посредством его обучения». Одно из проявлений такого обучения на материале спорта состоит в том, что «футболист-нападающий систематически сознательно "попадается" на определенное действие одного из защитников. В результате защитник закрепляет данное действие как стандарт противодействия данному нападающему, что и используется нападающим в решающий момент» (Лефевр, 1973, с. 51).

Понятие «троянское обучение» (обучение со скрытыми, не декларируемыми целями тому, о чем не подозревает обучаемый) пересекается с понятием «формирование доктрины противника посредством его обучения», но не совпадает с ним (Поддьяков, 2011). Не всякое формирование доктрины противника посредством его обучения является скрытым троянским обучением. Например, в случае убежденности субъекта в своем явном превосходстве и в будущем проигрыше соперника он может предъявить ему свою и его доктрину для сопоставления в явном виде, не таясь, без скрытых манипуляций, в расчете на здравый смысл противостоящего субъекта. Также есть троянское обучение «с добрым умыслом», рассматривающее другого субъекта не как противника, а как не вполне разумного подопечного, которому из лучших побуждений стремятся помочь – например, вводя содержание, которому ученик не хочет обучаться, в особо привлекательной оболочке, и именно она выглядит для ученика главной составляющей (Boyle, 2001; White, 2004). При этом психологическая манипуляция и обучение тому, о чем не догадывается обучаемый, есть в ситуациях троянского обучения обоих типов – и со злым, и с добрым умыслом.

Мы провели теоретический анализ явления троянского обучения и серию эмпирических исследований с участием людей разного возраста (Поддьяков, 2006, 2011). Так, дошкольникам описывалась сказочная ситуация, в которой злые гиены решили поохотиться на беззащитных птенчиков, а храбрый львенок Симба решил их спасти. При этом и гиенам, и львенку для реализации их жестоких или же гуманных замыслов не хватает владения некоторыми знаниями и умениями. Ребенку задавались вопросы, надо ли учить гиен (или львенка) правильному или неправильному птичьему языку, учить ли их хорошо лазать по деревьям и т.д. Абсолютное большинство детей 5–6 лет давали ответы о необходимости правильного, эффективного обучения львенка и обманного обучения гиен. Это вполне согласуется с житейскими наблюдениями – на вопрос актера, играющего в спектакле волка, о том, куда убежали зайцы, дети отвечают так, чтобы обмануть его. Но в нашем эксперименте речь шла не просто об указании неправильного направления, а о некотором базовом понимании ребенком, что такое обучение, и понимании различных последствий правильного и обманного обучения в разных областях (Поддьяков, 2006).

В аппаратурном эксперименте M. Rhodes с коллегами показано, что дошкольники могут учить другого правильно, а могут, обманывая – создавая условия, чтобы другой сделал неправильные выводы из представленной ему информации. А именно, дети демонстрировали кукле работу технической игрушки на релевантных примерах, если взрослый просил ребенка показать кукле такие примеры, из которых можно узнать правило работы этой игрушки. Если же взрослый просил ребенка подшутить над куклой и запутать ее так, чтобы она пришла к неправильному заключению о работе устройства, дети подыскивали и показывали кукле нерелевантные примеры, провоцирующие ошибочный вывод (Rhodes et al., 2015). Задача требовала понимания логики работы устройства, умения строить умозаключения, а также социального интеллекта (встать на позицию другого, понять, из какой информации какие выводы он может сделать, и суметь обмануть его).

М. Клайн, ссылаясь на С.М. Камакау, пишет, что на Гавайях, где между жителями-рыбаками была очень высока конкуренция за рыбные ресурсы, дети должны были быть «скептичными учениками», поскольку имелся значимый риск стать жертвой обмана. Она также ставит более общую проблему «скептицизма» учащихся по отношению к информации, получаемой, возможно, от не вполне добросовестного «донора» (Kline, 2015).

Ситуации троянского обучения достаточны распространены в обычной жизни – таково мнение участников опроса – 393 россиян и 279 американцев от 16 до 59 лет. Более 80% респондентов – и россиян, и американцев – ответили, что обучение «со злым умыслом» бывает в реальной жизни и имеет место в школах и университетах. Около половины участников отмечали случаи, когда их учебе мешали из недружественных побуждений, а также пытались проводить по отношению к ним обучение «со злым умыслом». От 9 до 23% респондентов в разных подгруппах (в том числе некоторые профессиональные преподаватели) ответили, что сами проводили такое обучение по отношению к кому-то (Поддьяков, 2011).

В области машинного обучения, где системам искусственного интеллекта необходимы большие массивы обучающих примеров, изучаются возможности хакеров в отношении организации «отравляющих атак» на базы этих примеров (Jagielski et al., 2018). Речь идет о том, чтобы, скрыто подгрузив в базу минимальное количество особым образом подобранных примеров, нарушить процесс эффективного обучения и последующего принятия решений. (Подходящая метафора – минимально необходимая ложечка дегтя для порчи наибольшей бочки меда.) Понятно, что порча, «отравление» совокупности примеров, собранных для обучения распознавания болезни, может иметь серьезные практические следствия. Пока, к счастью, таких прецедентов не было, но превентивное исследование возможностей в этой области ведется – как и разработка контрмер (Там же).

При этом, подчеркнем, здесь пока не идет речь об изменении самой обучаемости системы хакером при атаке. Атакуется, «отравляется» лишь массив предъявляемых примеров. Но теоретически возможны атаки именно на обучаемость – если рассматривать ее как потенциально подверженную влиянию техническую характеристику системы (Поддьяков, 2007).

Далее мы обратимся к пересечению некоторых из обозначенных выше тем. Это возможная модель снижения, подавления вербальной креативности и исполнения путем «отравляющей атаки» на семантическую сеть.