Оценить:
 Рейтинг: 0

Идиот или гений? Как работает и на что способен искусственный интеллект

Год написания книги
2019
Теги
<< 1 2 3 4 >>
На страницу:
2 из 4
Настройки чтения
Размер шрифта
Высота строк
Поля
Google и сингулярность

Затем Хофштадтер заговорил о своем неоднозначном отношении к исследованиям ИИ, проводимым в Google, где занимались беспилотными автомобилями, распознаванием речи, пониманием естественного языка, машинным переводом, компьютерно-генерируемым искусством, сочинением музыки и многим другим. Тревоги Хофштадтера подкреплялись верой Google в Рэя Курцвейла и его представление о сингулярности, в которой ИИ, имея способность самостоятельно учиться и совершенствоваться, быстро достигнет человеческого уровня разумности, а затем и превзойдет его. Казалось, Google делает все возможное, чтобы ускорить этот процесс. Хотя Хофштадтер сильно сомневался в идее сингулярности, он признавал, что предсказания Курцвейла его тревожат. “Меня пугали эти сценарии. Я был настроен весьма скептически, но все равно мне казалось, что они могут оказаться правдой, даже если называемые сроки неверны. Нас застанут врасплох. Нам будет казаться, что ничего не происходит, и мы не заметим, как компьютеры вдруг станут умнее нас”.

Если это действительно произойдет, “нас отодвинут в сторону. Мы превратимся в пережитки прошлого. Мы останемся ни с чем. Может, это и правда случится, но я не хочу, чтобы это случилось в ближайшее время. Я не хочу, чтобы мои дети остались ни с чем”.

Хофштадтер завершил свое выступление прозрачным намеком на тех самых инженеров Google, которые собрались в переговорной и внимательно слушали: “Меня очень пугает, очень тревожит, очень печалит, а также ужасает, шокирует, удивляет, озадачивает и обескураживает, что люди очертя голову слепо бегут вперед, создавая все эти вещи”.

Почему Хофштадтер испуган?

Я огляделась. Казалось, слушатели озадачены и даже растеряны. Исследователей ИИ из Google ничто из перечисленного ничуть не пугало. Более того, это были дела давно минувших дней. Когда Deep Blue обыграл Каспарова, когда ЭМИ начала сочинять мазурки в стиле Шопена и когда Курцвейл написал первую книгу о сингулярности, многие из этих инженеров учились в школе и, возможно, читали “ГЭБ” и восхищались ею, несмотря на то что многие из приводимых в ней прогнозов развития ИИ к тому времени несколько устарели. Они работали в Google как раз для того, чтобы сделать ИИ реальностью, причем не через сотню лет, а сейчас – и как можно скорее. Они не понимали, что именно так сильно беспокоит Хофштадтера.

Люди, работающие в сфере ИИ, привыкли сталкиваться с опасениями людей со стороны, которые, вероятно, сформировали свои представления под влиянием научно-фантастических фильмов, где сверхразумные машины переходят на сторону зла. Исследователям ИИ также знакомы тревоги, что всё более сложные системы ИИ будут заменять людей в некоторых сферах, что при использовании в анализе больших данных ИИ будет нарушать конфиденциальность и потворствовать скрытой дискриминации, а также что неудачные системы ИИ, самостоятельно принимающие решения, будут сеять хаос.

Но Хофштадтера ужасало иное. Он боялся не того, что ИИ станет слишком умным, слишком вездесущим, слишком вредоносным или слишком полезным. Он боялся, что разум, творчество, эмоции и, возможно, даже сознание станут слишком просто воспроизводимыми, а следовательно, все те вещи, которые он особенно ценит в человечестве, окажутся не более чем “набором хитростей” и примитивный набор алгоритмов “грубой силы” сможет объяснить человеческую душу.

Как видно из “ГЭБ”, Хофштадтер твердо верит, что разум и все его характеристики в полной мере проистекают из физической среды мозга и остального тела, а также из взаимодействия тела с физическим миром. Здесь нет ничего нематериального или бесплотного. Хофштадтер беспокоится о сложности. Он боится, что ИИ может показать нам, что человеческие качества, которые мы ценим больше всего, очень просто механизировать. После встречи Хофштадтер пояснил мне, рассуждая о Шопене, Бахе и других выдающихся представителях рода человеческого: “Если маленький чип сможет обесценить эти умы бесконечной остроты, сложности и эмоциональной глубины, это разрушит мое представление о сущности человечества”.

Я в недоумении

За выступлением Хофштадтера последовала короткая дискуссия, в ходе которой недоумевающие слушатели побуждали Хофштадтера подробнее разъяснять опасения, связанные с ИИ и, в частности, с работой Google. Но коммуникационный барьер не рухнул. Встреча продолжилась презентациями и обсуждениями проектов с перерывами на кофе – все как обычно, – но о словах Хофштадтера больше никто не вспоминал. В завершение встречи Хофштадтер попросил участников поделиться своими соображениями о ближайшем будущем ИИ. Несколько исследователей из Google предположили, что общий ИИ человеческого уровня, вероятно, появится в течение ближайших тридцати лет, во многом благодаря успехам Google в совершенствовании метода “глубокого обучения”, навеянного представлениями о человеческом мозге.

Я ушла со встречи в растерянности. Я знала, что Хофштадтера тревожат некоторые работы Курцвейла о сингулярности, но прежде не понимала, насколько глубоки его опасения. Я также знала, что Google активно занимается исследованиями ИИ, но поразилась оптимизму некоторых прогнозов о времени выхода общего ИИ на “человеческий” уровень. Лично я полагала, что ИИ достиг больших успехов в ряде узких сфер, но не приблизился к широкой, общей разумности человека – и не мог приблизиться к ней даже за столетие, не говоря уже о трех десятках лет. При этом я была уверена, что люди, имеющие другую точку зрения, серьезно недооценивают сложность человеческого разума. Я читала книги Курцвейла и по большей части находила их смехотворными. Тем не менее, прислушавшись к мнению людей, которых я уважала и которыми восхищалась, я решила критически оценить свои собственные взгляды. Возможно, полагая, что эти исследователи ИИ недооценивают людей, я сама недооценивала силу и потенциал сегодняшнего ИИ?

В последующие месяцы я начала внимательнее следить за обсуждением этих вопросов. Я вдруг стала замечать множество статей, постов и целых книг, в которых выдающиеся люди говорили нам, что прямо сейчас настает пора опасаться угроз “сверхчеловеческого” ИИ. В 2014 году физик Стивен Хокинг заявил: “Развитие полноценного искусственного интеллекта может означать конец человеческой расы”[7 - Цит. по: R. Cellan-Jones, “Stephen Hawking Warns Artificial Intelligence Could End Mankind”, BBC News, Dec. 2, 2014, www.bbc.com/news/technology-30290540.]. В тот же год предприниматель Илон Маск, основавший компании Tesla и SpaceX, назвал искусственный интеллект, “вероятно, величайшей угрозой нашему существованию” и сказал, что “искусственным интеллектом мы призываем демона”[8 - M. McFarland, “Elon Musk: «With Artificial Intelligence, We Are Summoning the Demon»”, Washington Post, Oct. 24, 2014. https://www.washingtonpost.com/news/innovations/wp/2014/10/24/elon-musk-with-artificial-intelligence-we-are-summoning-the-demon/]. Сооснователь Microsoft Билл Гейтс согласился с ним: “В этом вопросе я согласен с Илоном Маском и другими и не понимаю, почему некоторые люди не проявляют должной озабоченности”[9 - Bill Gates, on Reddit, Jan. 28, 2015, www.reddit.com/r/IAmA/comments/2tzjp7/hi_reddit_im_bill_gates_and_im_back_for_my_third/?.]. Книга философа Ника Бострома “Искусственный интеллект” (Superintelligence)[10 - Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии / Пер. с англ. С. Филина. – М.: Манн, Иванов и Фербер, 2016. (Здесь и далее в сносках, если не указано иное, – прим. перев.)], где он рассказывает о потенциальных угрозах, которые возникнут, когда машины станут умнее людей, неожиданно стала бестселлером, несмотря на сухость и тяжеловесность повествования.

Другие ведущие мыслители выражали несогласие. Да, говорили они, нам нужно удостовериться, что программы ИИ безопасны и не могут причинить вред людям, но все сообщения о скором появлении сверхчеловеческого ИИ серьезно преувеличены. Предприниматель и активист Митчелл Капор сказал: “Человеческий разум – удивительный, изощренный и не до конца изученный феномен. Угрозы воспроизвести его в ближайшее время нет”[11 - Цит. по: K. Anderson, “Enthusiasts and Skeptics Debate Artificial Intelligence”, Vanity Fair, Nov. 26, 2014.]. Робототехник (и бывший директор лаборатории ИИ в MIT) Родни Брукс согласился с ним и отметил, что мы “сильно переоцениваем способности машин – и тех, что работают сегодня, и тех, что появятся в грядущие несколько десятилетий”[12 - R. A. Brooks, “Mistaking Performance for Competence”, in What to Think About Machines That Think, ed. J. Brockman (New York: Harper Perennial, 2015), 108–111.]. Психолог и исследователь ИИ Гэри Маркус даже высказал мнение, что в сфере создания “сильного ИИ” – то есть общего ИИ человеческого уровня – “прогресса почти не наблюдается”[13 - Цит. по: G. Press, “12 Observations About Artificial Intelligence from the O’Reilly AI Conference”, Forbes, Oct. 31, 2016, www.forbes.comobservations-about-artificial-intelligence-from-the-oreilly-ai-conference/sites/gilpress/2016/10/31/12-/#886a6012ea2e.].

Я могла бы и дальше приводить противоречащие друг другу цитаты. В общем и целом, я пришла к выводу, что в сфере ИИ царит неразбериха. Наблюдается то ли огромный прогресс, то ли почти никакого. Появление “настоящего” ИИ ожидается то ли со дня на день, то ли через несколько веков. ИИ или решит все наши проблемы, или всех нас лишит работы, или уничтожит человеческую расу, или обесценит человечность. Стремление к нему – то ли благородная цель, то ли “призыв демона”.

О чем эта книга

Эта книга появилась, когда я предприняла попытку разобраться в истинном положении вещей в области искусственного интеллекта и понять, что компьютеры умеют сегодня и чему научатся за несколько десятков лет. Провокационные высказывания Хофштадтера на встрече в Google стали для меня призывом к действию, который поддержали и уверенные ответы исследователей Google о ближайшем будущем ИИ. В последующих главах я стараюсь прояснить, как далеко зашел искусственный интеллект, а также пролить свет на его разнообразные – и порой противоречащие друг другу – цели. Для этого я анализирую работу ряда важнейших систем ИИ, оцениваю их успехи и описываю ограничения. Я рассматриваю, насколько хорошо сегодняшние компьютеры справляются с задачами, которые, по нашему мнению, требуют интеллекта высокого уровня: как они обыгрывают людей в интеллектуальных играх, переводят тексты, отвечают на непростые вопросы и управляют транспортными средствами в сложных условиях. Я также анализирую, как они выполняют элементарные в нашем понимании задачи, которые не требуют больших интеллектуальных усилий: распознают лица и объекты на изображениях, понимают речь и текст, а также пользуются обыденным здравым смыслом.

Я пытаюсь осмыслить и более широкие вопросы, которые с самого начала подпитывали дебаты об ИИ. Что мы называем “общим человеческим” или даже “сверхчеловеческим” интеллектом? Близок ли современный ИИ к этому уровню? Можно ли сказать, что он движется в этом направлении? Какие опасности таит ИИ? Какие аспекты своего разума мы особенно ценим? В какой степени ИИ человеческого уровня заставит нас усомниться в своих представлениях о собственной человечности? Говоря словами Хофштадтера, насколько мы должны быть испуганы?

В этой книге вы не найдете общего обзора истории искусственного интеллекта, но найдете подробный анализ ряда методов ИИ, которые, возможно, уже влияют на вашу жизнь или начнут влиять на нее в скором времени, а также анализ проектов ИИ, бросающих самый смелый вызов нашему восприятию человеческой уникальности. Я хочу поделиться с вами своими соображениями и надеюсь, что вы – как и я – получите более ясное представление о том, чего уже добился ИИ и какие задачи ему предстоит решить, прежде чем машины смогут заявить о собственной человечности.

Часть I

Предыстория

Глава 1

Истоки искусственного интеллекта

Два месяца и десять мужчин в Дартмуте

Мечта о создании разумной машины – машины, которая разумна в той же степени, что и человек, или даже превосходит его, – появилась много столетий назад, но стала частью современной науки с началом эры цифровых компьютеров. Идеи, приведшие к созданию первых программируемых компьютеров, родились из стремления математиков понять человеческое мышление – в частности, логику – как механический процесс “манипуляции символами”. Цифровые компьютеры, по сути, представляют собой символьные манипуляторы, которые оперируют комбинациями символов 0 и 1. Пионеры вычислительной техники, включая Алана Тьюринга и Джона фон Неймана, проводили аналогии между работой компьютеров и мозга человека, и им казалось очевидным, что человеческий разум можно воссоздать в компьютерной программе.

Большинство людей из сферы искусственного интеллекта считают, что официально она выделилась в отдельную дисциплину на маленьком семинаре, который был организован молодым математиком Джоном Маккарти и состоялся в 1956 году в Дартмуте.

В 1955 году Маккарти, которому тогда было двадцать восемь лет, поступил преподавателем на математический факультет Дартмутского колледжа. В студенческие годы он изучал психологию и новую “теорию автоматов” (которая впоследствии стала информатикой) и заинтересовался идеей о создании думающей машины. В аспирантуре на кафедре математики Принстонского университета Маккарти познакомился с Марвином Минским, который учился вместе с ним и тоже интересовался потенциалом разумных компьютеров. Окончив аспирантуру, Маккарти некоторое время работал в Лабораториях Белла и IBM, где сотрудничал с основателем теории информации Клодом Шенноном и пионером электротехники Натаниэлем Рочестером. Оказавшись в Дартмуте, Маккарти убедил Минского, Шеннона и Рочестера помочь ему с организацией “двухмесячного семинара по изучению искусственного интеллекта, который планировалось провести летом 1956 года с участием десяти человек”[14 - J. McCarthy et al., “A Proposal for the Dartmouth Summer Research Project in Artificial Intelligence”, submitted to the Rockefeller Foundation, 1955, reprinted in AI Magazine 27, no. 4 (2006): 12–14.]. Термин “искусственный интеллект” был предложен Маккарти, который хотел отделить эту сферу от связанной с ней кибернетики[15 - Кибернетика – это междисциплинарная наука, которая изучает закономерности “управления и коммуникации в живых организмах и машинах”. См. N. Wiener, Cybernetics (Cambridge, Mass.: MIT Press, 1961).]. Позже Маккарти признал, что название никому не нравилось, ведь целью был настоящий, а не “искусственный” интеллект, но “без названия было не обойтись”, поэтому он стал использовать понятие “искусственный интеллект”[16 - Цит. по: N. J. Nilsson, John McCarthy: A Biographical Memoir (Washington, D. C.: National Academy of Sciences, 2012).].

Четыре организатора летнего семинара подали заявку на получение финансирования в Фонд Рокфеллера. Они написали, что в основе планируемого исследования лежит “предположение, что каждый аспект обучения и любую другую характеристику интеллекта теоретически можно описать так точно, что можно создать машину для его моделирования”[17 - McCarthy et al., “Proposal for the Dartmouth Summer Research Project in Artificial Intelligence”.]. В заявке перечислялись основные темы для обсуждения – обработка естественного языка, нейронные сети, машинное обучение, абстрактные концепции и рассуждения, творческие способности, – и они до сих пор определяют сферу искусственного интеллекта.

Хотя самые мощные компьютеры в 1956 году были примерно в миллион раз медленнее современных смартфонов, Маккарти с коллегами полагали, что создание ИИ не за горами: “Мы считаем, что значительного прогресса по одной или нескольким из этих задач можно добиться, если группа правильно подобранных ученых получит возможность поработать над ними вместе в течение лета”[18 - Ibid.].

Вскоре возникли трудности, знакомые любому, кто хоть раз пытался организовать научный семинар. Фонд Рокфеллера согласился предоставить лишь половину запрашиваемой суммы, а убедить участников приехать и остаться оказалось гораздо сложнее, чем Маккарти мог предположить. О согласии между ними не шло и речи. Было много интересных дискуссий и много противоречий. Как обычно бывает на подобных встречах, “у каждого была своя идея, большое самомнение и горячий интерес к собственному плану”[19 - G. Solomonoff, Ray Solomonoff and the Dartmouth Summer Research Project in Artificial Intelligence, 1956, accessed Dec. 4, 2018, www.raysolomonoff.com/dartmouth/dartray.pdf.]. Тем не менее дартмутское лето ИИ помогло добиться очень важных результатов. У области исследований появилось название. Были очерчены ее общие цели. Будущая “большая четверка” пионеров сферы – Маккарти, Минский, Аллен Ньюэлл и Герберт Саймон – встретились и построили ряд планов на будущее. По какой-то причине эти четверо после семинара смотрели в будущее искусственного интеллекта с оптимизмом. В начале 1960-х годов Маккарти основал Стэнфордский проект в области искусственного интеллекта с “целью за десять лет сконструировать полностью разумную машину”[20 - H. Moravic, Mind Children: The Future of Robot and Human Intelligence (Cambridge, Mass.: Harvard University Press, 1988), 20.]. Примерно в то же время будущий нобелевский лауреат Герберт Саймон предсказал: “В ближайшие двадцать лет машины смогут выполнять любую работу, которая под силу человеку”[21 - H. A. Simon, The Shape of Automation for Men and Management (New York: Harper & Row, 1965), 96.]. Вскоре после этого основатель Лаборатории ИИ в MIT Марвин Минский дал прогноз, что “до смены поколений… задачи создания «искусственного интеллекта» будут в основном решены”[22 - M. L. Minsky, Computation: Finite and Infinite Machines (Upper Saddle River, N. J.: Prentice-Hall, 1967), 2.].

Основные понятия и работа с ними

Пока не произошло ни одно из предсказанных событий. Насколько далеки мы от цели сконструировать “полностью разумную машину”? Потребуется ли нам для этого осуществить обратное проектирование сложнейшего человеческого мозга или же мы найдем короткий путь, где хитрого набора пока неизвестных алгоритмов будет достаточно, чтобы создать полностью разумную в нашем представлении машину? Что вообще имеется в виду под “полностью разумной машиной”?

“Определяйте понятия… или мы никогда не поймем друг друга”[23 - B. R. Redman, The Portable Voltaire (New York: Penguin Books, 1977), 225.]. Этот призыв философа XVIII века Вольтера остается слабым местом дискуссий об искусственном интеллекте, поскольку главное понятие – интеллект – все еще не имеет четкого определения. Марвин Минский называл такие понятия, как “интеллект”, “мышление”, “познание”, “сознание” и “эмоция”, “словами-чемоданами”[24 - M. L. Minsky, The Emotion Machine: Commonsense Thinking, Artificial Intelligence, and the Future of the Human Mind (New York: Simon & Schuster, 2006), 95.]. Каждое из них, подобно чемодану, набито кучей разных смыслов. Понятие “искусственный интеллект” наследует эту проблему, в разных контекстах означая разное.

Большинство людей согласится, что человек наделен интеллектом, а пылинка – нет. Кроме того, мы в массе своей считаем, что человек разумнее червя. Коэффициент человеческого интеллекта измеряется по единой шкале, но мы также выделяем разные аспекты интеллекта: эмоциональный, вербальный, пространственный, логический, художественный, социальный и так далее. Таким образом, интеллект может быть бинарным (человек либо умен, либо нет), может иметь диапазон (один объект может быть разумнее другого), а может быть многомерным (один человек может обладать высоким вербальным, но низким эмоциональным интеллектом). Понятие “интеллект” действительно напоминает набитый до отказа чемодан, который грозит лопнуть.

Как бы то ни было, сфера ИИ практически не принимает в расчет эти многочисленные различия. Усилия ученых направлены на решение двух задач: научной и практической. В научном направлении исследователи ИИ изучают механизмы “естественного” (то есть биологического) интеллекта, пытаясь внедрить его в компьютеры. В практическом направлении поборники ИИ просто хотят создать компьютерные программы, которые справляются с задачами не хуже или лучше людей, и не заботятся о том, думают ли эти программы таким же образом, как люди. Если спросить исследователей ИИ, какие цели – научные или практические – они преследуют, многие в шутку ответят, что это зависит от того, кто в данный момент финансирует их работу.

В недавнем отчете о текущем состоянии ИИ комитет видных исследователей определил эту область как “раздел информатики, изучающий свойства интеллекта посредством синтеза интеллекта”[25 - One Hundred Year Study on Artificial Intelligence (AI100), 2016 Report, 13, ai100.stanford.edu/2016-report.]. Да, определение закольцовано. Впрочем, тот же комитет признал, что определить область сложно, но это и к лучшему: “Отсутствие точного, универсального определения ИИ, вероятно, помогает области все быстрее расти, развиваться и совершенствоваться”[26 - Ibid., 12.]. Более того, комитет отмечает: “Практики, исследователи и разработчики ИИ ориентируются по наитию и руководствуются принципом «бери и делай»”.

Анархия методов

Участники Дартмутского семинара 1956 года озвучивали разные мнения о правильном подходе к разработке ИИ. Одни – в основном математики – считали, что языком рационального мышления следует считать математическую логику и дедуктивный метод. Другие выступали за использование индуктивного метода, в рамках которого программы извлекают статистические сведения из данных и используют вероятности при работе с неопределенностью. Третьи твердо верили, что нужно черпать вдохновение из биологии и психологии и создавать программы по модели мозга. Как ни странно, споры между сторонниками разных подходов не утихают по сей день. Для каждого подхода было разработано собственное множество принципов и техник, поддерживаемых отраслевыми конференциями и журналами, но узкие специальности почти не взаимодействуют между собой. В недавнем исследовании ИИ отмечается: “Поскольку мы не имеем глубокого понимания интеллекта и не знаем, как создать общий ИИ, чтобы идти по пути настоящего прогресса, нам нужно не закрывать некоторые направления исследований, а принимать «анархию методов», царящую в сфере ИИ”[27 - J. Lehman, J. Clune and S. Risi, “An Anarchy of Methods: Current Trends in How Intelligence Is Abstracted in AI”, IEEE Intelligent Systems 29, no. 6 (2014): 56–62.].

Однако с 2010-х годов одно семейство ИИ-методов, в совокупности именуемых глубоким обучением (или глубокими нейронными сетями), выделилось из анархии и стало господствующей парадигмой ИИ. Многие популярные медиа сегодня ставят знак равенства между понятиями “искусственный интеллект” и “глубокое обучение”. При этом они совершают досадную ошибку, и мне стоит прояснить различия между терминами. ИИ – это область, включающая широкий спектр подходов, цель которых заключается в создании наделенных интеллектом машин. Глубокое обучение – лишь один из этих подходов. Глубокое обучение – лишь один из множества методов в области “машинного обучения”, подобласти ИИ, где машины “учатся” на основе данных или собственного “опыта”. Чтобы лучше понять эти различия, нужно разобраться в философском расколе, который произошел на заре исследования ИИ, когда произошло разделение так называемых символического и субсимволического ИИ.

Символический ИИ

Давайте сначала рассмотрим символический ИИ. Программа символического ИИ знает слова или фразы (“символы”), как правило понятные человеку, а также правила комбинирования и обработки этих символов для выполнения поставленной перед ней задачи.

Приведу пример. Одной ранней программе ИИ присвоили громкое имя “Универсальный решатель задач” (General Problem Solver, или GPS)[28 - A. Newell and H. A. Simon, “GPS: A Program That Simulates Human Thought”, P-2257, Rand Corporation, Santa Monica, Calif. (1961).]. (Прошу прощения за сбивающую с толку аббревиатуру: Универсальный решатель задач появился раньше системы глобального позиционирования, ныне известной как GPS.) УРЗ мог решать такие задачи, как задача о миссионерах и людоедах, над которой вы, возможно, ломали голову в детстве. В этой известной задаче три миссионера и три людоеда должны переправиться через реку на лодке, способной выдержать не более двух человек. Если на одном берегу окажется больше (голодных) людоедов, чем (аппетитных) миссионеров, то… думаю, вы поняли, что произойдет. Как всем шестерым переправиться на другой берег без потерь?

Создатели УРЗ, когнитивисты Герберт Саймон и Аллен Ньюэлл, записали, как несколько студентов “размышляют вслух”, решая эту и другие логические задачи. Затем Саймон и Ньюэлл сконструировали программу таким образом, чтобы она копировала ход рассуждений студентов, который ученые признали их мыслительным процессом.

Я не буду подробно описывать механизм работы УРЗ, но его символическую природу можно разглядеть в формулировке программных инструкций. Чтобы поставить задачу, человек писал для УРЗ подобный код:

ТЕКУЩЕЕ СОСТОЯНИЕ:

ЛЕВЫЙ-БЕРЕГ = [3 МИССИОНЕРА, 3 ЛЮДОЕДА, 1 ЛОДКА]

ПРАВЫЙ-БЕРЕГ = [ПУСТО]

ЖЕЛАЕМОЕ СОСТОЯНИЕ:

ЛЕВЫЙ-БЕРЕГ = [ПУСТО]

ПРАВЫЙ-БЕРЕГ = [3 МИССИОНЕРА, 3 ЛЮДОЕДА, 1 ЛОДКА]

<< 1 2 3 4 >>
На страницу:
2 из 4