Интеллект-стек 2023

Интеллект-стек 2023
Анатолий Левенчук

Курс «Интеллект-стек» раскрывает понятия интеллекта и мышления, предлагает усиление естественного и искусственного интеллекта за счёт изучения лучших (SoTA, state-of-the-art) мыслительных практик, основанных на трансдисциплинах понятизации, собранности, семантики, математики, физики, теории понятий, онтологии, алгоритмики, логики, рациональности, познания/исследований, эстетики, этики, риторики, методологии, системной инженерии.

Интеллект-стек 2023

Анатолий Левенчук

© Анатолий Левенчук, 2023

ISBN 978-5-0060-4990-1

Создано в интеллектуальной издательской системе Ridero

Введение

Курс «Интеллект-стек» раскрывает понятия интеллекта и мышления, а затем предлагает усиление естественного и искусственного интеллекта за счёт изучения лучших (SoTA, state-of-the-art) мыслительных практик, основанных на трансдисциплинах понятизации, собранности, семантики, математики, физики, теории понятий, онтологии, алгоритмики, логики, рациональности, познания/исследований, эстетики, этики, риторики, методологии, системной инженерии. Курс входит в пятый семестр программы «Организационное развитие» Школы системного менеджмента.

В курсе говорится о понятии «интеллект» и его поведении «мышление», вводится понятие интеллект-стека как набора мыслительных практик (методов мышления, паттернов мыслительной деятельности), позволяющих интеллекту быстрее решать всё более широкий спектр проблем, мешающих изменить себя и мир к лучшему. Улучшение мира понимается как многоуровневое (например: вещество, существо (включая людей), популяция, вся жизнь на Земле) избегание неприятного сюрприза в будущем, в пределе – снижение экзистенциальных рисков[1 - https://en.wikipedia.org/wiki/Global_catastrophic_risk (https://en.wikipedia.org/wiki/Global_catastrophic_risk)], «спасение». Сам состав практик стека и последовательность изложения материала курса специально адаптированы для учебных целей.

Для каждой мыслительной практики интеллект-стека говорится о том, зачем она нужна, какое её место в мышлении, а также приводится краткая характеристика её современного (SoTA) состояния, даются ссылки на литературу. Содержание курса предполагает пререквизитом прохождение курсов первых четырёх семестров программы «Организационное развитие» Школы системного менеджмента. Курс не пересказывает материал трансдисциплин, изучаемый в других курсах, но кратко касается содержания каждой из трансдисциплин интеллект-стека. Курс предназначен для того, чтобы как-то «склеить» вроде бы разрозненные знания трансдисциплин из многих других курсов в целостную картину мира. Основная идея в том, что это «аспирантский» курс: он должен вывести понимание текущей ситуации в познании на фронтир, подготовить к самостоятельным исследованиям, к самостоятельному планированию своего развития в контексте новейших достижений цивилизации. Курс сам по себе не столько «учебный курс», сколько аннотированный обзор литературы: основные знания содержатся в литературе, на которую ссылается курс, а материал курса только указывает на то, что именно надо вычитывать в указанной литературе. В курсе более семисот ссылок на литературные источники (хотя небольшая часть из них дублируется из соображений удобства использования).

Текущая версия интеллект-стека опирается на исследования учёных, занимающихся проблемами наиболее общих закономерностей эволюции жизни (дарвиновской эволюции) и эволюции знания и инженерных систем (техно-эволюции). Это труды групп David Deutsch, Виталия Ванчурина, Karl Friston, Андрея Хренникова, Kit Fine, John Doyle, Michael Levin, Andrej Karpathy и многих других учёных, с которыми они сотрудничают. Основная идея – это базирование объяснений интеллекта на первых принципах, выводимых из физики (термодинамика) и теории эволюции. Если очень кратко сформулировать основные идеи получившейся компиляции современного состояния трансдисциплин, то это будет неумолимое увеличение сложности многоуровневых биологических и технических систем в ходе биологической и техно-эволюции, безмасштабность и неантропоцентричность объяснений, творчество в основе деятельности, нацеленность агентов (естественных и искусственных, а также коллективных) на изменение мира к лучшему как пути «спасения».

В курсе в текущей версии приведено не так много заданий. Возможно, в следующих версиях курса число заданий будет увеличено. В любом случае, к моменту прохождения этого курса предполагается, что студент достаточно организован, чтобы самостоятельно спланировать своё обучение. Пока не планируется иметь варианты прохождения этого курса с инструктором или преподавателем, курс нацелен на самостоятельную проработку материала в удобном для студента темпе. Основное время должно уходить тут не столько на освоение самого материала курса, сколько на знакомство с указанной в курсе литературой.

После прохождения курса студент должен демонстрировать понимание того, что такое интеллект и мышление, каким образом их можно усилить. Студент должен демонстрировать целостное мировоззрение, позволяющее связно и неантропоцентрично описывать многомасштабный мир, строить свои R&D программы (инженерные программы, включая их часть, связанную с исследованиями). После прохождения курса ожидается, что студент организует свою лабораторию, которая в ходе шестого семестра программы «Организационное развитие» разработает и будет развивать курс по какой-то прикладной практике инженерии (включая «железную» инженерию, менеджмент, образование, медицину и т.д.). Это ход на подъём квалификации со студенческого «мастера» до аспирантского «реформатора», то есть переход с ведения программы организационного развития какого-то предприятия на программу развития сообщества какой-то практики.

Курс получен путём полной переписки содержания курса «Образование для образованных 2021». Содержание курса и терминология согласованы с содержанием и терминологией курсов программы «Организационное развитие» ШСМ. Ситуация с лучшим на сегодня известным знанием и пониманием того, что такое интеллект, быстро меняется. Обновления курса будут частыми и после окончания переписки варианта 2021 года.

Благодарность студентам и сотрудникам Школы системного менеджмента, которые поддерживали меня в ходе этой работы. Особая благодарность Роману Варьянко, который оперативно выполнил корректуру текста переписанных разделов, не ограничиваясь грамматикой и орфографией, но и делая содержательные замечания.

Ваши вопросы и замечания по текущей версии, предложения по поводу следующих версий курса давайте в чат поддержки, он организован в телеграм как общий для всех курсов пятого семестра «Образование для образованных» программы «Организационное развитие»: https://t.me/odo_course (https://t.me/odo_course)

1. Интеллект и практики интеллект-стека

Берём понятие интеллекта у разработчиков машинного интеллекта

Тем, кто развивает естественный интеллект в мокрых детских и взрослых нейронных сетях, нужно отслеживать подходы из сферы искусственного интеллекта. В сфере AI (artificial intelligence) нужно научить много более тупой (поскольку он не прошёл эволюционного развития по части обучения) кремний, и это требует существенного разбирательства с тем, чему этот кремний учить, как учить, зачем учить. Даже если заменить кремний на квантовый компьютер, эти вопросы не изменяются. Это разбирательство делают огромные лаборатории крупных корпораций с большим финансированием. Нельзя полагаться на то, что этот кремний в классическом компьютере или какие-нибудь ионы да фотоны в квантовом компьютере станут умными (получат сильный интеллект) сами, если им дать железное тело с моторчиками, снабдить множеством датчиков, обеспечить энергией и не мешать быть любопытным к миру. Для появления интеллекта нужна какая-то эволюция: репликация конструкции этого интеллекта, мутации при репликации. С этим у сегодняшних роботов плохо. Тем не менее, возможности сегодняшнего AI уже достаточно велики, чтобы не очень их понимать – так же, как не очень понимают и возможности современного человеческого интеллекта, не понимают границы его возможностей. В любом случае, инженерам AI нужно точней определяться с подходами, точней оперировать терминологией в своих теориях/объяснениях, чем педагогам (включая андрагогов – педагогов для взрослых, и даже новый извод этих педагогов для взрослых – хьютагогов/эвтагогов, которые специализируются на самообразовании взрослых[2 - https://ru.wikipedia.org/wiki/Эвтагогика (https://ru.wikipedia.org/wiki/%D0%AD%D0%B2%D1%82%D0%B0%D0%B3%D0%BE%D0%B3%D0%B8%D0%BA%D0%B0)]). Ибо естественный интеллект может справиться и без педагогов, если растёт в среде людей. Ученик-человек-самоучка легко может оказаться умней учителя-человека, это легко представить. Но если этот ребёнок вырастает в лесу, воспитываемый волками (Маугли), то он вырастает с интеллектом примерно как у обычного зверя, даже разговаривать не может.

AI без инженеров (пока) с собственным усилением не справляется, инженеры с этим активно работают, улучшая свои объяснения/теории/модели того, как учить AI быть всё более и более сильным интеллектом.

Мы делаем радикальное предложение: в традиционной педагогике/андрагогике/хьютагогике/эвтагогике используем принципы и связанную с ними терминологию из сферы AI вместо опоры и на традиционную/классическую педагогическую терминологию, и на «на ходу» придумываемые собственные педагогические «новаторские» идеи.

Сегодня учим человека с его телефоном, компьютером, социальной сетью, персональным ассистентом и т. д. – учим киборга, у которого память и сознание как управление вниманием поддержаны техническими средствами. Так что мы не просто можем, а чтобы оставаться современными должны использовать одни и те же принципы обучения, одни и те же принципы измерения результатов обучения, одну и ту же терминологию для искусственного/машинного и естественного/человеческого интеллекта, граница между ними уже размылась, речь идёт о просто «интеллекте» без особого подчёркивания разницы в происхождении этого интеллекта. Если вам кто-то через интернет выдаст умную мысль, то вы не будете знать, собака это, человек, киборг из человека и компьютера или просто навороченный компьютер с современными алгоритмами машинного интеллекта. Это хорошо отрезвляет: нам важно качественное, продуктивное, рациональное (а иногда и художественное) мышление интеллекта, но меньше важно то, какой конструкции этот интеллект. Это только в спорте важно, чтобы бегуны быстро бежали без допинга и не использовали велосипед с электромоторчиком для более быстрого передвижения. В реальной, а не развлекательной как в спорте, жизни использование даже не корабля или самолёта, а ракеты для межконтинентального перелёта[3 - https://www.nasaspaceflight.com/2020/12/earth-to-earth-supersonic-airliners/ (https://www.nasaspaceflight.com/2020/12/earth-to-earth-supersonic-airliners/)] идёт в безусловный плюс по сравнению с бегом строго биологического человека через океан. К усилению интеллекта техническими средствами всё это относится в полной мере. В телешоу нельзя подглядывать в Гугл в поисках ответа на вопросы викторины. В жизни же наоборот, нельзя не подглядывать в Гугл, и даже нельзя не спрашивать совета у других людей: важно получить хороший ответ на вопрос, а не задействовать биологический вычислитель строго одного человека!

В сфере AI учёные и инженеры всегда считали, что они черпают вдохновение в традиционном обучении людей. Они берут там идеи, дорабатывают их, чистят-блистят, и потом используют в своих работах по обучению компьютеров. Давайте активно пользоваться этими улучшенными идеями: принесём их из сферы AI назад, в образование людей. А заодно и про образование людей будем думать более инженерно, то есть более точно, более прогнозируемо в плане результата.

Мы не будем делить «интеллект» на машинный/искусственный и естественный. Fran?ois Chollet[4 - «On the Measure of Intelligence», last revised 25 Nov 2019, https://arxiv.org/abs/1911.01547 (https://arxiv.org/abs/1911.01547)] следует примерно той же линии и задаёт подход (framework, набор понятий и терминологию) для сравнения искусственных интеллектов на базе обсуждения текущих подходов по психометрии как измерению человеческого интеллекта. По словам Fran?ois Chollet, человеческий естественный интеллект работает явно лучше всех других искусственных и естественных животных интеллектов, имеющихся у нас для сравнения. Ориентироваться в измерении силы интеллектов поэтому больше не на что, давайте разбираться с естественным интеллектом и всем вокруг него – и дальше сравнивать интеллекты животных, машин и людей одинаковым образом.

Не будем стараться точно следовать определениям (и уж тем более математическому формализму), которые дал для интеллекта Fran?ois Chollet. Мы возьмём не букву его предложений, а их дух.

Интеллект – это вычислитель,

мышление – это вычисления

Прежде всего определим интеллект как ту функциональную часть мозга, которая осуществляет мышление. Тут надо заметить, что два английских слова по-русски будут «интеллект»: intellect и intelligence. Intellect – это что-то типа русского «разума», то есть какая-то сущность, производящая какие-то более-менее рациональные размышления. А intelligence – это уже не сущность, а характеристика даже не «разумности», а «умности» (в отличие от «разума», у «ума» нет чёткой ассоциации с чем-то рациональным, а просто идёт отсылка к какому-то «неглупому» восприятию мира и формированию подходящих ответов на возможные изменения мира). Конечно, при всех этих различиях даже в английском intellect и intelligence часто выступают синонимами. Поэтому мы поступим тут достаточно вольно: интеллект – это вычислитель, а свойство этого вычислителя быть именно интеллектом, а не «тупым компьютером» назовём интеллектуальностью (ибо «интеллигентность» в русском языке – это больше про вежливость и сдержанность), а на более бытовом языке – «умностью».

Увы, мы пока мало понимаем про конструктивные части мозга, которые играют роль интеллекта как функциональной части. Где-то среди мелких деталей там наверняка будут нейроны, а ещё среди более мелких – крупные молекулы. Но интеллект «работой молекул» или даже «работой нейронов» не объяснишь, нужны более крупные структуры, наука пока на этот счёт не имеет хороших моделей, которые были бы достаточны для инженерной работы на их основе. Интеллект как функциональная часть мозга вполне материален, это нейроморфный биологический вычислитель в случае человека и разный в плане его конструкции в случае человеко-машинных и даже чисто машинных (классические, оптические, квантовые компьютеры) систем. Ещё год назад обсуждалось, что повторить скорость обучения на нескольких примерах (few-shot learning), которую показывает человеческий мозг, нельзя. А сегодня уже понятно, что AI вполне учится на нескольких примерах со скоростью не ниже человека, а иногда и выше.

Внешнее поведение интеллекта – мышление, но это не любое проявление мозговой работы. Интеллект – это вычислитель, мышление – вычисление. Но интеллект – это не вычислитель чего угодно (калькулятор ведь тоже вычисляет, но это же не интеллект!), мышление – это не любое вычисление!

Да что там калькулятор! У муравья тоже есть мозг, но мы не считаем его особо умным/мыслящим существом. И у собаки есть мозг, мы тоже не считаем её мыслящим существом, хотя и как-то интуитивно понимаем, что сила/уровень интеллекта (то есть сила/уровень мышления этого интеллекта) у муравья меньше, чем у собаки, у собаки меньше, чем у человека, а у человека меньше, чем у команды людей, да ещё и вооружённой компьютерами с доступом к интернету. Но обо всём этом нужно говорить как-то точнее, если мы хотим заниматься усилением интеллекта, повышением мощности его мышления. Все эти «мощности мышления» и «силы интеллекта» ведь довольно метафоричны, их неплохо бы определить как-то более точно.

Давайте определимся с частями-целыми в интеллекте по отношению к мозгу, в системном мышлении это будет рассуждением про системные уровни. Так, шестерёнки в часах ещё не показывают время, часы показывают время, а интерьер квартиры с часами уже вроде опять не показывает времени – на каждом уровне частей-целых функция «показа времени» обсуждается по-разному. Но не очень системное (то есть вне привязки к системным уровням) мышление в словах менее последовательно: команда футболистов пнула мяч, человек (в целом) как член команды пнул мяч, нога человека (часть человека!) пнула мяч – в языке не слишком хорошо понятно, о чём речь. Про интеллект всё то же самое: мыслит человек (включая его карандаш-бумагу или компьютер, или даже без их учёта), или мыслит мозг в целом, или мыслит интеллект как часть мозга – язык не различает. Мы будем считать, что мыслит в человеке его интеллект, роль которого играют какие-то плохо понимаемые нами структуры в мозге. Для наших целей пока этого достаточно. Но нам нужно теперь определить функцию интеллекта точнее: для чего мыслит, для чего нужно мышление, о чём все эти вычисления, которые делает интеллект?

Мышление определим как ту функцию/поведение интеллекта, которое даёт эффективность в научении решению самых разных проблем. Эффективность – это с какой скоростью при равных затратах ресурсов оператор/владелец интеллекта (человек, машина, коллектив людей и машин) чему-то может научиться, с учётом разнообразия возможных к научению решений проблем. Научиться – это от «проблемы» (не знаю, как решать эту проблему с доступными ресурсами) перейти к «задаче» (знаю практику, имею мастерство решить задачу с доступными ресурсами, могу оценить потребное время).

Дальше всё больше и больше мир приходит к консенсусу по самым разным не слишком очевидным вещам:

• «проблемы» понимаются как неприятные сюрпризы, которые ожидаются в будущем, а решение проблем – их предотвращение («похоже, зимой будет холодно и можно замёрзнуть насмерть – надо построить дом и запастись топливом для обогрева»).

• Learning/обучение/познание перестали понимать как обучение одного организма коровы, или человека, или одного экземпляра нейронной сети с момента рождения до момента, когда можно уже обнаруживать проблемы и решать их. Более того, даже для организма начали делить на «предобучение» (prelearning, именно это чаще всего у людей называют «познание», в AI это обучение «голой» нейросетки до уровня большой языковой модели, LLM) до уровня, когда можно уже разговаривать, «настройку на предметную область» (finetune, аналог «прохождения курсов»), few shot learning (понимание объяснения на буквально нескольких примерах), in-context learning (понимание того, что происходят прямо в текущей ситуации). Но в целом начали говорить, что обучение идёт на нескольких уровнях: аппаратуры (эволюция, геном), накопленное организмами и передающееся на каких-то носителях знание (мемом), и уже после этого – что там происходит с обучением организма.

• Интеллект перестали считать вычислителем, который учится ровно таким способом, каким учатся животные или люди. В физике «вычислителем» называют что угодно, что имеет память – неэргодические системы. Изменение состояния памяти – это и есть вычисление. Тут же стало можно говорить о степенях «умности» даже для молекулы, имеющей какие-то свои состояния.

Но нас по-прежнему волнует вопрос обучения отдельного человека или отдельного экземпляра GAI (общего для самых разных типов проблем искусственного интеллекта, который по своей «умности» как-то сравним с интеллектом человеческим, или даже превышает человеческий интеллект, иногда называемый «естественным»).

Характеристики силы интеллекта (силы мышления, «умности») предлагались самые разные, например «вменяемость»/persuadability[5 - https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8988303/ (https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8988303/)] как лёгкость в обучении агента с каким-то уровнем интеллекта. Скажем, часы можно обучить показывать что-то другое, только изменив их конструкцию. Кошку можно обучить, задействовав какую-то дрессировку, повторениями каких-то ситуаций в реальном мире и затем подкрепление правильного поведения вознаграждением. А вот человеку (взрослому! Познавшему уже достаточно, чтобы понимать речь!) достаточно что-то просто сказать: это очень быстро, крайне энергоэффективно. Современный AI оказался крайне вменяемым (это стало очевидно с публикацией 14 марта 2023 года языковой модели GPT-4 фирмы OpenAI).

При этом «агентом» иногда начали называть что угодно, от молекулы до человечества, а иногда – только системы, показывающие какую-то степень умения что-то спланировать в будущем и затем выполнить этот план, достигнув намеченной цели. Скажем, если обезьяна видит банан на дереве и планирует затем маршрут к банану в обход препятствий, то – точно агент. Если инфузория просто ползёт по градиенту к где-то растворяемому в жидкости кусочку сахара – иногда агент, а иногда – не агент, ибо не может планировать свои действия. И тут же выяснилось, что понятие «агент» очень нечётко определено, скажем, человеческие детёныши из «не очень агента» переходят в «явно уже агент» довольно растянуто во времени, нет чёткой границы.

Мы достаточно говорили о безмасштабном и неантропном подходе к интеллекту агентов в самых разных курсах Школы системного менеджмента. Поэтому не будем приводить тут подробности (это фронтир, и ситуация тут меняется каждую пару месяцев: идут открытия в физике, биологии, а также изучаются результаты инженерной работы по созданию AI. Не очень понятно, какая это наука изучает AI, ибо объект настолько сложен, что им занимаются представители самых разных наук. Но чаще всего это науки, которые и раньше занимались мышлением, когда был доступен только человеческий интеллект. Речь идёт о дисциплинах интеллект-стека (семантика, математика, физика, алгоритмика, логика и т.д.). Наш курс как раз посвящён этим дисциплинам, при помощи которых вообще идёт познание как ориентирование в сложном и быстроменяющемся мире с одной единственной целью – в конечном итоге выжить на уровне организмов, на уровне популяций (в том числе всей популяции вида), на уровне жизни.

Ограничимся пока только одной характеристикой интеллекта: ускорение разбирательства с неизвестным (помним, что «вменяемость» – это другая характеристика, способность к планированию тоже важна, есть и другие предложения по тому, какие характеристики оказываются важны). И ограничимся пока только скоростью познания одного человека, а не ускорением познания в ходе эволюции и техно-эволюции, проходящей с участием множества людей. Если совсем грубо определять силу интеллекта, то если агент смог научиться операционному менеджменту или высшей математике за год (то есть перейти от «не знаю как решать эти проблемы» к «знаю, как решать эти задачи») – отлично! Другой агент смог за два года при примерно том же уровне затраты усилий – интеллект этого агента вдвое хуже. Третий агент не смог научиться даже за десять лет (больной человек, или даже собака) – у него совсем плохо с интеллектом!

Это отличается от произвольных «народных» трактовок понятия «мышление» (у нас мышление::функция) и понятия «интеллект» (у нас интеллект::функциональный объект) или даже трактовок каких-то отдельных научных сообществ (этих трактовок множество!). Более того, если брать few shot learning, то современные системы машинного интеллекта уже сегодня демонстрируют силу интеллекта больше, чем люди!

И, конечно, мы игнорируем тут множество людей, которые приходят тут со своими определениями мышления и утверждают, что именно их определение мышления – правильное. «Мышление – это оперирование образами», «мышление – это осознанный поиск правильных интуиций», «мышление – это поиск лучшего научного описания проблемы», и это только первая линия «народных» определений. Вторая линия приходит как пересказ случайно выдернутой из литературы разных лет идеи из какой-нибудь околохудожественной философской школы. Скажем, берём Ницше и гуглим «Ницше мышление» – и там сразу «воля к власти как осуществление мышления», и дальше можно уже бесконечно развлекаться словесными построениями вообще вне связи с идеями Ницше или его последователей. Обязательно придёт в дискуссию кто-то, кто погуглил «Анохин мышление», и он будет рассказывать про афферентацию и мозг, и полное отсутствие связи с волей власти его волновать не будет (равно как любителей Ницше не будет волновать афферентация).

?

?

Нет наград, но есть избегание неизвестности. Оптимизм

Мы говорим об интеллекте много проще: как вычислителе, который способен находить решение разнообразных проблем, понимаемых как предотвращение неприятных сюрпризов, которые можно ожидать в будущем (про проблемы – это мы берём из теории active inference[6 - https://www.activeinference.org/ (https://www.activeinference.org/)]). Вычисления::функция этого интеллекта::функциональный объект – это и есть мышление. Больше разнообразие этих проблем – выше уровень интеллекта, мощнее мышление, для определения силы интеллекта через скорость решения проблем (то есть скорость обучения решать какой-то класс проблем, если говорить точнее) используем подход Fran?ois Chollet[7 - https://arxiv.org/abs/1911.01547 (https://arxiv.org/abs/1911.01547)].

Компьютеры подешевели, и на огромном числе компьютеров теперь человеческие дети тупеют, размахивая нарисованными мечами, которыми рубят нарисованных демонов, интернет подешевел и стал большой помойкой, а искусственный интеллект подешевел, и теперь помойка будет вообще огромной, а использоваться он будет для того, чтобы маркетологам было легче взламывать ваш мозг (при этом маркетологом можете быть и вы сами, тогда будете взламывать мозг вашего ближнего, «ничего личного, это бизнес»), а перед этим сильный корпоративный интеллект взламывать слабенькие защиты вашего персонального ассистента, который слабенький, потому что стоит дёшево, а маркетологи будут использовать дорогой интеллект. Этот интеллект в персональном ассистенте будет защищать от чужого взлома ваш мозг, но может также ломать его «по-правильному» с точки зрения какого-то другого агента (фирмы-изготовителя, государства пребывания, государства фирмы-изготовителя, государства, которое считает вас своей собственностью, то есть своим гражданином, враждебного вам хакера, ваших родителей или работодателей, которые настроили вашего персонального помощника, случайных представлений, выбранных самим интеллектуальным помощником и т.д., любой софт это только кажется, что это ваш софт! К интеллектуальным помощникам/чат-ботам это относится в полной мере)[8 - https://ailev.livejournal.com/1106188.html (https://ailev.livejournal.com/1106188.html)].