Разработка программных и аппаратных модулей искусственного интеллекта и машинного обучения на основе импортозамещения и импортонезависимости нейрокомпьютеров в России
Вернёмся к источнику вдохновения — к реальным биологическим МНС. А как в них, то есть, в нас с вами, выполняется физически кодирование, хранение, передача и обработка информации? Оказывается, что процесс обработки информации в живых МНС можно условно определить как частотно-импульсную модуляцию (ЧИМ). ЧИМ выглядит в экспериментах следующим образом. Когда нейрон возбуждён, он посылает по синапсам связанным с ним нейронам серии электрических импульсов одинаковой амплитуды и с довольно большой частотой. Когда нейрон спокоен, он посылает такие же электрические импульсы, но с гораздо меньшей частотой. Физически синапсы выглядят как трубы с порами в стенках. Через эти поры (сквозные отверстия в молекулярной ткани стенки трубы — синапса) могут наружу трубы выходить ионы натрия Na+. Такой выход электрически заряженных ионов Na+ порождает электрический потенциал на поверхности трубы-синапса. Потом эти ионы натрия Na+ заходят обратно в поры внутрь трубы синапса и выходят ионы натрия Na+ наружу из соседних пор дальше по трубе-синапсу. Потенциал передвинулся по внешней поверхности трубы-синапса. Опять ионы натрия Na+ зашли обратно внутрь в поры и вышли наружу следующие ионы натрия Na+ далее по трубе-синапсу. Потенциал опять передвинулся по внешней поверхности трубы-синапса. И так далее. Получается движение электрического импульса вдоль внешней поверхности синапса — нерва-трубы. Благодаря ЧИМ биологические НС работают хоть и очень медленно, по сравнению с цифровыми бинарными СБИС, но гораздо более эффективнее в смысле конечного результата. И гораздо надёжней за счёт переобучения и массивного резервирования. Вероятно, в освоении ЧИМ может лежать будущее информационных технологий в XXI—XXII веках.
Способность МНС к адаптивному обучению, переобучению и самообучению обеспечивает приятные бонусы.
Во-первых, резкое снижение требований к точности аппаратного представления значений весовых коэффициентов: достаточно обеспечить точность только эквивалентную 3-м значащим цифрам после запятой.
Во-вторых, резкое повышение надёжности — выход из строя некоторого количества аппаратно реализованных синапсов и нейронов в МНС, примерно до 30–50%%, не является фатальным для МНС. Вышедшие из строя, то есть, повреждённые фрагменты МНС будут функционально заменены исправными фрагментами МНС за счёт адаптивного переобучения.
Эти два фактора породили новые направления аппаратной реализации МНС на базе аналоговой электроники интегральных микросхем операционных усилителей (ИМС ОУ), а так же на основе оптических и оптоэлектронных технологий.
Аналоговая аппаратная реализация адаптивно обучаемых многослойных персептронов (МНС) отличается относительной простотой и скоростью обучения, которая ограничена только переходными процессами в аналоговых цепях на базе ИМС ОУ. Правда, на каждый отдельный нейрон необходимо потратить свой ОУ с цепями обвязки, аппаратно реализующими обучаемые синапсы с памятью значений весовых коэффициентов. Таким образом, реализация 3-х слойного персептрона выливается в несколько шкафов с тысячами ИМС ОУ. Громоздко. Но зато, дешево и сердито.
Оптическая реализация МНС отличается тем, что входные, обучающие, выходные сигналы физически представляются в виде 2D матриц, а массивы значений весовых коэффициентов в виде блочных 4D матриц. Лучи монохроматического лазерного света, которые переносят обрабатываемую информацию, пересекаясь в пространстве не взаимодействуют друг с другом. Поэтому в 3D пространстве можно обеспечить такую плотность физических аппаратных связей, которая невозможна в плоских 2D СБИС из-за так называемой «тирании соединений» на плоскости кристалла СБИС. 2D входные, 2D обучающие, 2D выходные сигналы физически представляются с помощью электрически управляемых и оптически управляемых пространственно-временных модуляторов света (ПВМС). 4D блочные матрицы физически реализуются с помощью динамически модифицируемых 3D голограмм в фоторефрактивных монокристаллах, например в легированных железом монокристаллах ниобата бария стронция Fe:SBN. Оценочная информационная ёмкость одной 3D голограммы в фоторефрактивном монокристалле физическим объёмом 1,0×1,0×1,0 куб.см может достигать около 1Тбит=10E(+12) бит при длине волны света He-Ne лазера λ=0,6886 мкм. Размерность ПВМС составляет 256×256, 512×512, 1024×1024, 2048×2048 пикселов. 2D входной и 2D целевой сигналы вводятся в оптический нейрокомпьютер с помощью электрически управляемых ПВМС. Внутренние 2D сигналы оптического нейрокомпьютера, в том числе, параллельного 2D нелинейного преобразования, выполняются с помощью оптически управляемого ПВМС, на базе физического явления оптической бистабильности, позволяющего управлять светом с помощью другого света. Полностью оптическая, а значит, полностью массивно параллельная обработка аналоговой информации внутри оптического нейрокомпьютера позволяет достичь скорости обучения МНС, которая недоступна для цифровых аппаратных реализаций МНС на базе СБИС. Вероятно, современные достижения фотоники — оптических и оптоэлектронных БИС и СБИС позволят вернутся к аналоговым оптическим и оптоэлектронным 3D архитектурам нейрокомпьютеров.
В части цифровой технологии аппаратной реализации МНС вслед за сигнальными процессорами развивались аппаратные реализации МНС на основе нейрочипов — заказных каскадируемых СБИС, которые внутри себя содержали фрагмент МНС в виде 64-х битного вектор-матричного перемножителя, блока аппаратной реализации функции нелинейного преобразования, а также (не всегда) специального ОЗУ (SRAM) для хранения значений весовых коэффициентов МНС. Для управления таким фрагментом МНС в нейрочипе содержался 32-х разрядное RISC ядро типа синтезабельного ядра ARM. Такую вычислительную архитектуру имеют российские нейрочипы NeuroMatrix NM6403 (Л1879ВМ1), NeuroMatrix NM6404 (1879ВМ2Т) и последующие версии этих нейрочипов до NeuroMatrix NM6408 (К1879ВМ8Я). Эти нейрочипы разработаны как каскадируемые СБИС и могут объединятся в матрицы для аппаратной реализации больших МНС.
Кроме серии нейропроцессоров NeuroMatrix (НТЦ «Модуль») разрабатываются и производятся и другие отечественные и иностранные СБИС с нейроморфной архитектурой, которая аппаратно поддерживает МНС. Например, многоядерные Эльбрус-8С (1891ВМ10Я), Эльбрус-8СВ (1891ВМ12Я), Эльбрус-12С (К1891ВМ058), Эльбрус-16С (1891ВМ038) (АО «МЦСТ»), нейроморфный процессор Алтай (AltAI, АО «Мотив НТ», АО «Лаборатория Касперского»).
Альтернативная технология аппаратной реализации МНС на СБИС состоит в использовании программируемых логических интегральных схем (ПЛИС) типа Xilinx, Altera. В ПЛИС (FPGA) при подаче электропитания можно загрузить из прошивки энергонезависимой ППЗУ (ROM) программно реализованную архитектуру МНС для решения прикладных задач. Такая программная архитектура МНС описывается на специальных языках для проектирования схемотехники СБИС – VHDL, Verilog, SystemC.
Большим рывком в развитии массивно параллельных вычислений стала разработка графических процессоров фирмы NVIDIA, которые содержат на одном кристалле сотни и тысячи параллельно работающих элементарных процессоров (процессорных ядер), предназначенных для выполнения арифметических операций с вещественными числами. В каждом таком элементарном АЛУ программно можно запустить несколько вычислительных нитей, как они называют вычислительные потоки. Не погружаясь глубоко в системное программирование отметим, что вычислительный поток (нить) использует общую виртуальную память родительского процесса. А вычислительный процесс имеет собственную виртуальную память, которая не совпадает с виртуальной памятью других процессов. Разумеется, графические процессоры фирмы NVIDIA, изначально предназначенные для аппаратной поддержки функций библиотеки OpenGL для реализации динамичной 3D графики в компьютерных играх и разнообразных тренажерах, сразу стали использовать для не связанных прямо с 3D графикой OpenGL массивно параллельных вычислений, необходимых в машиностроительных САПР для решения уравнений математической физики — дифференциальных уравнений в частных производных. Такие уравнения решаются итерационными методами с помощью разностных схем, которые обычно хорошо распараллеливаются и могут быть почти идеально переложены на аппаратную многоядерную архитектуру графических процессоров NVIDIA с помощью функций обеспечения массивно параллельных вычислений библиотеки CUDA (Compute Unified Device Architecture), CUDNN (CUDA Development of Neural Network —
CUDA библиотека нейронных сетей). Разумеется, платы с графическими процессорами NVIDIA можно каскадировать, то есть, объединять в большие параллельно работающие батареи и, например, создавать фермы для майнинга криптовалюты. А где аппаратная поддержка массивно параллельных вычислений, там возникают МНС и ИИ.
Вот мы и добрались до современного состояния и развития МНС и ИИ на их основе. Созданы массовые доступные широким народным массам (ширнармассам земшара) суперкомпьютеры с поддержкой массивного параллелизма на основе батарей каскадируемых графических процессоров NVIDIA или появившихся аналогичных графических процессоров. Доступ к вычислениям на таких суперкомпьютерах обеспечивает быстрый интернет. Программно МНС на таких доступных через интернет суперкомпьютерах или облачных вычислениях реализуются с помощью современных пакетов TensorFlow, Keras (который сам часть TensorFlow), PyTorch, DeepSeek, ChatGPT OpenAI.
Эти пакеты опираются аппаратно на массивно параллельные регулярные вычислительные среды, созданные в суперкомпьютерах, и могут реализовать эмуляцию МНС с десятками и тысячами слоёв. Обучение таких огромных МНС с недавних пор стали называть глубоким обучением. Заметим, что для реализуемых при глубоком обучении МНС свёрточных МНС и рекуррентных МНС большую роль сыграли исследования нейрофизиологии строения зрительного тракта «глаз—мозг—зрение» хищников (кошек) и особенностей обработки информации в таком тракте, выполненные доктором нейрофизиологии Давидом Хьюбелом (David H. Hubel), самоорганизующиеся карты Тойве Кохонена (Teuvo Kohonen), а также когнитрон и неокогнитрон Кунихико Фокушимы (Kunihiko Fukushima).
Для глубокого обучения МНС, обучения рекуррентных МНС, свёрточных МНС разработаны библиотеки функций на С/С++ для современных отечественных нейрочипов НТЦ «Модуль» NeuroMatrix NM6408 (К1879ВМ8Я) и вычислительных систем на их основе, в том числе, встраиваемых систем управления, распознавания образов и ИИ.
На последок заметим, что этот теоретический учебник ориентирован на студентов российских колледжей и ВУЗов, которые в подавляющем своём большинстве пойдут работать на российские предприятия и будут работать в том числе, а по правде говоря, и в основном по Гособоронзаказу РФ либо прямо, либо через кооперацию с предприятиями ВПК РФ. Это данность текущего момента и перспективы на ближайшие 50 лет. Поэтому значительное внимание надо обратить на работу с отечественной элементно-компонентной базой (ЭКБ) и отечественным программным обеспечением (ПО). Эта продукция ничуть не хуже зарубежной и гарантированна от наличия вредоносного ПО, как обещает нам ФСТЭК РФ, МО РФ, ФСБ РФ.
Представьте себе, что вам поручили участвовать в разработке системы автономного управления БПЛА, СМКА, НПЛ, АРТК, НРТК, которые должны быть способны ориентироваться в пространстве, находить необходимые объекты для решения тех или иных задач. Можно ли для такого рода отечественной техники использовать низкоорбитальную спутниковую систему глобальной связи Starlink, суперкомпьютеры на NVIDIA GPU (CUDA, CUDNN, CUBLAS), спутниковую систему глобального позиционирования GPS, американские алгоритмы сквозного шифрования типа старых добрых DES и RSA, операционную систему Microsoft Windows XP//10/11, RedHat, CentOS, Debian Ubuntu, компилятор MSVC 2019–2022, GNU GCC от RedHat или от Ubuntu, функции библиотек CUDA, CUDNN, CUBLAS для NVIDIA GPU, иностранные нейропакеты для глубокого обучения МНС и реализации коммерческого ИИ типа TensorFlow, Keras, PyTorch, ChatGPT OpenAI, DeepSeek и прочие аналогичные? Технически можно. Цепочку передачи и обработки информации от БПЛА, СМКА, НПЛ, НРТК до мощного стационарного суперкомпьютера с GPU через Starlink, DES, RSA, GPS и обратно здесь представлена. Но такая линия связи и обработки информации будет абсолютна прозрачна для неприятеля и будет работать только с его разрешения и под его деятельным контролем. То есть, лучше бы вообще не работала.
Такое бывало. Однажды в Ираке, в 1991 году у президента и главкома Саддама Хусейна перестали работать системы управления и наведения французских ракет, которые были закуплены для иракской армии. Расследование показало, что блоки управления этих французских ракет имели канал радиосвязи через французский спутник с фирмой производителем этих ракет во Франции. А французы во время американской операции «Буря в пустыне», которая как раз происходила в этом самом 1991 году ну никак не хотели обижать своих американских союзников по НАТО. Поэтому, когда иракские ракетчики включили французские ракеты для атаки на наступающие по пустыне войска США, французские специалисты фирмачи производители выключили эти свои французские ракеты и сорвали атаку иракских ракетчиков на наступающие войска США. Что было с теми иракскими горе-чиновниками, которые купили во Франции ракеты с такими программно-аппаратными закладками в блоках управления и наведения, история умалчивает. Зато про президента Ирака господина Саддама Хусейна достоверно известно, что в 2003 году всё его семейство, включая малолетних племянников — несовершеннолетних подростков, было истреблено, он сам был пойман, осуждён за то, что был президентом Ирака и казнён через повешение. О чём «тайно» снят «совершенно секретный» видеоролик, который и сейчас крутят в интернетах.
И советские специалисты также попадались. Однажды, в далёкие 1970-е годы на одну шикарную международную промышленную выставку СССР привёз свои новейшие ЭВМ. В разгар всеобщего выставочного ажиотажа на советский стенд поднялся скромный американский инженер и попросился поработать на советской ЭВМ. Ему, разумеется, разрешили поработать на самой новой советской ЭВМ. Он сел за советскую клавиатуру, набрал какой-то одному ему известный код и, о ужас (!!!), советский монитор выдал предательскую надпись на американском языке: советский процессор из советского кремния, изготовленный на советском заводе в советском Зеленограде (Советский «Центр электроники»), имеет архитектуру, топологию и систему команд американского процессора такой-то американской фирмы. Бинго!!! Экспортные перспективы советских ЭВМ рванули к нулю. А скандал с нарушением интеллектуальной собственности грозил перерасти в шторм и бурю типа девятого вала художника Айвазовского. Советское расследование показало, что при обратном проектировании (которое в наше время изящно называется «реинжиниринг») в топологии американского процессора, указанной в предательской надписи этой фирмы, была обнаружена группа вентилей, назначение которой было непонятно. Для штатной работы исследуемой и обратно проектируемой СБИС эта группа вентилей была совершенно излишней. Однако попытка исключения этой группы вентилей из топологии уже советской СБИС приводило к отказу от штатной работы. Поэтому, не заморачиваясь с причинами этого феномена, эту группу вентилей в итоговую советскую СБИС просто и легкомысленно вернули обратно — туда, где эта группа вентилей и была в исходной американской топологии. Сроки сдачи ОКР поджимали и премия разработчикам и начальству могла улыбнутся. СБИС заработала штатно. Об инциденте с группой загадочных вентилей забыли и успокоились. До позорного случая на международной выставке. Очевидно, что эта загадочная группа вентилей была аппаратным ключом, содержащим аппаратную реализацию криптографических алгоритмов, который не только позволял штатную работу исходной архитектуры и реализующей её топологии СБИС, но и выдавал штатный родной американский ярлык на советский монитор при наборе на советской клавиатуре соответствующего секретного американского кода.
Что же делать? Куда податься? Только вести разработки на базе отечественного ПО и ЭКБ. Поэтому представленная выше линия защищённой связи и обработки информации должна выглядеть так: инерциальная система управления на основе процессоров «Эльбрус», «Элвис», нейропроцессоров NeuroMatrix, нейроморфные процессоры «Алтай», алгоритмы сквозного шифрования ГОСТ 28147–89, ГОСТ Р 34.10–2012, ГОСТ Р 34.11–2012, ГОСТ Р 34.12–2015, ГОСТ Р 34.13–2015, аппаратно реализованные на специальных отечественных криптографических СБИС, опора на российские высокоорбитальные ИСЗ глобального позиционирования ГЛОНАСС, российская система глобальной космической связи «Гонец» (СС «Гонец») и/или «Рассвет» (АО «Бюро 1440»), защищённая операционная система реального времени (ЗОСРВ) «Нейтрино-Э», ОС Astra Linux Special Edition 1.8 (Орёл, Воронеж, Смоленск), ЗОСРВ Astra Linux Embedded 1.8, отечественный нейропакеты для глубокого обучения МНС и ИИ на базе отечественных нейрочипов NeuroMatrix и AltAI («Алтай»), имеющие лицензии ФСТЭК РФ, МО РФ, ФСБ РФ. Иначе путь в программы Гособоронзаказа РФ с ВП МО РФ закрыт. А других программ развития высоких технологий и сейчас уже давно нет.
Анализ современного положения дел в области МНС и ИИ показывает наличие в настоящее время по крайней метре, трёх основных игроков — производителей ЭКБ для массивно параллельной программно-аппаратной реализации супернейрокомпьютеров для ИИ.
1. Функциональный ряд многоядерных графических процессоров фирмы NVIDIA — GPU, аппаратно реализующих массивно параллельную обработку вычислительных потоков команд и данных (MIMD), библиотеки функций CUDA, CUDNN, CUBLAS (США).
2. Современные отечественные каскадируемые многоядерные нейрочипы НТЦ «Модуль» NeuroMatrix NM6408 (К1879ВМ8Я), нейроморфные многоядерные каскадируемые процессоры AltAI («Алтай», АО «Лаборатория Касперского», АО «Мотив НТ»), СБИС многоядерных центральных процессоров «Эльбрус» — нейрокомпьютеры на основе 64-х разрядных СБИС Эльбрус-8С (1891ВМ10Я), Эльбрус-8СВ (1891ВМ12Я), Эльбрус-12С (К1891ВМ058), Эльбрус-16С (1891ВМ038), (АО «МЦСТ»), многоядерные RISC процессоры на основе синтезабельного ядра ARM (АО «Элвис») (РФ).
3. Функциональные ряды нейроускорителей ИИ: Huawei Ascend 910, Huawei Atlas 300T, Tianshu Zhixin Zhikai 100, Baidu Kunlun K200 16GB HBM, Haiguang DCU K100, Haiguang DCU Z100L для обучения ИИ на основе МНС (КНР), а также, иных национальных нейропроцессоров — от воспроизводящих архитектуру GPU с библиотеками CUDA, до реальных нейрочипов.
Обратите внимание: российские и китайские СБИС нейрочипов аппаратно, на уровне внутренней архитектуры (схемотехники — вентилей) и топологии СБИС, реализуют фрагменты МНС — 64-х разрядные вектор-матричные перемножители, аппаратную реализацию пороговой функции нелинейного преобразования, внутренняя внутри СБИС память (ОЗУ) для весовых коэффициентов слоёв МНС, входных, выходных, внутренних, обучающих сигналов.
В то же время, американские графические процессоры NVIDIA GPU аппаратно обеспечивают только массивный параллелизм, а поддержка собственно МНС для ИИ выполняется на уровне библиотек функций CUDA, CUDNN, CUBLAS. Хотя, разумеется в США в настоящее время ведутся разработки собственных нейрочипов с аппаратной реализацией фрагментов МНС на уровне архитектуры (схемотехники — вентилей) и топологии СБИС. Однако столь широкого распространения, как СБИС NVIDIA GPU, эти нейроморфные СБИС пока не имеют.
Итак, в настоящее время при резком росте интереса к «нейронкам», как изящно выражается молодёжь и прочие лидеры общественного мнения, пугающие общество нашествием великих и ужасных киборгов из датацентров (уши вянут от этого безграмотного шума), наметились жуткие пробелы в информации по теоретическим основам математических методов реализации МНС с глубоким обучением, по довольно уже длинной истории ИИ, в том числе, по отечественным разработкам в области кибернетики, по аппаратным реализациям МНС и ИИ, в том числе, аналоговым, оптическим, на базе ЧИМ, по архитектуре цифровых и аналоговых нейрочипов, по искуственным сетчаткам. Хотя бы немного восполнить эти пробелы и пытаются авторы в силу своих скромных сил в этой книжке.
В главе 1 приведены некоторые данные по истории ИИ и МНС, которая насчитывает уже около 120 лет. Размещены данные по некоторым культовым персонажам в истории ИИ и МНС. В том числе, по отечественным исследователям в области кибернетики. Автор в учебных материалах из ЮУрГУ (Челябинск) обнаружил весьма полезные данные по истории глубокого обучения МНС, которые исследовали широко известные западные учёные, а после в разделе «Кибернетика в СССР. Кибернетика — буржуазная лженаука (1948—1958)» приводятся смешные данные из знаменитого «Краткого философского словаря» [Краткий философский словарь. Государственное издательство политической литературы, 1954 г, Москва] (Соколинский Леонид Борисович., д.ф.-м.н., профессор, заведующий кафедры системного программирования. Южно Уральский Государственный Университет (ЮУрГУ) (НИУ). Челябинск. Лекции по курсу «Глубокие нейронные сети». Лекция 13. «История нейронных сетей и глубокого обучения», стр.35, 30.12.2023. «13_History.pdf» https://sok.susu.ru/courses/MachineLearnig/lectures/13%20History.pdf), в котором в довольно большой статье о теории управления в технике и живой природе делается ошибочный вывод о кибернетике, как о «лженауке и продажной девке буржуазии». И фото товарища Сталина в полстраницы. Чтобы всех напугать? Дичь какая-то. Есть и у меня такой «Краткий философский словарь» 1948 года издания. Стоит на полке рядом со стенографическим отчётом о сессии ВАСХНИЛ 31 июля — 7 августа 1948 года: «О положении в биологической науке» [ОГИС—СЕЛЬХОЗГИЗ, Государственное издательство сельскохозяйственной литературы, Москва — 1948], на котором «мичуринцы» народного академика Т.Д. Лысенко разгромили буржуазных «вейсманистов-менделистов-морганистов» уже погибшего от голода в саратовской тюрьме в 1943 году генетика академика Н.В. Вавилова, бывшего Президента ВАСХНИЛ, который в этом отчёте даже ни разу не упомянут — вообще нет его имени! Ну и что? Мало ли было глупостей? А что на западе, в Европе и Америке нет и не было своих ретроградов? Да сколько угодно. Только никому они не нужны. А рядом у меня стоит 3-х томник в 4-х книгах серии «Техническая кибернетика» под редакцией д.т.н, профессора В.В. Солодовникова (МВТУ им. Н.Э. Баумана, заведущий кафедры «Системы управлкения космическими аппаратами»). 1-й том: «Теория автоматического регулирования»; 2-й том: «Анализ и ситез непрерывных и дискретных систем автоматического регулирования»; 3-й том: «Теория нестационарных и нелинейных самонастраивающихся систем автоматического регулирования»; [Москва, Машиностроение, 1967—1968]. Этот труд базируется на содержании книги «Основы автоматического регулирования. Теория» [Машгиз, 1954]. Некоторые современные раскрученные на западе культовые специалисты по глубокому обучению МНС могут нервно покурить в сторонке и подумать о реальных научных приорететах в кибернетике. Так что, и в СССР кибернетика активно и результативно развивалась в интересах народного хозяйства и ВВТ. А как иначе в СССР в космос первыми полетели спутники и космические корабли с космонавтами, орбитальные станции, как осваивали атомную энергию, создали непреодолимую систему ПВО и ПРО, ракетно-ядерный паритет с США? Ну как это всё случилось без развития кибернетики в СССР? Поэтому в книгу добавлены материалы для расширения кругозора, о развитии кибернетики в СССР после 1948 года.
Далене в главе 1 представлены материалы о математических основах аппарата МНС. Понятие «нейрона» и «синапсов» как функции нелинейного порогового преобразования «взвешенной суммы». Функция активации для выполнения нелинейного порогового преобразования. Понятие многомерной нелинейной разделяющей поверхности между гиперобластями классов признаков в гиперпространстве. Применение многомерного полинома для реализации многомерной нелинейной разделяющей поверхности. Кусочно-линейная аппроксимация многомерной нелинейной разделяющей поверхности в многомерном гиперпространстве признаков.
Когнитрон и неокогнитрон Кунихико Фокушимы －прототипы современных свёрточных МНС, которые перекликаются с исследованиями сетчатки глаза и зрительного тракта кошачьих американского нейрофизиолога Дэвида Хьюбела.
Нейроматематика －алгоритм генерации структуры МНС для решения прикладных математических задач на основе формирования функционала энергии ошибки; синтез МНС для решения систем линейных уравнений (СЛУ); для решения систем линейных неравенств (СЛН); для решения задачи поиска матрицы обратной к заданной матрице; для решения задачи сортировки значений массива по возрастанию или по убыванию; для решения задачи комбинаторной сложности －задачи коммивояжера; для решения задачи выявления новизны на изображении; для решения задачи инвариантной обработки изображений; для быстрого преобразования Фурье, Хартли, Адамара и других гармонических преобразований; для аппроксимации функций; для оптимизации топологии вентильных групп на основе квантовых клеточных автоматов.