Разработка программных и аппаратных модулей искусственного интеллекта и машинного обучения на основе импортозамещения и импортонезависимости нейрокомпьютеров в России

Примеры успешного применения ИИ в реальных задачах: генеративный ИИ; обработка естественного языка (NLP), языковые модели; копилоты; генерация с использованием извлечения информации; системы рекомендаций (Recommendation system); статистический синтез планово-экономических систем на базе самообучающихся МНС Кохонена.

Этические вопросы и вызовы, связанные с развитием ИИ, и что на самом деле с этикой в ИИ: Игорь Ашамов об Эрике Шмидте.

В главе 2 представлены материалы о методах сбора и предобработки данных для обучения МНС и ИИ: важность качества данных для ИИ-моделей, методы сбора данных, web-скрапинг, API (Applied Programming Interface), базы данных, методы предобработки данных, очистка данных, нормализация, кодирование категориальных данных, работа с пропусками и выбросами, подготовка данных для обучения моделей ИИ.

В главе 3 представлены материалы об основах алгоритмов машинного обучения. Виды обучения: обучение с учителем －адаптивное обучение многослойных нейронных сетей обратным распространением сигнала ошибки для кластеризации информации －метод градиентного спуска, обучение без учителя －самообучение на основе нейронных сетей с тормозящими латеральными синапсами －карт Кохонена для кластеризации информации, обучение с подкреплением, основные алгоритмы машинного обучения, линейная регрессия, логистическая регрессия, метод ближайших соседей (kNN), деревья решений, метод опорных векторов (SVM), кластеризация, k-means, агломеративная кластеризация.

В главе 4 представлены материалы о методах оценки качества моделей и улучшение алгоритмов обучения МНС и ИИ: точность, полнота, F-мера, ROC-кривые, валидация моделей, кросс-валидация, разделение данных на тренировочные и тестовые, регуляризация моделей － L1, L2, оптимизация гиперпараметров моделей.

В главе 5 представлены материалы об архитектурах нейронных сетей: многослойные перцептроны (MLP) － входной сигнал, выходной сигнал, целевой сигнал, сигнал ошибки, функционал энергии ошибки. Описание «нейронной сети» как математического алгоритма. Гладкая дифференцируемая функция активации － порогового нелинейного преобразования. Модификация адаптивных весовых коэффициентов синапсов последнего слоя МНС. Рекуррентная формула для модификации весовых коэффициентов синапсов предыдущих слоёв МНС. Алгоритм адаптивного обучения под контролем учителя МНС (персептрона). Стохастический градиентный спуск.

Сверточные нейронные сети (CNN, СНС): функции активации (ReLU, сигмоидальная); ConvNet; AlexNet; VGG; Inception/GoogleLeNet; ResNet; ImagreNet; DenseNet; SqueezeNet; MobileNet.

Рекуррентные нейронные сети (RNN, РНС): cтруктура и алгоритмы обучения и работы РНС; обработка последовательностей; распространение ошибки в РНС; долгая короткосрочная память (LSTM); модернизация долгой краткосрочной памяти (GRU, MUT1); долгая память в РНС (SCRN); порождение текстов символ за символом.

Применение нейронных сетей в задачах: распознавание образов; обнаружение движения целей в заданном диапазоне скоростей; анализ временных рядов; применение нейросетевого алгоритма для стабилизации иглы сканирующего туннельного микроскопа (СТМ); использование МНС для предсказания изменения рельефа исследуемой поверхности и оперативного выбора оптимального стартового положения иглы зонда нанотехнологической установки (НТУ).

В главе 6 представлены материалы о принципах проектирования архитектуры ИИ-систем: модульность, масштабируемость, эффективность. Контейнеризация ИИ-систем с помощью Docker и Kubernetes, обслуживание модели в Docker, развёртывание в Kubernetes, обеспечение безопасности и надежности ИИ-систем.

В главе 7 представлены материалы о частотно-импульсном кодировании в реальных живых нервных системах. Живые нервные системы по сравнению с цифровыми процессорами очень медленные, но очень эффективны энергетически, а также по результатам решения трудноформализуемых неструктурируемых задач. Поэтому изучение реальных нервных систем, начиная с кодирования информации для передачи и обработки в них, представляет собой интерес и практический, идля расширения кругозора.

В главе 8 представлены аналоговые и оптические реализации нейрокомпьютеров (НК): на базе интегральных микросхем операционных усилителей (ИМС ОУ) аппаратно реализующий МНС (персептрон); аналоговый нейрокомпьютер Френка Розенблатта Mark-1; адаптивные переключающие схемы Бернарда Уидроу, М.Е. Хоффа (1960); аналоговые ЭВМ и цифро-аналоговые ЭВМ (ЦВМ-АВМ) аппаратно реализующая трёхслойную нейронную сеть — аппаратная реализация многослойного персептрона на интегральных микросхемах операционных усилителей (ИМС ОУ) — на базе элементов нейронной и пороговой логики А.И. Галушкина. Частотно-импульсная модуляция (ЧИМ). Аппаратная реализация ЧИМ на основе мемристоров. Оптоэлектронная реализация нейрокомпьютера на базе оптоэлектронного нейрочипов: GaAs нейрочип Mitsubishi, Si нейрочип Yu. Оптоэлектронная реализация нейросети Хопфилда с фиксированными значениями весовых коэффициентов связей на базе 2D чипа на основе аморфного кремния a-Si. Оптическая реализации адаптивно обучаемой однослойной нейросети с полными обратными связями на базе ПВМС — нейросети Хопфилда. Оптическая реализация двухслойной нейросети с фиксированными весовыми коэффициентами синапсов на базе оптического коррелятора, ПВМС и плоских 2D голограмм (Demetri Psaltis, Nabil Farhat, 1987). Каскадируемый оптический модуль аппаратно реализующий слой нейронной сети с 2D входными и 2D выходными сигналами (изображениями) (М.В. Степанов, 1996).

В главе 9 представлены цифровые реализации НК: одноплатный НК «Геркулес» на основе каскадируемого транспьютера T805 и советских БИС ОЗУ и БИС ПЗУ в качестве памяти значений весовых коэффициентов для адаптивно обучаемой МНС; НК фирмы Hughes аппаратно реализующие адаптивно обучаемую МНС на целой пластине без разрезания её на отдельные чипы; НК с массивно параллельной архитектурой на основе TMS320, СБИС, ПЛИС, БМК. НК на основе многоядерных CPU и GPU (массивно параллельная программная реализация МНС с глубоким обучением на основе математических функций библиотек CUDA). НК на основе нейрочипов NeuroMatrix NM6403 (Л1879М1) －NM6408 (К1879ВМ8Я). (НТЦ «Модуль»). Система интеллектуального видеонаблюдения на основе обработки изображений и распознавания образов – TrafficMonitor-E (TME). НК на основе СБИС Эльбрус-8С (1891ВМ10Я), Эльбрус-8СВ (1891ВМ12Я), Эльбрус-12С (К1891ВМ058), Эльбрус-16С (1891ВМ038), (АО «МЦСТ»). Российский нейроморфный процессор «Алтай» (AltAI) (АО «Лаборатория Касперского», АО «Мотив НТ»). Нейропроцессор Huawei Ascend 910 для обучения ИИ на основе МНС (КНР). СБИС для обнаружения аномального сердцебиения с использованием нейронной сети со сдвигом данных (DSNN). (КНР, Тайвань). Перспективные НК на основе наноэлектроники. Библиотеки функций на С/С++ для компилятора GNU GCC для нейропроцессоров NeuroMatrix NM6408 (К1879ВМ6Я), реализующие глубокие свёрточные и рекуррентные МНС. НТЦ «Модуль».

В главе 10 представлены искусственные сетчатки аппаратно решающие задачу обеспечения инвариантности к уровню освещённости и аппаратной сегментации изображения: оптоэлектронная реализация НК на базе GaAs нейрочипа фирмы Mitsubishi для параллельной сегментации изображений; "кремниевая сетчатка" в системе технического зрения робота в Швейцарии; прямоугольная кремниевая сетчатка тракинг-чипа (Visual Tracking Chip) – искусственная сетчатка для детектрирования направления движения; циркулярная кремниевая сетчатка антропоморфного видеосенсора (Anthropomorphic Video Sensor) Италия, 2006; прямоугольная кремниевая сетчатка Instituto de Microelectronica de Sevilla-CNM-CSIC, Испания. 2000; САПР для проектирования СБИС сетчаток, которые репродуцируют сигналы зрительного нерва. University of Pennsylvania, Philadelphia, PA, США. 2006; искусственная сетчатка как протез глаза, Manchester Royal Eye Hospital. UK. Second Sight Medical Products. University of California at Santa Cruz. США. 2009.

По возможности, мы снабдили математические формулы нейроалгоритмов примерами их программной реализации на языке С в старом добром переносимом между разными платформами формате K&R C – Brian W. Kernighan &Denis M. Ritchie C. В таком виде, без использования классов MFC необходимый исходный код будет легко переносим с платформы 64-bit Microsoft Windows 10/11 на платформу 64-bit Linux. Разумеется для системных функций API MS Win64 необходимо подобрать аналогичные системные функции API Linux GNOME GTK+, но сами функции С для реализации нейроалгоритмов можно будет перенести без изменений. Хотя голову, конечно, включать необходимо для кроссплатформенного переноса, например в Astra Linux Special Edition 1.7/1.8, Astra Linux Embedded 1.8. Перенос таких программных кодов из 32-bit Microsoft Windows XP MSVC 6.0/7.0 в 64-bit Linux CentOS 6.9/7.0, GNOME, GTK+, GNU GCC в прежние времена работал без проблем. Надо только помнить, что обе ОС являются системами, которые управляются потоком событий, которые в Microsoft Windows XP/.../10/11 называются сообщениями (messages), а в Linux/UNIX называются сигналами (signals). Цикл обработки сообщений в Microsoft Windows XP/.../10/11 логически соответствует циклу обработки сигналов Linux/UNIX. Основные рабочие сообщения и сигналы аналогичны друг другу. В общем, тот, кто знает что такое стандартный каркас приложения в Microsoft Windows XP/.../10/11 с регистрацией классов окон и циклом обработки сообщение в MSVC 6.0/7.0/2022, разберётся с аналогичной структурой программы в Linux/UNIX с функцией запуска цикла обработки сигналов и запуском оконной библиотеки GNOME под GNU GCC и GTK+ или KDE под Qt.

Разумеется, авторы наслышаны про великий и могучий скриптовый интерпретируемый максимально упрощённый язык Python, на котором обычно показывают примеры реализации нейросетей на базе готовых библиотек. Засада в том, что исходный код готовых скомпилированных и отлинкованных библиотек -- исходный текст на языке высокого и низкого уровня С/С++/Assembler, скрыт от пользователей Python. Это такой заёмный интеллект в готовом виде для тех, кто не хочет заморачиваться. Для таких специалистов есть множество сайтов с примерами программирования МНС и ИИ на Python. Например, есть всё что надо можно найти на www.github.com.

Для кроссплатформенного программирования МНС можно было бы использовать LLVM, Wing64 – платформы на любителя, но наша книжка не про программирование вообще, а про нейроалгоритмы.