Теория и практика распознавания инженерных сооружений, промышленных предприятий и объектов железнодорожного транспорта при дешифрировании аэроснимков

2.4. Биологические основы искусственного интеллекта

Человеческий мозг – самая сложная в обозримом мире биологическая структура, представляющая собой результат миллионов лет эволюции.

Головной мозг человека весит от 1,3 до 1,8 кг и содержит триллион клеток, из которых 100 млрд представлены соединенными в сети нейронами. Это соизмеримо с числом звезд в Млечном Пути. Нейроны, соединенные разнообразными связями в сеть, определяют интеллект, творческие способности и память человека. Количество нейронов в головном мозге человека больше, чем у всех остальных известных форм жизни. Нейрон представляет собой особый вид клеток, которые обладают электрической активностью. Он получает информацию (рисунок 2.2) при помощи сильно разветвленных отростков, называемых дендритами, и передает информацию вдоль тонкого волокна – аксона. Аксон имеет множество ответвлений, на конце каждого из которых находится область, называемая синапсом. Посредством синапсов осуществляется связь между различными нейронами. Самым распространенным типом синапсов являются химические, которые работают следующим образом. Предсинаптический процесс формирует передаваемую субстанцию, которая методом диффузии передается по синаптическим соединениям между нейронами и влияет на постсинаптический процесс. Таким образом, синапс преобразовывает предсинаптический электрический сигнал в химический, а после этого – в постсинаптический электрический.

Каждый нейрон может иметь тысячи связей с соседними нейронами. Информация по аксонам передается в виде коротких электрических импульсов, амплитуда которых составляет около 100 мВ, а длительность – 1 мс. На участках контакта между нейронами (синапсы) электрические импульсы превращаются в химические сигналы, которые стимулируют проникновение в клетку нейрона положительных зарядов. Когда достигается критическое значение потенциала, называемое пороговым, в ядре нейрона возникает электрический импульс, распространяемый, как волна, по аксону на следующий нейрон. Вклад одного синапса в установление соответствующего потенциала на выходе нейрона очень маленький. Для возникновения электрического импульса необходимо, чтобы нейрон непрерывно интегрировал множество синоптических входов.

Такая интеграция является нелинейным преобразованием и не соответствует простой операции линейного суммирования. Использование технологии окраски нейронов солями серебра позволяет выявить в коре головного мозга большое разнообразие типов нейронов. Существуют пирамидальные нейроны, нейроны таламуса, нейроны Пуркинье и т. д., всего около 50 типов. Из этого следует, что не все компоненты, из которых построен мозг, взаимозаменяемы.

Рисунок 2.2 – Биологический нейрон

Скорость распространения нервного импульса в аксоне составляет приблизительно 100 м/с, что в миллион раз меньше скорости распространения электрического сигнала по медной проволоке. Однако параллельная обработка нейронами информации, одновременно распространяющаяся по множеству связей, компенсирует этот недостаток.

Таким образом, в процессе психической деятельности в коре головного мозга распространяются нервные импульсы, которые активизируют соответствующие области нейронов. Совокупность нейронов и связей между ними образуют нейронную сеть, от функционирования которой зависят эмоциональные реакции, сознательная деятельность и память человека.

Анализ нейронной организации мозга позволяет сделать следующие выводы:

– мозг разделен на зоны, которые состоят из различных функциональных структур нейронных сетей. Разнообразная информация хранится и обрабатывается в разных нейронных структурах головного мозга;

– между нейронными структурами мозга существуют как прямые, так и обратные связи. Обратные связи в частности синхронизируют активность различных функциональных нейронных зон, благодаря чему создается единая интеграционная картина об объекте;

– осознание и понимание увиденного происходит одновременно, благодаря синхронизации активности соответствующих нейронных структур мозга, которые обрабатывают различные атрибуты информации (цвет, форма, запах и т. п.);

– для головного мозга характерна как последовательная, так и параллельная обработка информации;

– образная информация обрабатывается параллельно, а операции с символьной информацией производятся в общем случае последовательно;

– система памяти головного мозга состоит из кратковременной, оперативной и долговременной;

– существует последовательное и параллельное соединение нейронных структур мозга с точки зрения надежности. При нарушении одной из параллельно соединенных нейронных структур происходит частичная потеря функций соответствующей нейронной системы (неразличение цветов и т. д.). При дефекте одной из последовательно соединенных нейронных структур происходит отказ, ведущий к полной потере функций соответствующей нейронной системы.

Развитие мозга – это непрерывный процесс, который происходит в результате обучения посредством взаимодействия с внешней средой с учетом внутренних факторов организма. Оно начинается в эмбриональный период и происходит в течение всей жизни. Как показывают исследования, именно в эмбриональный период закладываются основы разума путем образования нейронных структур и связей между ними. Установление и образование нейронных структур мозга зависят как от генетической программы развития нервной системы, так и от внешних воздействий, стимулирующих нервную активность мозга. Под управлением генетической программы происходит рост аксонов в определенных направлениях для установления синаптических связей между нейронами. Однако не существует точной спецификации каждого межнейронного соединения. Для этого потребовалось бы огромное количество генов. Как только растущие кончики аксонов достигают соответствующей им области, на выбор конкретной межнейронной связи начинают влиять события внешнего мира, стимулирующие определенную нервную активность. От воздействия этой активности и зависит установление соответствующих межнейронных связей. Поскольку каждый индивид имеет неповторимую генетическую информацию и развивается в разных условиях (испытывает воздействие разных сочетаний раздражителей), то архитектура мозга формируется у каждого человека по-своему. Это составляет его индивидуальность. Человек живет, и его сознание развивается во времени и в пространстве. Поэтому, несмотря даже на одинаковую генетическую информацию, нельзя полностью воспроизвести архитектуру мозга и интеллект индивида.

По мере взросления человека общее число нейронов в мозге снижается, однако путем перестройки соответствующих нейронных структур мозг стремится эту утрату компенсировать.

Обучение – это процесс непрерывного развития и формирования сознания посредством взаимодействия с внешней средой с учетом индивидуальности организма. В результате обучения происходит динамическая перестройка нейронных сетей головного мозга. При этом, как уже отмечалось, увеличивается число связей между нейронами, совершенствуются сами нейроны и взаимодействие между ними. Способность синапсов и нейронных сетей динамически изменяться в результате воздействий называется синаптической пластичностью. Механизм пластичности лежит в основе обучения и создает в коре головного мозга соответствующие структуры нейронных сетей, которые определяют интеллект, память и эмоции индивида. Синаптическая пластичность возникает в результате изменения эффективности и количества связей между нейронами.

В процессе обучения происходит усиление синаптических связей между соответствующими нейронами головного мозга, вследствие чего возникает кратковременное запоминание информации, которая хранится без реактивации соответствующей нейронной сети от нескольких минут до нескольких часов. При долговременном запоминании информации, длящемся месяцами, наблюдается активация и экспрессия генов, синтез соответствующих белков и рост новых связей. При более сложных видах обучения участвуют оба механизма. Например, осмысление нового материала требует определенного времени. В процессе этого усиливаются синаптические связи и в зависимости от сложности проблемы может осуществляться рост новых связей. Данный механизм будет задействован до тех пор, пока не будет преодолено какое-то пороговое значение соответствующей нейронной сети головного мозга. В результате происходит понимание (инсайт) решаемой задачи. Пороговое значение нейронной сети характеризует степень незнания материала, индивидуальность организма и определяется пороговыми значениями нейронов, составляющих искомую сеть. При дальнейшем обучении в аналогичной области процесс понимания происходит быстрее за счет использования начальных знаний, заложенных в соответствующих синапсах.

В зависимости от вида взаимодействия обучающегося с внешней средой можно условно выделить обучение с учителем и без него. Обучение с учителем происходит при взаимодействии ученика с конкретным индивидом (учителем), с которым он находится в состоянии обратной связи.

В этом случае имеется конкретный желаемый выход и алгоритм его получения. В процессе взаимодействия реальная реакция ученика сравнивается с эталонной реакцией учителя. В зависимости от величины их несовпадения (целевая функция ошибки) происходит соответствующая перестройка синаптических связей в целях минимизации ошибки. При обучении без учителя нет конкретного учителя (учитель – внешняя среда) и ученик находится в состоянии обратной связи с внешней средой. Обучение здесь сводится к адаптации индивида к внешней среде. В обоих типах обучения используются как положительные, так и отрицательные обратные связи в соответствующих нейронных структурах головного мозга. Так, обучение с отрицательной обратной связью происходит для минимизации ошибки целевой функции. Положительная обратная связь может интенсифицировать процесс обучения при успешном взаимодействии индивида со средой.

Важной характеристикой процесса обучения является обобщающая способность, характеризующая способность индивида интегрировать частные данные для определения закономерностей и пролонгации результатов. К этому относится способность после обучения на одних данных применять полученные знания для других данных или рассуждения от частного к общему. Обобщающая способность – важная черта нейронной организации мозга.

2.5. Искусственные нейронные сети

Искусственная нейронная сеть (ИНС) – математическая модель, а также ее программное или аппаратное воплощение, построенные по принципу организации и функционирования биологических нейронных сетей – сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке их смоделировать.

Основой ИНС является искусственный нейрон, который является отдаленным подобием биологического нейрона (рисунок 2.3).

Рисунок 2.3 – Упрощение от биологического нейрона к искусственному нейрону

Искусственный нейрон имеет несколько входов (аналоги синапсов в биологическом нейроне) и один выход (аналог аксона).

Математически нейрон выполняет функцию суммирования S входных сигналов Х с учетом их весов W, и затем результат обрабатывается функцией активации F. Результат на выходе Y зависит от входных сигналов X и их весов W, а также от функции активации. Коэффициенты W являются элементами памяти нейрона и основными элементами обучения нейронной сети.

Функция активации ограничивает амплитуду выходного сигнала нейрона. Обычно нормализованный диапазон амплитуд выходного сигнала нейрона лежит в интервале [0, 1] или [-1, 1].

На вход функции активации подается сумма всех произведений сигналов и весов этих сигналов.

Наиболее часто используемыми функциями (рисунок 2.4) активации являются:

1. Пороговая функция. Это простая кусочно-линейная функция. Если входное значение меньше порогового, то значение функции активации равно минимальному допустимому, иначе – максимально допустимому.

2. Линейный порог. Это несложная кусочно-линейная функция. Имеет два линейных участка, где функция активации тождественно равна минимально допустимому и максимально допустимому значению и есть участок, на котором функция строго монотонно возрастает.

Рисунок 2.4 – Типы функции активации нейрона: а) функция единичного скачка; б) функция единичного скачка с линейным порогом; в) гиперболический тангенс у=th(x); г) функция сигмоида у=1/(1+exp(-ax))

3. Сигмоидальная функция, или сигмоида. Это монотонно возрастающая дифференцируемая S-образная нелинейная функция. Сигмоида позволяет усиливать слабые сигналы и не насыщаться от сильных сигналов.

4. Гиперболический тангенс. Эта функция принимает на входе произвольное вещественное число, а на выходе дает вещественное число в интервале от –1 до 1. Подобно сигмоиде, гиперболический тангенс может насыщаться. Однако, в отличие от сигмоиды, выход данной функции центрирован относительно нуля.

Объединение искусственных нейронов в группу формирует нейронную сеть (рисунок 2.5).

Рисунок 2.5 – Схема формирования нейронной сети

Слой нейронной сети – это множество нейронных элементов, на которые в каждый такт времени параллельно поступает информация от других нейронных элементов сети.

Простая нейронная сеть состоит из входного слоя, скрытого слоя и выходного слоя. Сети, содержащие много скрытых слоев, часто называют глубинными нейронными сетями.

2.6. Топология искусственных нейронных сетей

Среди основных топологий нейронных сетей можно выделить полносвязные, сверточные и рекуррентные нейронные сети.

Полносвязные нейронные сети имеют несколько слоев, которые связаны между собой таким образом, что каждый нейрон последующего слоя имеет связь со всеми нейронами предыдущего слоя. Сложность сети резко возрастает от увеличения размерности входных данных и от количества скрытых слоев. Так, для анализа изображения форматом 28?28 элементов потребуется 784 нейрона в скрытом слое, и каждый из них должен иметь 784 входа для соединения с предыдущим слоем. Другая проблема заключается в том, что в полносвязной сети изображения представляют собой одномерные последовательности и при этом не учитываются особенности изображений как структуры данных. Тем не менее, для изображений небольших форматов можно использовать и полносвязную сеть.

Сверточные нейронные сети предназначены для обработки двумерных структур данных, прежде всего изображений. Сверточная сеть представляет собой комбинацию трех типов слоев:

– слои, которые выполняют функцию свертки над двумерными массивами данных (сверточные слои),

– слои, выполняющие функцию уменьшения формата данных (слой субдискретизации),

– полносвязные слои, завершающие процесс обработки данных.

Структура сверточных нейронных сетей принципиально многослойная. Работа сверточной нейронной сети обычно интерпретируется как переход от конкретных особенностей изображения к более абстрактным деталям и далее к еще более абстрактным деталям вплоть до выделения понятий высокого уровня. При этом сеть самонастраивается и вырабатывает необходимую иерархию абстрактных признаков (последовательности карт признаков), фильтруя маловажные детали и выделяя существенное. Примером классической сверточной нейронной сети является сеть VGG16 (рисунок 2.6).

Рисунок 2.6 – Структура классической сети VGG16