Основы теории искусственных нейронных сетей

Что касается нейросетевых технологий, то в 1943 г. вышла статья нейрофизиолога Уоррена Маккалоха (Warren McCulloch) и математика Уолтера Питтса (Walter Pitts) про работу искусственных нейронов и представление модели нейронной сети на электрических схемах.

1949 г. – опубликована книга Дональда Хебба (Donald Hebb) «Организация поведения», где исследована проблематика настройки синаптических связей между нейронами.

1950-е гг. – появляются программные модели искусственных нейросетей. Первые работы были проведены Натаниелом Рочестером (Nathanial Rochester) из исследовательской лаборатории IBM.

В 1956 году на конференции в Дартмутском университете было принято решение об образовании нового научного направления – искусственный интеллект (ИИ). Английское название: artificial intelligence содержит слово intelligence, которое означает «умение рассуждать разумно».

Единого ответа на вопрос, чем занимается искусственный интеллект, не существует. Среди исследователей ИИ до сих пор не существует какой-либо доминирующей точки зрения на критерии интеллектуальности, систематизацию решаемых целей и задач, нет даже строгого определения науки «Искусственный Интеллект».

Наиболее горячие споры в философии искусственного интеллекта вызывает вопрос возможности мышления как творения человеческих рук. Вопрос «Может ли машина мыслить?», который подтолкнул исследователей к созданию науки о моделировании человеческого разума, был поставлен Аланом Тьюрингом в 1950 году.

Наиболее устоявшимся является мнение, что интеллект тесно связан с представлением и использованием знаний, машинным творчеством, и затрагивает такие направления, как инженерия знаний, представление знаний, роботы, искусственные нейронные сети, машинное обучение, глубокое обучение, нейронный процессор.

Направление инженерия знаний объединяет задачи получения знаний из простой информации, их систематизации и использования. Это направление исторически связано с созданием экспертных систем – программ, использующих специализированные базы знаний для получения достоверных заключений по какой-либо проблеме.

Производство знаний из данных – одна из базовых проблем интеллектуального анализа данных. Существуют различные подходы к решению этой проблемы, в том числе – на основе нейросетевой технологии, использующие процедуры вербализации нейронных сетей

К области машинного обучения относится большой класс задач на распознавание образов. Например, это распознавание символов, рукописного текста, речи, анализ текстов.

Нейронные сети используются для решения нечётких и сложных проблем, таких как распознавание или кластеризация объектов.

Природа человеческого творчества ещё менее изучена, чем природа интеллекта. Тем не менее, эта область существует, и здесь поставлены проблемы написания компьютером музыки, литературных произведений (часто – стихов или вариаций на темы сказок), художественное творчество. Создание реалистичных образов широко используется в кино и индустрии игр.

Отдельно выделяется изучение проблем технического творчества систем искусственного интеллекта. Теория решения изобретательских задач, предложенная в 1946 году российским изобретателем Г. С. Альтшуллером, положила начало таким исследованиям.

В процессе работы над искусственным интеллектом появились новые виды информации, алгоритмы работы с ними, новые методы получения и обработки данных. Информация может быть представлена в виде данных, знаний, правил и закономерностей, способов получения (добычи), способов хранения и использования. Обращено внимание на смысл, содержащийся в информации, на его поиск, хранение, получение, преобразование. Понимание смысла связано с выполнением умозаключений, с использованием интеллектуальных навыков, включающих в себя такие, как:

– сопоставление сложных объектов и оценку их сходства;

– выделение типового объекта из группы однородных;

– поиск типичных черт, существенных признаков;

– формирование описания типового объекта, выделение его отличительных черт;

– определение понятий (дефиниции);

– выявление причинно-следственных связей;

– интерпретация связей и свойств исследуемых объектов;

– генерация гипотез;

– выявление закономерностей;

– самообучение, адаптация;

– умение делать традуктивные, индуктивные, дедуктивные выводы;

– …

Среди важнейших классов задач, которые ставились перед ИИ с момента его зарождения как научного направления, следует выделить следующие трудно формализуемые задачи:

– доказательство теорем,

– управление роботами,

– распознавание изображений,

– машинный перевод,

– понимание текстов на естественном языке,

– программирование компьютерных игр,

– машинное творчество (синтез музыки, стихотворений, текстов, сказок).

По мере развития ИИ появились новые виды интеллектуальных изделий, в основном – это службы техподдержки различных компаний, экспертные системы по подбору товаров (подарков), по оказанию интеллектуальных услуг клиентам, автоматизированные онлайн-помощники, которые иногда реализованы как чат-боты на веб-страницах, в виде различных интеллектуальных изделий:

1. Интеллектуальных моделей, среди них:
·        Обучающих;
·        Самообучаемых;
·        Для естественноязыкового (ЕЯ) диалога;
·        Для распознавания образов, автоматической классификации;
·        Для оцифровки смысла;
·Для исследования психических процессов (таких, как ассоциативная память, мышление, …).
2. Эвристические программы
3. Экспертные системы
4. Системы символьных преобразований
5. Базы знаний
6. Машины логического вывода
7. Системы автоматического программирования
8. Рассуждающие системы
9. Нейронные программные системы
10. Семантические поисковые системы
11. Системы психологического тестирования
12. Системы речевого общения

И другие…

1958 г. – Джон фон Нейман (John fon Neumann) предложил имитацию простых функций нейронов с использованием вакуумных трубок.

1959 г. – Бернард Видров (Bernard Widrow) и Марсиан Хофф (Marcian Hoff) разработали нейросетевые модели ADALINE (ADAptive LINear Elements) и MADALINE (Множественные Адаптивные Линейные Элементы (Multiple ADAptive LINear Elements)).

Нейробиолог Френк Розенблатт (Frank Rosenblatt) начал работу над перцептроном. Однослойный перцептрон был построен аппаратно и считается классической нейросетью. Тогда перцептрон использовался для классификации входных сигналов в один из двух классов. К сожалению, однослойный перцептрон был ограниченым и подвергся критике в 1969 г., в книге Марвина Мински (Marvin Minsky) и Сеймура Пейперта (Seymour Papert) «Перцептроны».

После спада интереса к нейросетям, продолжавшегося все семидесятые годы, в 1982 г. – к возрождению интереса привело несколько событий. Джон Хопфилд (John Hopfield) представил статью в национальную Академию Наук США. Подход Хопфилда показал возможности моделирования нейронных сетей на принципе новой архитектуры.