Основы нейросетей

в) Сфер применения AI дофига (нет смысла ныть что все хорошие идеи уже реализованы). Это все сферы, где много рутинной повторяющейся работы и много работников. Кассиры, водители, кладовщики, бухгалтеры, трейдеры, колл-центры и даже творческие профессии – журналисты, программисты :grimacing:, музыканты и художники. Попробовать применить AI, всех уволить и перевести на безусловный базовый доход. Ну или появятся новые профессии – разметка данных для нейросетей, колонисты экзопланет или чистое творчество. Раньше технологии развития AI не позволяли заменить человека, сейчас уже позволяют.

Источник фото (https://commons.wikimedia.org/wiki/File:YCombinator_(2014).png)

Источник фото (https://commons.wikimedia.org/wiki/File:Early-stage-investors-startup-studios.jpeg)

3 Погружение в ИИ

Итак, начал разбираться с этим вашим ИИ. Для начала прочел на вики основную статью по нейронным сетям (НС) и связанные с ней темы:

https://ru.wikipedia.org/wiki/Искусственная_нейронная_сеть (https://ru.wikipedia.org/wiki/%D0%98%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%B0%D1%8F_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D1%81%D0%B5%D1%82%D1%8C)

https://ru.wikipedia.org/wiki/Перцептрон (https://ru.wikipedia.org/wiki/%D0%9F%D0%B5%D1%80%D1%86%D0%B5%D0%BF%D1%82%D1%80%D0%BE%D0%BD)

https://ru.wikipedia.org/wiki/Розенблатт,_Фрэнк (https://ru.wikipedia.org/wiki/%D0%A0%D0%BE%D0%B7%D0%B5%D0%BD%D0%B1%D0%BB%D0%B0%D1%82%D1%82,_%D0%A4%D1%80%D1%8D%D0%BD%D0%BA)

https://ru.wikipedia.org/wiki/Искусственный_интеллект (https://ru.wikipedia.org/wiki/%D0%98%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82)

https://ru.wikipedia.org/wiki/Зима_искусственного_интеллекта (https://ru.wikipedia.org/wiki/%D0%97%D0%B8%D0%BC%D0%B0_%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82%D0%B0)

Написано довольно сложным языком, с формулами и фразами вида "… очевидно, что нелинейная характеристика нейрона может быть произвольной: от сигмоидальной до произвольного волнового пакета или вейвлета, синуса или многочлена". Ага, очевидно… для доцентов физмат вузов! Остро не хватает знаний по матану, теорверу, дифурам и прочим задротским ништякам для очкариков и яйцеголовых. Гуманитариям, думаю, читать будет совсем тяжко.

В итоге, как я понял работает НС.

Допустим есть картинка 100*100 точек. Нужно определить, какая цифра 0..9 на ней изображена.

Делаем 1-ый слой (сенсорный S) – двумерный битовый массив 100*100. В каждую позицию записываем 0 или 1 в соответствии с тем, закрашена ли точка в той же позиции в файле.

Делаем 2-ой слой (ассоциативный A) – трехмерный числовой массив N*100*100. Где N – число образов, которые должна распознавать наша НС. В данном случае N=10, т.к. нам нужно распознать числа 0..9, т.е. всего 10 цифр / образов. В каждую позицию [N, i, j] записываем число х в соответствии с тем, насколько часто встречается закрашенная точка в той же позиции для цифры 0..9.

Как посчитать Xij для каждого образа? Прогоняем много файлов 100*100 где по-разному записана цифра 0..9. Если для цифры точка закрашена прибавляем 1 к Xij, иначе убавляем 1.

Т.е. для цифры 1, например, матрица будет такая, что по краям будут сильно отрицательные значения. А в полоске посередине все более положительные.

И наконец, делаем 3ий слой (реагирующий R) – одномерный числовой массив размерности N. При поступлении картинки для распознавания НС считает число совпадений точек для каждого из образов 0..9. Т.е. для каждой точки смотрим, если она закрашена, то в позицию R[n] прибавляем значение из 2го слоя A[n, i, j].

В итоге получаем для каждого эталонного образа 0..9 финальную оценку R[n], которая говорит насколько картинка похожа на эти образы. Для удобства, эти баллы можно нормализовать и получить, например, что на "8" картинка похожа с вероятностью 85%, а на "3" с вероятностью 60% и так далее. Можно настроить выход третьего слоя, чтобы он давал только одно значение – число с максимальной полученной вероятностью в случае если эта вероятность >80%. А если вероятность меньше, то считать что цифра не распознана.

Вот в принципе и всё. Кстати, эта штука с 3-мя слоями называется перцептрон. Он считается простейшим, т.к. у него только один внутренний A-слой.

Можно сделать НС с несколькими внутренними A-слоями. Например, один A-слой распознает отдельно лапы, хвост, морду и шерсть собак. А 2ой A-слой пользуется 1м и знает, какие лапы и другие причиндалы у определенных пород собак.

Или первый слой распознает буквы, 2-ой слова из букв, а 3ий понимает, полученный текст спам или нет. Плюс 2-ой слой влияет на 1ый. Например, в английском языке есть артикль the и если есть слово из 3х букв и первые 2 – "th", то 3ий слой ненавязчиво советует 2-му слою, что 3-я буква "e". Это рекуррентные НС.

В реальности считаются не "число попаданий точки и умножение на весовой коэффициент", а хитрая математическая магия: сигмоидальная функция, метод градиентного спуска, метод обратного распространения ошибки и прочая нечисть.

Что из этого всего следует:

1) для приемлемого качества НС нужно обучать гигантским количеством данных.

2) обучающие данные должны быть размеченными, т.е. человек должен отсмотреть все эти файлы с изображениями, например, собак и указать, что это именно собака, а не кошка.

3) для обучения нужны огромные вычислительные ресурсы на парсинг данных, подсчет коэффициентов и др.

4) исходные данные нужно нормализовать – при распознавании текста из графического файла резать текст на слова и буквы, поворачивать изображение, чтобы оно было без наклона, увеличивать или уменьшать, сделать монохромным, убирать шумы и др.

5) цикл обучения НС нужно повторять с разными настройками (размер матриц, пороговые вероятности), чтобы получить лучшую НС.

6) что хорошо – обучить НС можно один раз на мощностях ИТ-гиганта типа Гугл, а пользоваться результатами смогут все.

7) алгоритм распознавания образов аналогично работает для всех других видов распознавания и предсказания – речи, спама, будущего курса акций, прогноза погоды, самоуправляемые авто и др.

7) большой минус – НС, в-основном, могут решать всего 2 основных класса задач:

а) распознавание – отнести объект к известному классу, т.е. сказать, что на фото число 1 или 2, танк или корова.

б) кластеризацию – если классов объектов нет, то создать эти классы, т.е. из миллионов фоток цифр сгруппировать единички в один класс, двойки в другой и т.д.

В вики хорошо описаны этапы решения задач при помощи НС:

1) Сбор данных для обучения;

2) Подготовка и нормализация данных;

3) Выбор топологии сети;

4) Экспериментальный подбор характеристик сети;

5) Экспериментальный подбор параметров обучения;

6) Собственно обучение;

7) Проверка адекватности обучения;

8) Корректировка параметров, окончательное обучение;

9) Вербализация сети с целью дальнейшего использования.

Короче, никаким ИИ здесь не пахнет. Сара Коннор может спать спокойно и придется ей придумать другую легенду появления внебрачного ребенка. Кстати, в каком-то смысле Терминатор вполне себе библейский сюжет. Мальчик, рожденный не в браке. Он будущий король мира. Появился от Архангела и Святого Духа, возникших из ниоткуда. Он вполне бы умер за наши грехи, но на эту роль подвернулся старина Арни во 2ой и последующих частях.

А путешествий во времени, к сожалению, нет, т.к. это тупо нарушает закон Ломоносова-Лавуазье. Из ничего не может появиться что-то. А жаль, я так хотел прокатиться верхом на трицератопсе! Это кроме того факта, что невозможно точно выяснить местоположение планеты в прошлом, т.е. при путешествии даже в минус неделю мы окажемся в космосе.

Кроме того НС не равны ИИ еще и потому, что НС могут различить объекты, но не могут понять их суть, т.е. процесса мышления не происходит. Т.е. НС по интеллекту на уровне тостера. Как следствие, машина не способна осознать себя отдельной личностью и начать выпиливать конкурирующие виды. Но это уже плюс для нас. Хотя эволюции в общем-то, плевать, кто будет на вершине пищевой цепочки.

По сути НС это жестко заданный алгоритм. Если прогнать через нее один и тот же набор данных, результат будет на 100% известен. А там где есть алгоритм нет разума, т.к. разум гибкий и иногда противоречащий правилам и ожидаемой выгоде. Кто из нас не садился играть в Героев накануне экзамена в универе или не съедал торт забив на диету?

Как выяснилось, разочарование в ИИ стандартная штука. Называется "зима ИИ". Это периоды, когда человечество разочаровывалось в ИИ (из-за завышенных ожиданий), сокращались бюджеты, рушились карьеры и снижался на годы интерес к ИИ. Самая известная зима ИИ – в 1969 г началась после того, как одногруппник Фрэнка Розенблатта (изобретателя перцептрона) Марвин Минский доказал принципиальную невозможность решения многих классов задач перцептронами. А также после многочисленных провалов проектов для военных по машинному переводу (мгновенному переводу секретных переговоров русских), автономному танку, распознавания на фото бронетехники, краху Lisp-машин (еще одна вундервафля не оправдавшая ожиданий) и др.

Да, а придумал перцептрон Фрэнк Розенблат. Наш человек. Его еврейская семья очень своевременно свалила в США из СССР/Украины как раз в годы между 1 и 2-ой мировыми войнами. Хорошая интуиция. Стал известным ученым в области ИИ, профессором и звездой Корнеллского университета. Исследовал мозг, включая такие спорные опыты на мышах, как обучение мышей навыкам, затем переработку их мозгов в миксере и ввод этой жидкости в мозг другим мышам, а у тех внезапно появлялись навыки прошлых мышей. Мозг странная штука.