Машинное обучение: как его понимать. И как заработать на машинном обучении и искусственном интеллекте

Машинное обучение: как его понимать. И как заработать на машинном обучении и искусственном интеллекте
Маргарита Васильевна Акулич

В предлагаемой книге с опорой на англоязычные источники рассказано о весьма популярном сегодня направлении – машинном обучении. Раскрыты его определение и ряд аспектов.Помимо этого, даны советы по зарабатыванию на машинном обучении и искусственном интеллекте.

Машинное обучение: как его понимать. И как заработать на машинном обучении и искусственном интеллекте

Маргарита Васильевна Акулич

© Маргарита Васильевна Акулич, 2023

ISBN 978-5-0060-7212-1

Создано в интеллектуальной издательской системе Ridero

Предисловие

В предлагаемой книге с опорой на англоязычные источники рассказано о весьма популярном сегодня направлении – машинном обучении. Раскрыты его определение и ряд аспектов.

Помимо этого, даны советы по зарабатыванию на машинном обучении и искусственном интеллекте.

I Машинное обучение: базовые аспекты

1.1 Понятие машинного обучения. Математические основы ML

Понятие машинного обучения

Под термином «машинное обучение» (Machine learning- Ml) принято понимание общего термина для обозначения средства, предназначенного для решения проблем, для которых разрабатывать алгоритмы специалистами по программированию могло бы оказаться чрезмерно затратно. Решения проблем осуществляются в итоге с опорой на оказание машинам помощи в открытии «открытии» своих «собственные» алгоритмов без необходимости получения ими явных указаний, что им делать, используя любые разработанные человеком алгоритмы.

Применение Ml-подходов имело место в таких направлениях (или областях), где осуществление разработки алгоритмов для выполнения нуждающихся в выполнении задач чрезмерно недешево. Это такие направления (или области), как медицина, сельское хозяйство, фильтрация электронной почты, распознавание речи, компьютерное зрение, большие языковые модели.

Для машинного обучения имеет место  существование множества приложений. Этика машинного обучения становится отдельной областью исследований и должна быть интегрирована в команды разработчиков машинного обучения.

Математические основы ML

Если говорить о математических основах ML, то ими обеспечиваются методы математической оптимизации (это из области математического программирования). Параллельной (смежной) областью исследований, в которой основное внимание уделяется исследовательскому анализу данных с помощью «обучения без учителя», является интеллектуальный анализ данных, предназначенный для решения бизнес-задач, известных как «прогнозная аналитика». Не все ML базируется на статистике, однако надо принимать во внимание, что вычислительную статистику считают значимым источником методов в рассматриваемой области.

1.2 Преследуемые современным Ml цели. Машинное обучение как область искусственного интеллекта

Преследуемые современным Ml цели

Целей, преследуемых современным Ml, насчитывается две. Во-первых, это цель классификации данных на базе разработанных моделей, во-вторых – цель прогнозирования будущих результатов с опорой на эти модели. Ml-алгоритм для торговли акциями может информировать трейдера о будущих потенциальных прогнозах. Для классификации данных о родинках возможно использование компьютерного зрения в сочетании с контролируемым обучением, чтобы научить его классифицировать родинки, разделяя их на злокачественные и не злокачественные.

Машинное обучение как область искусственного интеллекта

Как научная деятельность, Ml возникло в результате поисков в области искусственного интеллекта (Artificial Intelligence – AI). На заре AI как академической дисциплины некоторые из исследователей были заинтересованы в том, чтобы происходило обучение машин на данных. Они пытались подойти к проблеме с помощью различных методов, а также того, что было названо «нейронными сетями»; это были в основном перцептроны и иные модели, которые в более позднее время оказались переосмыслением обобщенных линейных статистических моделей. Также применение находили (особенно в автоматизированной медицинской диагностике) вероятностные рассуждения.

Однако имел место рост внимания к логическому, базирующемуся на знаниях подходу. Это спровоцировало раскол между AI и Ml. Вероятностные системы столкнулись с проблемами (теоретического и практического плана) в такой области, как область сбора и представления данных.

К периоду 1980-х годов в AI-области доминирующими стали экспертные системы, оставив позади вышедшую из моды статистику. Работа над базирующимися на знаниях/символизме обучением продолжалась в рамках AI, что привело к индуктивному логическому программированию. Но более статистическое направление исследований теперь оказалось за пределами собственно AI, в области распознавания образов и поиска информации. Исследования в сфере нейронных сетей были практически одновременно прекращены информатикой и AI.

Данная линия также была продолжена как «коннекционизм» исследователями в других дисциплинах, которыми являлись (в том числе) Хинтон, Румельхарт и Хопфилд. Их ключевой успех пришелся на время середины 1980-х г.г., когда ими был изобретен метод обратного распространения ошибки.

Примечание:

Коннекционизм является одним из подходов в области искусственного интеллекта, когнитивной науки под названием «когнитивистика», нейробиологии, философии сознания и психологии. Он из связанных между собой простых элементов моделирует  поведенческие либо мыслительные явления посредством процессов становления в сетях. .

Расцвет машинного обучения, реорганизованного и признанного отдельной областью, пришелся на 1990-е г. г. Эта область с достижениями в области искусственного интеллекта изменила свою цель на решение решаемых проблем практического характера. Он сместил акцент с символических подходов, унаследованных от AI, на модели и методы, заимствованные из таких областей как статистика, теория вероятностей и нечеткая логика.

1.3 Теория вычислительного обучения

Обобщение опыта

Основная цель в обучении – обобщение своего опыта. Обобщением в рассматриваемом контексте является способность обучающейся машины к точному выполнению новых, ранее незнакомых примеров/задач после изучения набора обучающих данных. Обучающие примеры берутся из некоторого, как правило, неизвестного распределения вероятностей (считающегося репрезентативным для пространства событий), и от обучающегося требуется построение общей модели этого пространства, способной давать ему в новых случаях отличающиеся достаточной точностью прогнозы.

Вычислительный анализ алгоритмов машинного обучения и их производительности

Вычислительный анализ ML-алгоритмов и их производительности является разделом теоретической информатики, известным как теория вычислительного обучения, с использованием модели «вероятно приблизительно правильного обучения» (PAC). Так как будущее неопределенно, а обучающие наборы конечны, теория обучения обычно не дает вероятностные границы производительности алгоритмов – здесь обходится без гарантий.

Одним из способов количественной оценки ошибки обобщения является разложение смещения-вариации.

Для достижения наилучшей производительности в контексте обобщения сложность гипотезы должна соответствовать сложности лежащей в основе данных функции. Если вы сталкиваетесь с ситуации меньшей сложности гипотезы в сравнении со сложностью функции, то можно говорить о том, что данные моделью подогнаны недостаточно. Если в ответ обеспечить увеличение уровня сложности модели, то ошибка обучения окажется меньшей Но если гипотеза отличается чрезмерной сложностью, модель может быть переобучена, и обобщение окажется хуже.

Помимо границ производительности, теоретики обучения занимаются изучением временной сложности и осуществимости обучения. В теории вычислительного обучения вычисление считается возможным, если оно может быть выполнено за полиномиальное время.

Имеет место существование 2-х типов результатов по временной сложности: результаты положительные говорят о том, что определенный класс функций можно выучить за полиномиальное время. Результаты отрицательные говорят о том, что некоторые классы не могут быть выучены за полиномиальное время.

II Машинное обучение и ряд других областей

2.1 Ml и интеллектуальный анализ данных. Пересечение Ml и DM

Интеллектуальный анализ данных

Интеллектуальный анализ данных (Data Mining – DM) рассматривается в качестве процесса извлечения и обнаружения закономерностей из солидных массивов данных с использованием методов на стыке статистики, машинного обучения и систем баз данных. DM является междисциплинарной областью информатики и статистики, общая цель которой состоит в том, чтобы добиваться извлечения информации (с помощью интеллектуальных методов) из набора данных и преобразования информации в понятную для дальнейшего использования структуру.

DM – это этап анализа « обнаружения знаний в базах данных», процесс, или KDD (Knowledge Discovery Data).

Примечание:

Обнаружение знаний из данных (KDD) является последовательным по характеру процессом извлечения закономерностей либо знаний из огромного массива данных. Обычно люди интересуются данными, отличающимися потенциальной полезностью, нетривиальностью, неизвестностью.

KDD определяется как метод поиска, преобразования и уточнения значимых данных и шаблонов из необработанной базы данных для использования в разных приложениях либо областях.

Помимо анализа необработанных данных, в DM также включаются аспекты управления данными и базами данных, предварительной обработки данных, соображений моделей и выводов, метрик интересности, соображений сложности, постобработки обнаруженных структур, визуализации, онлайн-обновлений.

Пересечение Ml и DM

Машинным обучением и DM нередко применяются одни и те же методы и они в значительной мере пересекаются. В то же время Ml фокусируется на прогнозировании на основе известных свойств, полученных из обучающих данных, а DM – на обнаружении ранее неизвестных свойств в данных (это этап анализа обнаружения знаний в базах данных). В DM практикуется использование множества Ml- методов, но с иными целями; с другой стороны, Ml использует DM- методы как «обучение без учителя». либо в качестве этапа предварительной обработки для повышения уровня точности обучения.

Возникновение большей части путаницы между 2-мя исследовательскими сообществами (зачастую имеющими отдельные журнальные издания и конференции, ECML PKDD – серьезное исключение) происходит из-за основных предположений, с которыми они работают: