Большие данные, цифровизация и машинное обучение для собственников и топ-менеджеров, Или как зарабатывать больше с помощью информации

Большие данные

Английское словосочетание Big Data дословно переводится как «большие данные». По сути – это подробная информация о предмете. К примеру, большие данные для торгового центра включают в себя сведения о чеках покупателей, о количестве посетителей и даже о температуре внутри здания в течение всего дня. При этом данные не ограничиваются стенами торгового центра, в них могут быть добавлены заметки о количестве людей, пользующихся ближайшей станцией метро. Или даже информация о частоте стрижки городскими службами расположенных в радиусе ста метров от торгового центра кустов. Эти с виду бесполезные данные, скрупулезно собираемые в течение продолжительного периода времени, и называются «большими данными».

При этом они представляют собой не только числа. Это могут быть:

• Текстовые отзывы клиентов и их обращения в службу поддержки.

• Комментарии в социальных сетях.

• Записи телефонных разговоров с клиентом.

• Фотографии – от аватаров клиентов до снимков товаров.

• Видео с камер наблюдения.

Вся эта информация может легко занимать десятки терабайт. И чем старше фирма, тем больше у нее накоплено данных для проведения ценных исследований: в современном мире намного дороже удалять старую информацию, чем хранить ее вечно. Это как раз тот случай, когда «своя ноша не тянет».

Из-за непрерывно поступающих данных компании стараются минимизировать объемы хранящейся информации для снижения расходов на электронные носители. Для этого, например, аудио- и видеозаписи с помощью специальных алгоритмов переводятся в более компактный вид. Из аудиофайлов выделяют речь. Из видеозаписей, например с камер наблюдения, можно получить данные о количестве находящихся в магазине посетителей. Поэтому если преобразовывают формат, то нет нужды хранить само исходное видео или аудио. Более того, даже обычная текстовая информация, которая и так занимает немного места, отлично сжимается благодаря современным алгоритмам. Это сильно уменьшает занятый объем хранилища компании. Однако, несмотря на затраты, сейчас даже у небольших предприятий, далеких от информационных технологий, можно найти в кладовке работающий сервер, забитый несколькими терабайтами данных.

Непосвященному человеку куча устаревшей информации на серверах компании может показаться мусором. Но на самом деле это нефть 21 века. Огромные массивы накопленных данных используются для предсказания будущего, в котором бизнес сможет развиваться лучше и заработать больше. Делаются такие прогнозы не напрямую человеком, а посредством компьютера, в который вложены специальные математические алгоритмы. Даже если на график, на котором отображено ежедневное изменение тысячи параметров за последний год, посмотрит хорошо подготовленный специалист, он увидит лишь забор из линий. А компьютер, машина, не напрягаясь сможет сделать верный вывод о влиянии этих параметров на чистую прибыль компании. Но если бы данные вообще не были собраны, то и никакого вывода сделать было бы нельзя. Именно для этого всевозможная информация и хранится в компании, потому что без нее невозможно натренировать машинный интеллект, сделать с его помощью прогноз на будущее и получить выгоду для бизнеса.

Далеко не все данные, которые попадают на серверы компании, представлены в удобном для использования виде. Поэтому «склады» этих данных разделяют на несколько типов, между которыми непрерывно перекачивается информация, изменяя свою форму (или, говоря профессиональным языком, формат). Первый склад называется «озеро данных» (с английского ”Data Lake”). В него попадает вообще все, во всех возможных форматах. Там могут находиться файлы текстовых документов PDF или DOC вперемешку с JPEG-изображениями и MP4-видеофайлами. Как можно догадаться, если бессистемно поставлять подобные потоки информации в хранилище и не определить заранее, как и куда сохранять, то озеро данных очень быстро превратится в болото. Чтобы этого не произошло, нужен специальный программист, он же «инженер по данным». А если быть совсем точным, «директор по данным» (с английского ”Chief Data Officer”). Он следит как за порядком на этом «водохранилище», так и за правами доступа к нему. Весь процесс называется «управление данными» (с английского ”Data Governance”).

Итак, озеро данных – это первый «склад», куда попадает информация. После чего начинается процесс ее трансформации в более удобные формы для последующего размещения в следующем складе под названием «хранилище данных» (с английского ”Data Warehouse”). Сам процесс преобразования информации и ее перемещения между «складами» называется ETL (англ. термин ”Extract, Transform, Load” – дословно «извлечение, преобразование, загрузка»). И в конце, когда данные оказываются в хранилище в удобной для чтения форме, с ними уже могут начинать работать другие специалисты. На основе этих данных строят графики, их анализируют, на них тренируют модели машинного обучения, а также используют их для построения статистики и бизнес-отчетов.

Обычно ETL-процессы автоматизируются специальными программами, которые пишут инженеры по данным. К примеру, каждый квартал компания скачивает публичный бухгалтерский отчет конкурентов в PDF-формате. Делается это для того, чтобы держать руку на пульсе, следить за рынком. Очевидно, что в такой ситуации невозможно попросить конкурента выкладывать информацию в более удобном формате. Поэтому инженер по данным пишет программу, которая сначала скачивает PDF-файл в «озеро данных», потом достает пару-тройку нужных значений из него и сохраняет в «хранилище». После чего обновляет графики, которые строятся по этим данным. И в конце удаляет исходный PDF-файл из озера. Подобная программа срабатывает по расписанию, автоматически, непрерывно доставляя свежую информацию руководству и аналитикам. А в хранилище не остается больших ненужных файлов, все преобразуется в максимально компактный и удобный вид.

Машинное обучение

Итак, мы определились как со способом хранения данных, так и с причиной их преобразования в более удобный и компактный формат. Но остались вопросы: какова цель хранения данных, почему их не стоит удалять по прошествии длительного времени, зачем их бесконечно копить? Кратко на эти вопросы можно ответить так: собранные «большие данные» нужны для обучения машин. После прохождения такого обучения компьютеры способны прогнозировать параметры спроса, предлагать меры по улучшению продуктов и услуг, а также выдвигать идеи для построения новых стратегий по продажам. Наличие подобных обученных машин ведет к увеличению прибыли, снижению издержек производства, улучшению бизнес-процессов, и, как следствие всего этого, компания начинает теснить своих конкурентов.

Попробуем понять принцип машинного обучения с помощью небольшого примера. Предположим, в компьютер загрузили фотографии собаки. Затем машине сказали: «Это фотографии собаки». Компьютер запомнит такой образ собаки и само слово. Для контроля этих знаний надо провести экзамен – загрузить в машину фото другой собаки. И компьютер, используя созданную во время обучения логическую модель, скажет: «С вероятностью 95 % это похоже на собаку». Если тренирующий машину специалист будет удовлетворен таким уровнем точности ответа, он завершит обучение и сохранит текущее состояние машины в файл, чтобы воспользоваться им при необходимости в будущем. В этом файле натренированной модели машинного обучения находится логика определения собак по изображению на фотографии. При этом данную модель можно улучшить в будущем, переобучить: сделать ее более точной, используя больше изображений.

Готовая модель с созданной в процессе обучения логикой сохраняется в файл, в память компьютера. Это делается специально, чтобы в следующий раз, когда понадобится прогноз, не приходилось проводить обучение с самого нуля. Обратите внимание, что тренировка машины похожа на процесс обучения человека: чтобы получить качественное образование, необходимо выполнить как можно больше контрольных, пройти много тестов и сдать кучу экзаменов. В случае с изображениями собаки, для достижения более-менее уверенного распознавания потребуется показать машине тысячи фотографий с этими и другими животными. Такой процесс обучения может растянуться на несколько дней даже на мощных компьютерах. А вот само предсказание с помощью готовой модели занимает считанные доли секунды. И может осуществляться на ограниченных вычислительных ресурсах, даже на мобильных телефонах. При этом файл модели редко превышает размер в пару сотен мегабайт.

Часто можно услышать еще такие термины как «нейронное программирование» и «глубокое обучение» (с английского ”Deep Learning”). По сути, это способы построения логики, которые находятся под «капотом» у модели машинного обучения. Конечному пользователю готовой модели абсолютно все равно, как проводилось обучение: будь то «нейронное программирование», «дерево решений» или что-то связанное с «глубоким обучением». Главное, чтобы это была действительно обученная (натренированная) модель с хорошей предсказательной силой (высокой вероятностью верного ответа). А выбор методов по ее построению и тренировке – это задача специалистов. Ведь с точки зрения тех, кто использует готовые модели, все работает одинаково. Это как с автомобилями – они такие разные, но у всех у них есть педаль газа и тормоза. Поэтому, если услышите термины «нейронное программирование» и «глубокое обучение», знайте, что это все то же «машинное обучение».

Кто использует машинное обучение в бизнесе

Чтобы оценить необходимость использования машинного обучения в бизнесе, достаточно взглянуть на лидеров рынка, которые в подавляющем большинстве уже активно его применяют[2 - Arif Cam, Michael Chui, Bryce Hall (2019) Global AI Survey: AI proves its worth, but few scale impact (https://www.mckinsey.com/featured-insights/artificial-intelligence/global-ai-survey-ai-proves-its-worth-but-few-scale-impact (https://www.mckinsey.com/featured-insights/artificial-intelligence/global-ai-survey-ai-proves-its-worth-but-few-scale-impact)).] и, по данным консалтинговой компании McKinsey & Company, делают это практически во всех возможных областях (от ретейла и туризма до фармакологии и электрогенерации) и почти в 4 раза чаще, чем остальные фирмы. Судя по такой существенной разнице, машинное обучение является одним из основных инструментов, которыми должна уметь пользоваться организация, если она стремится выбиться в лидеры.

По данным аналитиков, после внедрения машинного обучения у компаний в среднем себестоимость производства снижается на 10–20 %, а выручка растет на 5–10 % в зависимости от сферы деятельности. Это невероятная выгода. Поэтому почти 70 % лидеров рынка говорят о том, что машинное обучение является частью их стратегии и у них составлены многолетние корпоративные планы по его дальнейшему развитию.

Бытует мнение, что при внедрении машинного обучения придется нанимать много сотрудников для поддержания работы созданных систем. Но по статистике лишь 30 % компаний придется увеличить штат на 3 %. И только у 5 % – он вырастет на 10 %. При этом в фирмах, связанных с тяжелой промышленностью, общее количество сотрудников, наоборот, уменьшится на 3–10 %.

Цель цифровизации и сбора больших данных

Распознавание собак на фотографиях – это отличная функция. Но вряд ли с ее помощью можно создать несколько успешных бизнес-продуктов, которые принесут реальную прибыль. Поэтому давайте оставим этот пример и зададимся более глобальным вопросом: «Как за счет больших данных и машинного обучения увеличить прибыль компании или по крайней мере вывести ее на самоокупаемость?» В этом вопросе речь идет о двух совершенно разных состояниях бизнеса. Но они оба могут быть скорректированы, с одной стороны, благодаря аналитике и ее инструментам, с другой – за счет возможности предсказания будущего на основе больших данных. Разберем все по порядку.

Как заработать больше

Рассмотрим аналитический процесс (анализ больших бизнес-данных) с точки зрения обычного человека. В качестве примера возьмем продажи питьевых йогуртов. Для проведения анализа люди используют графики. Например, график зависимости средней прибыли компании от количества бутылок йогурта в одной проданной упаковке:

На таком графике любой человек с легкостью может найти самый высокий показатель и сделать вывод: «Если класть в упаковку по 5 йогуртов, чистая прибыль будет максимальной и составит 160 рублей за одну такую проданную упаковку». И это верное заключение, с одной лишь оговоркой. Двухмерный график строится тогда, когда все остальные параметры зафиксированы. Например, этот график справедлив при значении объема бутылки в 100 мл. Но как он поведет себя, если построить его исходя из разных объемов емкости? Давайте попробуем изобразить трехмерный вариант такого графика.

С изменением объема одной бутылки изменяется и чистая прибыль. Поэтому для получения максимальной выгоды надо найти на трехмерном графике наивысшую точку и определить уже два параметра: количество бутылок в упаковке и объем одной бутылки.

Рекомендую прямо сейчас зайти на сайт RealBigData.ru (https://realbigdata.ru/), который был создан специально для демонстрации идей, изложенных в этой книге. Там представлен этот трехмерный график в интерактивном формате, его можно «покрутить» и найти параметры точки максимума (координаты появляются при наведении курсора мыши).

Как можно заметить на трехмерном графике, вершина имеет значение в 230 рублей и находится в координатах «5 бутылок, 130 мл объема». Добавив лишь одну ось к предыдущему графику, мы смогли найти такие параметры товара, которые дали на 21 % больше прибыли! Чувствуете силу данных? Попробуем улучшить результат, увеличив количество осей…

На трехмерном графике любой из нас без особого труда может чисто визуально найти максимум. Такой несложный алгоритм поиска наивысшей прибыли может дать хорошие результаты. Но если на график добавить еще одну ось, то человеку будет уже очень трудно справиться с поставленной задачей по поиску параметров, определяющих максимум. Потому что он не может представить четырехмерное пространство. Получается, что такой визуальный способ не является ни универсальным, ни точным из-за невозможности с его помощью рассмотреть все переменные одновременно. Это приводит к тому, что питьевые йогурты будут продаваться не с максимально возможной прибылью. А в условиях конкурентного рынка недостающие проценты прибыли могут привести к банкротству. Какой вывод? С этого момента лучше прибегнуть к помощи компьютера.

Теперь попробуем провести анализ приведенных графиков с точки зрения машины. Компьютер не сможет изучать графики визуально, как это делаем мы, потому что у него нет глаз. Он поведет себя как незрячий человек, ощупает всю поверхность графика и таким образом разыщет максимум. На первый взгляд такой способ выглядит трудозатратным. Но представьте, что нужно предсказать чистую прибыль не по двум параметрам (количество бутылок и их объем), а по десяти:

1. Количество бутылок.

2. Объем одной бутылки.

3. Температура бутылки.

4. Толщина стенки бутылки.

5. Прочность крышки.

6. Время суток, когда была совершена продажа.

7. Размер скидки.

8. Возраст покупателя.

9. Пол покупателя.

10. Наличие шляпы на голове покупателя.

Для проведения анализа по этим данным придется строить не двух- или трехмерный график, а одиннадцатимерный (10 параметров + 1 ось – чистая прибыль как предсказываемая величина), представляющий собой одиннадцать перпендикулярных друг другу осей, выходящих из одной точки. Обычный смертный не может ни нарисовать такой график, ни визуально найти на нем максимум. А вот компьютеру даже не придется менять его подход: незрячая машина последовательно ощупает все оси, методично переберет все значения, сравнит результаты всех возможных комбинаций и в итоге выдаст ответ, при каких параметрах будет получена максимальная прибыль. Но для этого нужны большие данные, которые надо специально и тщательно собирать. И чем ответственнее компания подходит к этому процессу, а также к обработке данных, тем больше увеличит свою прибыль, повысит качество предлагаемого товара или услуги и тем сильнее снизит издержки в результате использования машинного интеллекта.

У вас могут возникнуть вопросы: «Погодите, каким образом связаны одиннадцатимерный график, на котором представлены различные параметры йогурта, и машинное обучение? В предыдущем примере компьютер обучали, показывая ему фотографии собак, а теперь кто, кого, чему и как учит? Как на этом сделать прибыль?» Чтобы ответить на них, надо разобрать данные, касающиеся параметров йогурта подробнее. Компания методично собирала эти данные, экспериментируя с размерами упаковки и продавая разные ее варианты в различных магазинах разным покупателям и в разное время. Несложно догадаться, что фирма не смогла бы проверить все возможные комбинации полученных данных, то есть перебрать все значения параметров, чтобы как можно точнее описать «изгибы» одиннадцатимерного графика и определить максимальные значения прибыли. В результате у них получился график с «пропусками», то есть с областями, в которых отсутствовали данные. К примеру, компании совсем не удалось получить информацию о продаже йогурта вечером покупателю в шляпе. Это не значит, что такой продажи не было или не могло бы быть. Просто именно для этого сочетания значений параметров нет данных. И как же в таком случае быть? Вот тут-то и вступает в дело «машинное обучение» или «искусственный интеллект».

Натренированную на данных машину можно попросить предсказать значение прибыли в точке пропуска на графике, то есть в области, для которой данные еще не были получены экспериментальным путем. В нашем случае запрос к машине на предсказание будет звучать так: «Сколько бы заработала компания, если бы продала йогурт покупателю в шляпе вечером?» В ответ компьютер выдаст нам точное число, полученное из имеющихся в распоряжении данных. Это произойдет невзирая на то, что в действительности подобная ситуация еще никогда не случалась. Так компания сэкономит значительные средства на проведении реальных экспериментов с разными типами упаковок йогурта и не только.

Заполнение машиной пропущенных значений на одиннадцатимерном графике отчасти можно сравнить с ремонтом лоскутного одеяла с помощью заплаток. Сначала изучают края дыры, определяют, какой формы заплатка требуется. Затем «пробел» латают. После этого график можно считать более-менее полным. Однако нужно понимать, что если дырки в графике слишком большие, то есть реальных данных очень мало, то предсказания будут неточными. Это как невозможно подобрать нужный лоскут для ремонта, если дыра огромного размера, иначе будет нарушен рисунок. В таком случае, увы, придется покупать новое одеяло. Поэтому никогда не выкидывайте данные, накапливайте их для обучения компьютеров. Чем больше данных, тем меньше потребность в заплатках. А значит, точнее предсказания.

Возможно, иллюстрация с йогуртом показалась кому-то из читателей несколько надуманной. Приведу реальный пример, касающийся больших данных, чтобы доказать, что это совсем не так. Обратимся к открытому соревнованию Concrete compressive strength[3 - Соревнование по поиску формулы самого твердого бетона (https://www.kaggle.com/competitions/dat200-2019-ca3/overview (https://www.kaggle.com/competitions/dat200-2019-ca3/overview)).], в рамках которого специалисты по данным должны были определить состав самого твердого бетона. Участникам предоставили частичную информацию, в которой содержались сведения относительно прочности образцов в зависимости от соотношения различных компонентов и параметров. Всего было шестнадцать переменных:

1. Количество цемента.

2. Количество доменного шлака.