Big Data: технология настоящего и будущего

Big Data как совокупность систем анализа большого количества данных в нашу цифровую эпоху является просто необходимостью. Объемы информации в мировых хранилищах растут просто огромными темпами, и все накопленные материалы нужно каким-то образом анализировать.

Зачем именно это делать, вопрос не стоит: обработка тех или иных сведений необходима в самых разных сферах человеческой деятельности. Только вот классические методы анализа во многих случаях уже не работают из-за слишком больших массивов информации. И как раз тут приходит на помощь Big Data.

Значение термина Big Data

Понятие Big Data впервые было использовано Клиффордом Линчем, который являлся редактором популярного общенаучного журнала Nature. Его статья в сентябрьском спецвыпуске за 2008 год, посвященном технологиям будущего, включала размышления о стремительном росте объемов информации.

Что такое Big Data простыми словами? На русский язык это понятие можно перевести как «большие данные». Его используют для описания различных способов и методик обработки огромных информационных баз независимо от их структуризации. Этот термин родился под влиянием развития компьютерных технологий, которые выросли до того уровня, когда появилась возможность проводить анализ гигантских объемов информации.

В технологии обработки больших массивов информации выделяют три основных вектора, в рамках которых решаются следующие задачи:

1. Сохранить и перевести весь объем поступающей информации в разные единицы измерения ее количества (гигабайт, терабайт или зеттабайт) для дальнейшего хранения, обработки и применения на практике.

2. Создать определенную структуру в различных видах данных (текстовая информация, фотоматериалы, видеозаписи, аудио и пр.).

3. Провести анализ Big Data и ввести разные способы для обработки того объема информации, где отсутствует структура; создать разнообразные отчеты аналитической направленности.

Чтобы проще было понять, можно вообразить полки привычного супермаркета, порядок на которых отсутствует. Ананасы соседствуют с хлебом, замороженные блинчики рядом с томатным соусом, решетка для гриля около гигиенических принадлежностей, где также размещены сыры и ингредиенты для азиатской кухни.

Технология Big Data призвана всему обозначить свое место и может подсказать, где искать, к примеру, миндальное молоко, как ознакомиться со сроками хранения и стоимостью; также владеет информацией о круге потребителей этого продукта и в чем он превосходит своих конкурентов.

По каким критериям данные можно отнести к разряду «больших»? Профессионалы в этой области выражают точку зрения, согласно которой нужно обращать внимание на скорость потока данных. Если в день она составляет сто гигабайт и выше, то речь идёт как раз о Big Data.

4 основных задачи Big Data

В каждом проекте IT-сферы на начальном этапе работы с данными сперва оценке подлежат такие критерии, которые характеризуются наибольшей очевидностью, значимостью и понятностью. Например, в случае с онлайн-торговлей сперва оценивают величину среднего чека заказа, верхушку продаж и величину запасов на складе. В случае с самолетами оценке подлежат критерии скорости, высоты и топливный расход.

Аналитика Big Data по сбору и анализу понятных метрик позволяет несложно и понятно изменять части системы. Такие корректировки помогают моментально ощутить улучшения. Это подобно сбору плодов с нижних веток фруктового дерева.

В ходе развития системы инженерами производятся действия по проработке всех заметных узких участков проекта. Далее наступает этап стагнации продукта: для возможности сбора плодов с вершины дерева нужно находить новые возможности развития, взбираясь все выше и выше. Для этого инженерами и их коллегами-аналитиками производится сбор и анализ данных, носящих косвенный характер и не имеющих прямой связи с главными метриками проектов.

Например, в онлайн-продажах можно проанализировать такие косвенные показатели, как комментарии покупателей в социальных сетях или же передвижения курсора во время просмотра страницы каталога, с тем чтобы оценить степень лояльности потребителей.

Это говорит о том, что инструменты Big Data наиболее востребованы при углубленном анализе процессов. Данные такого характера не имеют прямой связи с главными метриками IT-системы и предпринимательства, однако при корректном исследовании именно они способны предложить массу интересных деталей о вероятных позициях в улучшении проекта. Иметь дело с подобными данными сродни поиску нефтяного месторождения.

Необходимо исследовать разные точки, пробовать разнообразные поисковые стратегии, а также иначе извлекать скрытые ресурсы, заложенные в данных. Вовсе не каждая попытка будет увенчана успехом, однако найденное в процессе сможет обернуться выгодой.

Большие данные оказывают помощь в решении следующих задач:

1. Исследование положения дел и улучшение бизнес-процессов

   Благодаря таким данным становится возможным выявление предпочтительных для покупателя категорий товаров, определяется уровень работы производственного оборудования, обозначаются трудности со стороны поставок. В этих целях в данных всегда выделяют закономерности, формируют графики и диаграммы, составляют отчетность.

   Так, благодаря большим данным корпорация Intel выявила часть ненужных тестов в производстве процессоров. Компания провела анализ данных, сократила численность тестов и снизила затраты примерно на 30 миллиардов долларов.

2. Моделирование

   Опираясь на большие данные, можно выстроить на компьютере прототип магазина, оборудования или скважины для добычи нефти. Далее с ним уже свободно можно проводить эксперименты: вносить изменения, следить за показателями, изменять скорость процессов в целях дальнейшего анализа.

   К примеру, “Газпром нефть” благодаря этому эксперименту с целью выявить причину сбоя автоматического переключения оборудования смогла взглянуть на ситуацию отключения электричества из-за аварии. Именно такое моделирование в итоге способствовало обнаружению неочевидных причинно-следственных связей и решению проблемных вопросов.

3. Автоматизация рутинных процессов

   Программы, предназначенные для решения определенного рода задач, таких как сортировка документации или общение в чатах, учатся на больших данных. Это касается как несложных алгоритмов, так и представителей искусственного интеллекта (нейросеть, голосовой помощник).

   Компанией Stafory был разработан робот Веру, выполняющий обязанности рекрутера: распознавание голоса, сортировка анкет соискателей, озвучивание вопросов и прием ответов на них. Как итог, до реальных людей-рекрутеров доходят уже задачи посложнее и с творческой составляющей: собеседование в реальных условиях и финальный отбор соискателя.

4. Прогнозирование

   Данные об уже свершившемся оказывают помощь в формировании выводов о предстоящем. К примеру, можно представить объем продаж на грядущий год или предугадать выход из строя оборудования еще до его реальной поломки. На точность прогноза влияет объем имеющихся данных.

   Так, логистической компанией ПЭК на основе использования больших данных был запущен центр управления перевозками. Как положительный результат организация получила прогноз загрузки складских помещений, то есть ожидание по степени наполненности складов на момент времени. Это способствовало организации маршрутов с отсутствием простоев.

3 этапа работы с информацией

Немалый объём полезной информации, содержащийся в больших данных, позволяет компаниям на их основе созидать модели ведения бизнеса и открывать невиданные ранее возможности. При работе с большими данными выделяются три этапа: интеграция, управление и финальный анализ.

1 этап. Внедрение

Компания интегрирует в свою работу технологии и системы, позволяющие собирать большие объемы информации из разных источников. Внедряются механизмы обработки и форматирования данных для упрощения работы аналитиков с Big Data.

2 этап. Управление

Еще до того, как приступить к работе с данными, нужно определить места хранения полученной информации. При решении этого вопроса полагаются на ряд критериев, возглавляемый предпочтениями по формату и технологиям обработки данных. Обычно информация компаний хранится в локальных хранилищах либо в облачных сервисах публичного или частного порядка.

3 этап. Оценка

Полезный эффект от больших данных начинает ощущаться после анализа. Это финальный шаг в процессе взаимодействия с ними. Здесь применяются такие технологии, как машинное обучение, генетические алгоритмы, ассоциация правил обучения.

Некоторые сложности применения Big Data

Вопросы при использовании Big Data обозначаются следующими группами: объем, скорость обработки и отсутствие структурированности. Тройное V: Volume, Velocity и Variety.

Для того чтобы хранить значимые объемы информации, должны быть соблюдены специальные условия, это вопрос пространства и возможностей. На скорость влияют не только устаревшие методы обработки — этот показатель, помимо прочего, находится под влиянием такого фактора, как интерактивность. Отдача и продуктивность результатов будут выше в случае более быстрого процесса.

Вопросы по разнородности и отсутствию структурированности появляются вследствие несогласованности источников, разных уровней качества и форматов. Объединение и эффективная обработка данных возможны благодаря доведению их до пригодного вида и применению особых инструментов аналитического характера.

Кроме того, имеет место проблема верхней границы величины данных. Ее сложно определить и так же непросто спрогнозировать, какие технологии будут необходимы для следующих разработок и как дорого это будет стоить. Но для определенного объема данных, такого как терабайт, уже применимы работающие и активно развивающиеся средства обработки.

Следующая трудность связана с тем, что не существует четких принципов в работе с большими количествами данных. Осложняет вопрос ещё и отсутствие однородности в потоках. Возникает вопрос, какой же подход следует избрать к их применимости, чтобы в итоге получить какую-то ценность. Именно поэтому необходимо разрабатывать новую методологию для анализа больших данных — чтобы этот поток стал проводником полезной информации.

Как утверждают в американской университетской среде (учебные заведения Нью-Йорка, Вашингтона и Калифорнии), вероятно, сейчас самый подходящий момент для введения и развития такого предмета, как наука о Big Data.

Надо отметить, что это и служит основной причиной отдаления во времени момента введения в компаниях проектов больших данных (если опустить такой момент, как высокая стоимость).

Трудности также может вызвать процесс подбора данных для обрабатывания и сам алгоритм анализа, потому как нет понимания, что именно из данных подлежит сбору и хранению, а какую их часть можно во внимание не брать. Особую роль сейчас играет обучение Big Data. На поверхность выходит ещё одна проблема отрасли — недостаток специалистов, которые справились бы с глубинным анализом, смогли бы профессионально создать отчеты, направленные на решение задач бизнеса и, как следствие, получение прибыли. Все более популярным становится запрос «Big Data курсы».

Поисковые системы хранят информацию о каждом движении пользователя, о любом нажатии им кнопки мыши, запоминают его IP-адрес, позицию на карте, область интересов, покупки, совершенные онлайн, письма на почте и др., что несет пользу для формирования контекстной рекламы согласно портрету конкретного пользователя. При этом он не даёт своё согласие и не может выбрать, что именно предоставлять из данных. Таким образом, в Big Data аккумулируются все данные, которые после подлежат хранению на серверах компаний.

Отсюда вытекает и такая проблема, как безопасность хранения и использования данных. К примеру, для бизнес-процессов будет бесценной информация о вероятных потребителях и их передвижениях по страницам интернет-магазина. Но степень безопасности такой передачи информации вызывает некоторые споры, ведь вирусная активность и действия со стороны взломщиков не могут быть в полном объеме сдержаны даже такими серьезными серверами, как у специальных служб правительства.

Примеры технологий Big Data в бизнесе

Одно из крупнейших металлургических производств России «Магнитогорский металлургический комбинат» озаботилось оптимизацией доходов и расходов, что повлекло за собой внедрение Big Data. Благодаря новому сервису за прошедший год завод начал более эффективно расходовать сплавы и прочие материалы, необходимые для производства. Программа анализирует собранные данные и выдает рекомендации по рациональному и экономному использованию средств.

Коммерческий бизнес работает с большими объемами информации, постоянно заботясь о будущем. Поэтому это одна из самых актуальных тем для дискуссий среди предпринимателей и экономистов. Суть Big Data заключается в том, чтобы загрузить в компьютер данные, которые он сможет структурировать и выстроить в определенный сложный для человека алгоритм, или вычислить вероятность действия и принять на его основе решение в масштабах, которые, возможно, никогда не сможет контролировать человеческий мозг.

Другая российская компания, занимающаяся добычей нефти и газа, — «Сургутнефтегаз» — внедрила высокопроизводительную программу SAP HANA, которая помогает принять оптимизированные решения в режиме реального времени. Система ведет автоматический учет продукции компании, проводит расчет цен, информирует сотрудников об изменениях или решениях, также помогает сэкономить на использовании ресурсов. Множество крупных предприятий стали внедрять инструмент Big Data для эффективной оптимизации бизнес-процессов.

Big Data в банковской сфере

Рассмотрим национальный банк «Сбербанк» и его систему анализа фотоизображений (АС САФИ). Благодаря внедренному сервису проводился анализ изображений клиентов, предотвращая таким образом случаи мошенничества. Система нашла применение в далеком 2014 году, но уже в тот момент махинации с банковскими картами и счетами сократились в 10 раз. Суть системы анализа в идентификации с помощью компьютерного зрения фотографий клиентов из базы данных, которые были сделаны при посещении ими офисов обслуживания.

В то время «Сбербанк» определил четырехлетнюю стратегию развития, в которой сделал акцент на анализ больших объемов данных. Таким образом компания сделала упор на оптимизацию расходов, уменьшение рисков и повышение уровня обслуживания. «Сбербанк» внедрил Big Data для решения множества проблем: борьбы с банковскими махинациями, сегментации клиентов, определения кредитоспособности физических лиц, прогнозирования количества обратившихся в отделения банка, управления персоналом и других задач.

Другой крупный российский банк «ВТБ24» также использует Big Data в своей работе: сегментирует клиентов, формирует отчетность, анализирует свой рейтинг в социальных сетях, контролирует персонал. Для этого компания использует продукты SAS VA и Marketing Optimizer, Teradata Database.

Дистанционный банк «Тинькофф-банк» использует большие данные в построении системы продаж, маркетинговых исследованиях, анализе потребностей клиентов, оценке кредитоспособности, а также управлении рисками. Компания применяет решения Greenplum Software, Hadoop от Apache Software Foundation и SAS Visual Analytics.

Раньше «Сбербанка», еще в 2013 году, Big Data заинтересовался «Альфа-Банк». Сегодня компания пользуется продуктами Oracle и технологией Hadoop. Банк задействует большие данные для скоринга клиентов, анализа поведения пользователей в социальных сетях, при персонализации продаж, управлении персоналом, прогнозировании клиентского оттока.

6 вариантов применения систем Big Data маркетологами

Рыночная экономика диктует жесткие условия, поэтому компаниям крайне важно использовать все возможные инструменты для эффективной работы и получения прибыли. Маркетологам и аналитикам давно известны преимущества data-driven-маркетинга, однако менее 20 % компаний ориентируются на данные при принятии стратегических решений. Рассмотрим варианты применения больших данных.

Структуризация клиентской базы

Благодаря сегментации клиентов можно легко и эффективно настроить email-маркетинг. Анализируя покупки пользователей, их интересы, действия на веб-ресурсах, маркетологи смогут использовать полученные данные для создания персонализированного контента.

Превратите email-рассылку в индивидуальный канал общения с клиентами. Треть маркетологов подтверждает, что коэффициент вовлеченности увеличивается после внедрения сегментации. Рост ROMI (Return on marketing investment) достигает 750 %.

Между холодным и теплым лидом огромная разница, поэтому письма для рассылки тоже должны различаться. Нового подписчика заинтересуют статьи, поэтому данной категории людей можно отправлять письма с качественным контентом. Интерес читателя будет таким образом увеличиваться. Если потенциальный покупатель заходил на страницу с ценами, посещал сайт не один раз или проявлял заинтересованность другим способом, пришло время направить ему письмо с предложением.

Графическое отображение данных

Только 10 % маркетологов активно пользуются визуализацией данных. Однако это серьезное упущение! Пользователь гораздо лучше воспринимает графики и изображения, нежели текстовый формат.

Инфографика часто используется совместно с визуализацией как один метод подачи информации. Однако они имеют существенные различия. Визуализация автономна, но в то же время является элементом инфографики. Визуализация представляет данные в графическом виде, а инфографика в свою очередь графически объясняет некую сложную тему.

Многие данные понятнее воспринимать и анализировать с помощью графиков. Например, квартальные отчеты по продажам.

Работа с клиентской лояльностью

Около трети руководителей предпочитают работать на удержание существующих клиентов. Такой подход вполне логичен, поскольку это в 10–20 раз дешевле, чем привлекать новых клиентов.

Чтобы знать, как удовлетворить потребности клиента и повысить его лояльность, важна информация. Анализ поведения клиентов и продаж даст ключ к тому, что подогреет интерес потребителя. Например, в линейке вы имеете четыре варианта товаров с разными вкусами. Клиент уже приобрел два из них. Значит, есть шанс, что при рекламе остальных он будет готов попробовать их.

Наличие социальных сетей поможет привлечь дополнительное внимание к продуктам компании. Настройте рекламную кампанию в Facebook или Instagram, ориентированную на тех пользователей, которые уже знакомы с вашим брендом благодаря email-рассылке. В таком случае показатель конверсии окажется выше, чем при обработке новых пользователей. Установите триггеры, чтобы клиент, например, получал письмо с оффером в свой день рождения.

При долгосрочной перспективе целью бизнеса не является лишь получение денег с клиентов. Вы работаете на удовлетворение покупателя, даря ему уникальный опыт и персональный подход. В итоге это не только окажется прибыльнее, но и выведет компанию на новый уровень.

Внедрение новых товаров и услуг

Предсказательная аналитика (predictive analytics) объединяет в себе методы анализа, которые концентрируются на определении поведения объекта в будущем. Если необходимо обработать большой объем информации перед выпуском нового продукта, именно прогнозный анализ сможет помочь в решении данного вопроса. Работники торговой сферы отлично знают, что лишь несколько наиболее успешных продуктов приносят основную прибыль компании. Поэтому каждое внедрение нового товара или услуги похоже на игру в рулетку.

Отличным примером является компания Netflix. Поставщик сериалов и фильмов активно использует предсказательную аналитику в своей работе. Благодаря обработке больших данных Netflix заранее прогнозирует успешность сериала или фильма. 65 миллионов пользователей посмотрели сериал «Бумажный дом» за апрель 2020 года, хотя никто из актеров не был знаменит. Анализ данных показал, что зрителям нравится жанр, поэтому коммерческий успех проекта был предсказуем.

Безусловно, нельзя спрогнозировать абсолютный успех нового товара или услуги посредством предиктивной аналитики, однако шансы на это высоки.

Уменьшение процента оттока клиентов

Предсказательный анализ поможет снизить отток клиентов. Определите, какие пользователи вероятнее всего откажутся от ваших услуг. Это можно узнать, например, с помощью проверки активности личного кабинета клиента на сайте. У вас есть дополнительное время, чтобы постараться вернуть его. Возможно, индивидуальное предложение со специальной ценой на товар покажет ваше отношение к нему.

Составление прогнозов по продажам

Аналитика предоставляет возможность изучить поведение клиентов, что станет ценным источником при планировании показателей будущих продаж. Проанализируйте, сколько стоило привлечь покупателя, какова средняя стоимость чека. Таким образом легче определить, сколько в среднем прибыли можно получить с клиента. Подобные потребительские метрики помогают при принятии маркетинговых решений.

Анализ больших объемов, составление прогнозов и другие процедуры, в которые вовлечены данные, давно стали трендовыми. К сожалению, использование этих методов растет недостаточно быстрыми темпами. Удручающая ситуация присутствует не только в России, но и в странах Европы и США.

Маркетологи имеют слабое представление о данном подходе и предсказательном анализе либо совсем не понимают анализ больших объемов данных. Аналитический аппарат дарит безграничные возможности для маркетологов, поскольку эффективность рекламных кампаний будет значительно выше.

Главная проблема при использовании технологий Big Data в маркетинге

Знакомый с аналитикой и информационными технологиями отлично знает, как важно иметь достоверные и качественные данные. Собрать информацию несложно, однако где гарантии, что накопленные данные — именно те, что вам нужны, и собраны там, где вы хотели? Рассмотрим несколько характерных примеров.

1. Датчик оповещения о входе посетителя? Сотрудники отдела, которые ходят за кофе и на перекур, собьют статистику, поскольку система подсчитает в разы больше посещений. Более того, сколько в торговых центрах покупателей, которые просто решили прогуляться по магазинам и поглазеть на витрины? После такого идея подсчета клиентов кажется не совсем удачной.

2. Собрать данные с веб-ресурсов? Без проблем. Боты в Интернете сегодня могут генерировать столько трафика, сколько не смогут создать все ваши целевые покупатели вместе взятые.

3. Подсчитывая «сердечки» на постах в социальных сетях, бездушная машина предоставит сухие факты, но не учтет, что лайки не всегда указывают на одобрение пользователей. Причины могут быть разными: некоторые ставят по инерции, другие — из симпатии или жалости к автору поста.

Как видно из приведенных примеров, нельзя просто надеяться на современные технологии и ждать результатов. Важно подобрать соответствующие методы, чтобы проводить качественный анализ Big Data.

7 основных методов анализа больших данных

Помимо сбора больших данных нужно определить, как полученную информацию правильно использовать, то есть провести анализ и создать определенную структуру. Например, строить на ее основе долгосрочные стратегии развития.

Crowdsourcing, или краудсорсинг

Чаще всего анализом больших данных занимаются машины, но в редких случаях задания поручают людям. Название этого метода произошло от слова «толпа» (англ. crowd) — краудсорсинг, а именно привлечение широкого круга лиц к решению тех или иных задач.

Вы владеете магазином, который предлагает газонокосилки. Необходимо обработать большой объем информации о совершенных продажах. Однако учет товаров шел не совсем корректно, поэтому одна и та же модель оказалась записана в системе по-разному. Например, газонокосилка «Daewoo DLM 45 SP» имеет также названия «Даево DLM45», «Газонокосилка Daewoo DLM45» и прочие вариации. Планируя разобраться с беспорядком, вы платите группе лиц, чтобы они привели наименования товаров к единому формату.

Метод краудсорсинга подойдет при выполнении разовых задач, где не нужно создавать единую систему обработки больших данных.

Машинное обучение и нейросеть

Компьютер может помочь человеку со сложными подсчетами, но не в состоянии справиться с некоторыми другими заданиями. Как в предыдущем примере, где понадобилась помощь группы людей, чтобы определить, что «Daewoo DLM 45 SP», «Даево DLM45», «Газонокосилка Daewoo DLM45» — одна и та же модель.

Однако решение проблемы нашлось: необходимо создать такую структуру, которая по функционалу напоминает мозг человека. Для этого была создана искусственная нейронная сеть (ИНС), состоящая из множества мельчайших частиц (нейронов). Сеть, образующая связи, в состоянии анализировать информацию.

Но нейросеть не может просто взять и работать правильно, поэтому для начала необходимо воспользоваться машинным обучением.

Нейронная сеть нашла применение во многих процессах, которые обычно выполнялись человеком: сортировка изображений, распознавание объекта, предотвращение банковских махинаций. Она легко может сортировать и классифицировать информацию по группам, а также принимать решения быстро и рационально. Таким образом, нейросеть помогла ускорить многие рутинные задачи, заменив при этом людей.

Имитационная модель

Нередко аналитикам необходимо воспроизвести процедуру, когда изменение поведения определенных показателей влияет на ситуацию в целом. Простым примером, характеризующим такое моделирование, является изменение объемов продаж при увеличении стоимости продукта. В реальном бизнесе такие манипуляции могут негативно сказаться на работе компании, поэтому данный метод анализа здесь отлично подойдет.

Рассмотрим ситуацию, при которой аналитики моделируют процесс функционирования магазина и изучают, каким образом будет меняться ситуация. Нам понадобятся данные о ценах на товары, количестве продаж, среднем притоке покупателей и прочих показателях, влияющих на магазин. Далее начинается моделирование.

Как только первоначальные данные внесены, начинаем проводить изменения: уменьшаем количество сотрудников, увеличиваем цену на товары, расширяем поток клиентов. За счет анализа полученных нововведений можно вносить коррективы в реальном магазине.

Гипотетическое моделирование не всегда работает на реальном рынке, потому что все факторы риска учесть практически невозможно. Данный метод может показывать некорректный результат, поэтому стоит помнить о рисках.

Смешение данных и интеграция

Полезный метод работы с Big Data, если необходимо структурировать данные разного формата. Перед началом анализа сведения необходимо собрать. К сожалению, хранить в единой базе данные, различающиеся по параметрам, формату и отображению, нельзя. В таком случае подойдет смешение и интеграция, поскольку результатом процесса станет преобразование данных в единый формат.

Методы, которые необходимо использовать при работе с информацией из различных ресурсов:

Метод смешения и интеграции используется при обработке данных, собранных из различных источников. Розничные магазины используют подобную обработку информации, поскольку анализируют ее комплексно. Если продажи идут через официальный веб-сайт, в торговом центре и на трех онлайн-рынках, то конечные данные об объемах проданных товаров накапливаются из всех источников: количества заказов на сайте, чеков от покупок в магазине, показателей инвентаризации и т. п. Чтобы получить качественную и верную отчетность, важно преобразовать их в общий формат.

• Преобразование сведений в один формат: конвертация, распознавание изображений, перевод текстового контента в цифровой.

• Дополнение информации. Если несколько ресурсов содержат данные об одном и том же, их объединяют вместе для создания одного комплексного документа.

• Удаление ненужных данных. При обнаружении некорректных сведений или избыточной информации проводится ее отсеивание.

Большие данные и предсказательная аналитика

Мы уже упоминали этот метод, но расскажем еще раз. Одной из основных целей классификации и анализа данных является прогнозирование и построение стратегий будущего. Ожидание определенного объема продаж строится исходя из данных, собранных за предыдущие 8–10 лет. Именно здесь метод Big Data и предсказательной аналитики поможет привести в порядок данные.

Его название пришло из английского и звучит как «predictive analytics» — прогнозная, предиктивная аналитика.

Для начала анализируем клиентскую базу, чтобы определить закономерности в их поведении. Какие параметры указывали на разрыв отношений с банком? Например, неактивность в личном кабинете, отсутствие запросов или обращений в отделения. Далее методом машинного обучения и задействованных нейросетей строится модель, определяющая степень вероятности того, какие клиенты в скором времени решат отказаться от услуг компании.

Если необходимо спрогнозировать ситуацию, используйте предиктивную аналитику. Именно этот способ набрал популярность в трейдинге при предугадывании курсовых изменений.

Статистический анализ

Метод направлен на накопление данных, значения которых затем рассчитываются исходя из выбранных параметров. В результате получается процентный показатель.

Здесь присутствует важный недостаток — если выборка определена неверно, то и итог выйдет некорректным. Например, у компании имеется обширная клиентская база в 10 000 человек, но из них 7 500 негативно отзываются о службе поддержки. Однако фирма провела опрос среди 1 500 клиентов, из которых 1 200 давно сотрудничают с компанией и не имеют проблем. Таким образом, результаты о большинстве мнений будут недостоверны.

В статистическом анализе используются различные способы определения наиболее достоверных данных. Перечислим несколько из них:

Методы статистического анализа нашли применение в тех ситуациях, где необходимо рассчитать данные. Проводится также объединение нескольких методов со статистическим анализом. Например, предсказательной аналитики и имитационного моделирования.

• Подсчет средних значений (в том числе сгруппированных).

• Расчет процентного соотношения.

• Анализ динамических рядов — показывает, с какой интенсивностью происходили изменения в течение изучаемого отрезка времени.

• Корреляционный анализ — оценивает и раскрывает зависимость между несколькими величинами.

Скачайте полезный документ по теме:

Чек-лист: Как добиваться своих целей в переговорах с клиентами

Добыча данных, или глубинный анализ

Большие данные представляют собой объемный массив, работать с которым нужно правильно. Чтобы получить положительный эффект, необходимо провести анализ информации и выявить существующие закономерности. Именно добыча данных (с англ. data mining) помогает выявить алгоритм и общие сходства в разнородных данных.

Собираются Big Data, а затем различными методами из них извлекается новая полезная для бизнеса информация. Технологии получения данных data mining могут быть любые: нейронные сети, имитационное моделирование, деревья решений, классификации по разным группам. Сюда также входят методы статистики, описанные выше, и прочие технологии.

Для чего используют глубинный анализ данных:

Data mining распространена в тех случаях, где идет обработка Big Data для обнаружения и определения алгоритмов и тенденций. Практически все задачи, стоящие перед бизнесом, могут быть решены посредством технологии data mining или ее вариаций. Специалист Big Data способен провести сегментацию клиентов, предугадать повышение спроса, оценить возможные риски, выявить нешаблонные параметры и многое другое.

• Классификация — наиболее простая задача. В данных обнаруживаются определенные признаки, по которым информация распределяется по классам.

• Кластеризация — логически вытекает из предыдущей задачи. Происходит разгруппирование данных в зависимости от общих признаков. Пример: клиенты салона красоты разбиты на группы исходя из их предпочтений.

• Ассоциация — обнаружение закономерности в анализируемых сведениях. Пример: набор услуг, ставший популярным среди клиентов до 35 лет.

• Последовательность и прогнозирование — обнаружение определенных закономерностей в течение промежутка времени.

• Определение отклонений — нахождение нетипичных параметров из множества данных.

Немного об озерах данных

Большинство пользователей уже давно хранит документы и прочие файлы в облаке. Подобные сервисы обладают множество преимуществ: помимо облегчения локального диска, пользователь может организовать эффективную работу с большим объемом данных, не боясь за сохранность файлов. Облачный сервис предоставляет безопасное хранение документов даже при возникновении технических проблем.

Big Data использует особые хранилища, которые получили название «озера данных». Они отличаются от обычных облаков. В озерах хранятся большие необработанные данные в оригинальном формате, сгруппированные по компаниям. Их можно хранить в облачном сервисе, чтобы открыть доступ разным лицам.

Важной особенностью озер данных является объединение информации разного формата и содержания. Изначально человек может даже не понимать, для чего ему хранить ее. В подобных системах скапливается информация под девизом «лишним не будет». Затем в работу вступает AI, который и решит, имеются ли здесь полезные материалы, существуют ли некие закономерности или алгоритмы.

Будущее Big Data

Российская IT-компания IBS провела исследование, подсчитав, какой объем информации был накоплен пользователями за последние два десятка лет. Если сравнивать 2003 и 2013 годы, то данные были равны 5 ЭБ (1 ЭБ = 1 млрд Гб) и 4,4 ЗБ (1 ЗБ = 1024 ЭБ) соответственно. За 2014 год объем сформированной информации вырос на 2 ЗБ, составив более 6,5 ЗБ.

Аналитики, проводившие исследование, заявляют, что система рыночных сетей будет изменена под действием технологий, а количество ежедневных коммуникаций с различными устройствами достигнет 5000 раз. В докладе также упоминалось, что безопасность станет фундаментальным аспектом, а ценность данных значительно возрастет.

Сфера высоких технологий дает Big Data шанс развиваться безгранично. Информационное общество продолжает существовать и расти, а значит, и направление больших данных будет расширяться вместе с ним.

Автор статьи

Алексей Бояркин

Сооснователь компании «Генератор продаж»

Статья опубликована: 13.10.2020

Последние статьи этого автора:

• Бенчмаркинг компании: примеры из зарубежной и российской практики
• СTА-элементы, которые привлекут в 2 раза больше клиентов
• Формула рентабельности продаж: пример расчета

Забрать подарки
из закрытой базы

Скачать 7,4 MB

Полезные
материалы
для руководителей

Скачать 3,2 MB