Используем Machine Learning в хранилище данных Vertica

Иногда чтобы провести анализ больших объемов данных, классических методов анализа и средств его проведения недостаточно. Machine Learning и хранилище данных — вот, что может с этим справиться.

Machine Learning — метод анализа данных, свойственный искусственному интеллекту и основанный на использовании успешных решений, подобранных программой самостоятельно при анализе похожих задач. Для такого обучения в программу загружают примеры таких задач и запускают процесс обучения.

Хранилище данных Vertica — платформа для загрузки и хранения больших объемов данных и для их анализа. От других подобных программ она отличается колоночной архитектурой хранения, разработанной специально для удобства вычислений.

В хранилище данных Vertica машинное обучение можно применять в следующих целях:

• для подготовки примеров для машинного обучения,
• для тренировки модели машинного обучения на подготовленных данных,
• для проведения предикативного анализа данных хранилища на полученных моделях машинного обучения.

Как используют Data Mining в компании Mail.ru?

Виды Machine Learning в хранилище данных Vertica

Библиотека Machine Learning используется в Vertica, начиная с седьмой версии. Сейчас в программе можно применять следующие методы данного анализа:

• прогнозирование (виды — линейная регрессия, регрессия «Случайный лес», регрессия «Машина опорных векторов»),
• классификация (виды — логистическая регрессия, наивный байесовский алгоритм, классификация «Случайный лес», классификация «Машина опорных векторов»),
• кластеризация (метод k-средних).

Для подготовки данных для Machine Learning хранилища Vertica в ней представлен следующий функционал:

• балансировка данных,
• очистка выбросов,
• кодировка категориальных значений столбцов,
• замена пропущенных данных,
• нормализация данных,
• Principal Component Analysis,
• сэмплирование данных,
• Singular Value Decomposition.

Выводы: Machine Learning в хранилище данных Vertica

Машинное обучение позволяет передать программе выполнение сложных задач, как аллегория это может выглядеть так:

Наличие в программе встроенной библиотеки данных для последующего обучения программы способствует решению огромного спектра различных задач. Можно самостоятельно подготовить дополнительные данные для машинного обучения. Чтобы сделать это, нетехническому специалисту желательно сначала разобраться в них при помощи дополнительного программного обеспечения, представляющему данные в визуальном формате: в виде графиков и диаграмм. Без big data для анализа больших данных понять, какие данные лучше загружать в программу, будет достаточно сложно.

Для анализа данных под обучение Vertica специалисты рекомендуют использовать отчетно-аналитическую программу Tableau. Отличительная особенность данной программы, кроме того что она является одной из лидеров этой сферы, — ее визуальная направленность. Благодаря этому анализировать данные в Tableau способен любой специалист без технического образования и получать понятные графики с полезными данными.

 

Цифры о нас

Мы, компания АНАЛИТИКА ПЛЮС, с 2012 года помогаем нашим клиентам работать с данными – находить полезные инсайты и использовать эту информацию для увеличения прибыли компании.

За это время мы разработали и внедрили решения для различных отраслей и направлений бизнеса:

• анализ продаж,
• прогнозирование эффективности промо-акций,
• отслеживание воронки продаж по конкретной кампании с показателями конверсии на каждом этапе,
• сегментация по различным методам: ABC, RFM и т.д.,
• ключевые показатели интернет-маркетинга,
• анализ товара на складах,
• аналитика для отдела кадров (карточки сотрудников, обучение, анализ KPI и т.д.),
• анализ финансовых показателей
• и многое другое.

Хотите узнать, как провести анализ и сделать отчеты быстро?