АНАЛИТИКА ПЛЮС
Профессиональные услуги в сфере BI

Анализ баз данных: обработка информации в реальном времени

Получить 10 практических кейсов по анализу данных (BI)

Не будем ходить вокруг да около, а сразу разделим все существующие СУБД по принципу хранения информации на две категории:

— горизонтальные, которые хранят информацию по строка

— и вертикальные, которые хранят информацию по столбцам.

Первые предназначены в основном для того, чтобы записывать информацию небольшими порция ми ,надежно ее хранить, и также выдавать небольшими порциями при запросах, вторые — чтобы получать обрабатывать большие объемы информации одномоментно. Примеров баз данных из первой категории много, для любого ИТ-специалиста известны такие названия, как Oracle, PostgeSQL, MySQL. А вот про вторую группу известно намного меньше.

Для анализа баз данных в качестве примера мы возьмем продукт, который несколько лет назад (как обстоят дела сейчас, нам неизвестно) использовал Facebook, а именно — Vertica.

Эта база данных была разобрана командой возглавляемой ученым в области информатики Майклом Стоунбрейкером. Задумывалась Vertica как база данных, способная быстро, даже очень быстро, обрабатывать и отдавать информацию. Это обязательное требование, предъявляемое к СУБД, используемым в бизнес-аналитике. Представьте, что компания собирает петабайты данных, при этом сервер должен максимально быстро выдать записанную на нем информацию, чтобы аналитики имели возможность делать выводы в режиме реального времени. Vertica задумывалась именно такой, такой она и является.

Ничего лишнего

Анализируя базы данных и сравнивая их с Vertica, можно прийти к удивительным открытиям. Разработчиками Vertica удалены такие привычные функции, как:

— кэш;

— индексы;

— строгий порядок колонок.

При этом применены такие решения как:

— колоночное хранение;

— сжатие данных;

— параллельные вычисления.

Отсутствие привычных функций — разумная плата за скорость. Стоит обратить внимание на одно из отличий Vertica — колоночное хранение данных. Именно эта особенность обеспечивает достаточно быструю работу с информацией и позволяем практически мгновенно получить результаты некоторых классических функций, например, количество строк в выборке.

При анализе процессов этой базы данных становится очевидным существенное ее отличие от других СУБД. Колоночное хранение предлагает быстрый поиск и анализ информации в них. Сжатие данных при колоночном хранении уменьшает место хранения и позволяет получать некоторую информацию даже без процесса распаковки сжатых данных, а параллельная обработка позволяет наращивать мощности вычислительной системы при росте данных.

Кроме того, при колоночном хранении аналитику зачастую не требуются все данные, содержащиеся в базе, а значит, запрос предполагает выдачу меньшего количества информации. Vertica, имея другую логику записи и обработки данных, выдает именно ту информацию, которая запрошена, и отдает ее аналитику. Так и обеспечивается высокая скорость работы этой СУБД.

Как анализируют данные в компании Яндекс?

 

Прочная интеграция

Используя Vertica в качестве big data для анализа больших данных, у аналитиков, применяющих такое решения для визуализации данных, как Tableau, появляются фактически безграничные технические возможности:

— Компании не нужно больше ждать выгрузки данных.

— У компаний появляется та самая возможность принимать решения в реальном времени.

Почему это важно? Представьте, что на улице ночь и вы смотрите на звездное небо? Красиво. Но все это уже история, пока свет звезды за несколько десяткой, сотен, тысяч, световых лет достигает глаза человека реальность может сильно изменится.

Так и бизнес-решения: анализируя данные прошлого месяца, года, можно сделать вывод только о случившемся тогда, но не сегодня, хотя за это время, ситуация на рынке могла заметно измениться, например, появился новый конкурент, который ведет себя жестко и агрессивно. Другими словами, принимая решения основанные на данных прошлых месяцев, компания продолжает свое развития без учета текущей ситуации на рынке. Вот почему важно использовать бизнес-аналитику в режиме реального времени. И вот почему необходимы такие базы данных как Vertica.
Хотите узнать, как провести анализ и сделать отчеты быстро?

Получить консультацию

Нам доверяют: 

 

x

Этот сайт использует файлы cookies, чтобы облегчить вам пользование нашим веб-сайтом.

Продолжая использовать этот веб-сайт, вы даете согласие на использование файлов cookies.