Архитектура решения с Vertica + Tableau.
Для реализации системы аналитической обработки информации на предприятии Заказчика предлагается программное решение, основанное на продуктах компаний Tableau Software (Tableau Desktop + Tableau Server) и VERTICA.
Схема аппаратно-программного комплекса
BI-решение состоит из следующих логических узлов:
- Сервер ETL
- Кластер VERTICA
- Tableau Server
- Рабочее место аналитика Tableau Desktop.
Исходные данные поступают из различных источников на ETL-сервер. Там данные сохраняются и затем обрабатываются по заданным алгоритмам (изменение формата, очищение, нормализация, денормализация, агрегирование и т.д.). Только после этого данные помещаются в аналитическое хранилище VERTICA.
- В качестве хранилища исходных данных может использоваться как файловая система сервера ETL, так и другое хранилище данных, например,FLEX хранилище VERTICA (в этом случае физически данные будут храниться в кластере VERTICA).
- В качестве аналитического хранилища используется кластер из серверов с установленным ПО VERTICA. Количество узлов кластера при первоначальном использовании – три узла (позволяет первоначально использовать бесплатную версию данного ПО Community Edition). В дальнейшем — при покупке соответствующей лицензии — возможно расширить количество узлов.
Для визуализации данных аналитической информации в качестве средства разработки BI используется ПО Tableau Desktop, которое устанавливается на рабочие места аналитиков. Аналитики могут работать с этой отчетностью напрямую или с помощью Tableau Server, которое является порталом аналитической отчетности для конечных пользователей.
Для доступа конечных пользователей используется Tableau Server. Кроме того, этот сервер используется и в качестве средства администрирования прав доступа к отчетности. С помощью него конечные пользователи могут просматривать любую отчетность через браузеры — в соответствии с заданными им правами доступа.
Рекомендации для аппаратной платформы
Для Tableau Server желательно использовать физический сервер (не виртуальную машину). Минимальные требования к оборудованию для проведения проекта:
- 4-х ядерный процессор, 2.0 GHz или выше минимально рекомендованный CPU
- 32 Гб оперативная память
- 500 Гб свободное пространство на диске
- Microsoft® Windows® Server 2008, 2008 R2, 2003 sp1 or higher, Windows® 7 (on x86 or x64 chipsets) 32-bit или 64-bit версия Windows
Для VERTICA и ETL-сервера
Для размещения этого ПО возможно использование системы виртуализации.
Параметры узлов VERTICA:
- Процессоров – не менее 1 (количество ядер не менее 4 на один процессор)
- Память – 16 GB
- Дисковая память – не менее 1500 GB
- Операционная система – одна из следующих (на выбор Заказчика):
— Red Hat Enterprise Linux 5 and 6
— SUSE Linux Enterprise Server 11
— Oracle Enterprise Linux 6 — Red Hat Compatible Kernel only
— Debian Linux 7
— Cent OS 5 and 6 - В качестве сервера ETL используется один из узлов кластера VERTICA или Tableau Server, в зависимости от того, какая операционная система желательна для использования ПО ETL.
Важно!
В данном документе не рассматривается построение промышленного решения на основе ПО VERTICA, а лишь даются рекомендации по развертыванию тестовой среды. Поэтому в качестве тестового стенда для тестирования была использована упрощенная установка ПО VERTICA на одном узле. Применение приведенных решений в промышленных средах остается на усмотрение читателя.
VERTICA — специально разработанная аналитическая платформа для анализа больших данных в реальном времени. Это легкая жизнь IT-специалистов, улучшение быстродействия и качества аналитики.