Как создать демонстрационный стенд для СУБД VERTICA?

В качестве исходных данных предположим, что мы решили создать демонстрационный стенд на своем рабочем ноутбуке. В качестве параметров возьмем что-нибудь среднее, например, ноутбук HP ENVY с 15-дюймовым экраном, RAM 8 ГБ, HDD 500 GB, Intel Core i5 2.6 GHz с предустановленной системой Windows 64 разряда.

Бесплатная версия СУБД VERTICA Community Edition является полнофункциональной и допускает коммерческое использование.

• Максимальный размер СУБД (без учета повторяющихся данных) 1 ТБ
• Количество нод (компьютеров) в кластере MPP – до 3-x

Демостенд будет выглядеть следующим образом.

Установка Virtual Box

Поскольку Vertica устанавливается только на Linux, то нам потребуется создание виртуальной машины. В качества ПО виртуализации я выбрал VirtualBox от компании Oracle (в данном случае это не принципиально, и можно использовать ПО от VMWare, если оно вам «ближе по духу», или любое другое, с помощью которого можно создать виртуальную Linux-машину внутри вашей рабочей).

Скачать ПО VirtualBox можно свободно с официального сайта Oracle. Установка данного ПО достаточно проста и интуитивно понятна. В интернете есть много статей, где описана установка VirtualBox — например, здесь. Обратите внимание, в данной статье в качестве гостевой устанавливается ОС Windows, нам же надо в качестве гостевой установить ОС Debian Linux 6 64 bit.

Рекомендация: желательно для виртуальной машины выделить не менее 2 ГБ оперативной памяти и 200 ГБ на жестком диске.

Сетевое подключение нужно установить как «Сетевой мост».

Установка ОС Linux

Повторим, СУБД Vertica устанавливается исключительно на Linux, причем 64 разрядный.

В качестве выбора нам предлагаются следующие операционные системы:

• Red Hat Enterprise Linux Versions 6.6, 6.7, 6.8, 6.9, 7.0, 7.3
• CentOS Versions 6.6, 6.7, 6.8, 6.9, 7.0, 7.3
• SUSE Linux Enterprise Server Version 12 SP2 Version 11.0 SP3*
• Oracle Enterprise Linux (Red Hat Compatible Kernels) Versions 6.7, 6.8, 6.9, 7.3
• Debian Linux Versions 7.6, 7.7, 8.5
• Ubuntu Version 14.04 LTS

1. Опираясь на свои личные предпочтения, мы выбрали Ubuntu (14.04 LTS). Скачать образ можно c сайта https://www.ubuntu.com/ (нам нужна версия amd64 версия server или desktop).
2. После скачивания образа подключаем его в качестве CD к созданной нами виртуальной машине, запускаем виртуальную машину и устанавливаем гостевую ОС.
3. При установке гостевой ОС следует обратить внимание на размер области подкачки (swap). Vertica рекомендует, чтобы ее размер был не меньше 2 ГБ. Если вы отвели вашей виртуальной машине RAM 2 ГБ и больше, то область подкачки у вас автоматически будет больше 2 ГБ. Также рекомендую поставить File Server и SSH Server.

После установки ОС желательно поставить дополнения VirtualBox для гостевой ОС, установить Midnight Commander, а также настроить статический адрес для сетевого интерфейса.

Установка СУБД VERTICA

После установки ОС переходим к установке самой СУБД VERTICA:

1. Для начала скачаем соответствующий пакет для установки. Скачать его можно по адресу: https://my.vertica.com/ (необходима регистрация).
   — Для установки нам понадобится пакет для Debian и Ubuntu ( формат DEB). Кстати, здесь можно скачать уже готовый образ виртуальной машины для VMWare.
   — Нужный нам файл носит название vertica_9.0.0-0_amd64.deb (последняя версия на момент написания статьи 9.0.0).
2. Заходим на нашу виртуальную машину и помещаем данный файл в каталог /opt (с помощью samba или с помощью разделяемого каталога между Host и гостевой ОС).
3. Заходим в терминальную сессию под пользователем root и запускаем установку DEB пакета с помощью команды:
   dpkg –i vertica_9.0.0-0_amd64.deb
4. После успешной установки пакета надо запустить инсталляцию собственно Vertica с помощью команды:
   /opt/vertica/sbin/install_vertica –-hosts vertica,
   где vertica – имя компьютера, на котором будет происходить установка.

Важно:
Поскольку СУБД VERTICA — это MPP СУБД (то есть СУБД с массивными параллельными вычислениями), то дальнейшую установку можно провести на нескольких машинах (для бесплатной версии Community до 3-х).

В этом случае перед вызовом инсталлятора VERTICA необходимо подготовить необходимое количество машин с установленным ПО ОС и установленным пакетом VERTICA. Тогда инсталляцию нужно проводить вызвав инсталлятор в виде:
/opt/vertica/sbin/install_vertica –-hosts host1 host2 host3

Дополнительные узлы кластера можно добавить и в дальнейшем. Для демонстрационных целей нам вполне достаточно и одного узла.

5. При установке VERTICA создается пользователь администратора СУБД (dbadmin) с указанным Вами паролем, а также происходит проверка системы на соответствие требованиям ПО. В случае каких либо несоответствий на экран выводится соответствующая информация.

• На каждое несоответствие дается ссылка с описанием проблемы и описанием варианта ее исправления.
• Порог уровня значимости проблем можно менять, по умолчанию он установлен в WARN.

6. Необходимо внести соответствующие изменения в настройки системы или изменить порог уровня проблемы и запустить команду снова. После удачной установки ПО экран терминала будет выглядеть следующим образом:

Собственно установка VERTICA закончена.

Создание базы данных

Мы установили необходимое ПО, теперь, для того чтобы все работало дальше, нам необходимо сделать два простых шага:

1) создать саму базу данных (БД)
2) и загрузить в нее информацию.

Для создания БД предназначена утилита /opt/vertica/bin/adminTools. Вызывать ее надо из под пользователя dbadmin. При первом вызове будет предложено ввести путь к файлу с лицензией, для версии Community надо просто нажать Enter. Окно утилиты adminTools в терминальной сессии имеет вид:

Необходимо зайти в Configuration menu ->Create database и ввести имя БД, например verticadb, пароль для супрепользователя БД dbadmin (не путать с пользователем ОС), выбрать узел кластера на которой будет находится БД и каталоги для размещения файлов данных.

После этого база данных будет создана и станет активной, то есть доступной для соединения пользователей. Собственно, теперь можно соединиться с ней и вводить SQL запросы. Для работы с запросами к VERTICA в состав ПО входит утилита vsql.

Загрузка информации

Перед загрузкой информации нужно разработать хранилище, или модель данных. Как разрабатывается аналитическое хранилище данных можно почитать здесь.

• СУБД VERTICA поддерживает стандарт ANSI SQL99. Таким образом, для создания модели данных необходимо подготовить соответствующий скрипт. Особенности реализации SQL в VERTICA описаны в документации, которую так же можно скачать на https://my.vertica.com/.
• Для загрузки данных из текстовых файлов формата CSV в VERTICA есть стандартная процедура COPY. Ее описание есть в документации. Кроме того, имеется большое количество ПО ETL, которое умеет работать с VERTICA: например, Talend или Informatica.