Видео-курс «Vertica одним взглядом»
Видеокурс расскажет о том, для чего необходимы аналитические базы данных. На примере Vertica будут рассмотрены колоночные базы данных, дающие существенный выигрыш в производительности для построения аналитики. Мы покажем, как установить и настроить Vertica, а также имеющиеся визуальные средства по работе с ней. Совместно создадим тестовую базу данных, и на ее базе создадим аналитическое хранилище. Осуществим загрузку большого объема данных, и далее настроим проекции. Посмотрим, как работает Database Designer, и обсудим ключевые аспекты, которые следует учесть при работе с промышленными аналитическими базами данных.
Для кого подойдет видео-курс «Vertica одним взглядом»
Уровень сложности – средний.
Видеокурс подойдет для аналитиков, желающих самостоятельно внедрить и поддерживать аналитическое решение на базе современных технологий Vertica + Tableau, а также для ИТ-специалистов и экспертов по базам данных, желающих расширить свои навыки по работе с аналитическими базами данных.
Программа видео-курса
Урок 1. Введение в курс (доступно БСЕПЛАТНО в режиме ДЕМО на платформе онлайн-обучения Академия Аналитики)
— Основная задача курса
— «Совсем кратко» о «Больших данных» (или Big Data), в чем заключается проблематика
— Кратко о системах управления базами данных (СУБД), и почему появился отдельный класс БД, — «аналитические СУБД»: зачем нужны аналитические СУБД, их отличия и преимущества
— Ключевые особенности Vertica: колоночное хранение и сжатие данных; Massive Parallel Processing; Проекции; Гибридное хранение данных (WOS, ROS, Tuple Mover); работа с неструктурированными данными (Flex Tables); внешние таблицы.
— Возможные решения с Vertica – стыковка с BI-решением, ETL-сервером.
— Варианты развертывания для небольших предприятий: требования к оборудованию и системному ПО.
— Вариант «микро-инсталляции» — «персональный аналитический сервер» на мощном ноутбуке.
Урок 2. Установка Vertica: предварительные настройки, установка пакетов Vertica (доступно БСЕПЛАТНО в режиме ДЕМО на платформе онлайн-обучения Академия Аналитики)
— Предварительные настройки операционной системы (на примере OS Ubuntu 14.04).
— Показываем, где найти дистрибутивы Vertica для дальнейшей установки.
— Обсуждаем схему создаваемого нами кластера Vertica.
— Настройки виртуальных машин, используемых для установки Vertica: установка необходимых вспомогательных утилит и пакетов (mc, dialog и др.).
— Установка пакетов Vertica.
Урок 3. Установка Vertica: исправление ошибок при инсталляции (доступно БСЕПЛАТНО в режиме ДЕМО на платформе онлайн-обучения Академия Аналитики)
— Установка пакетов Vertica: исправление ошибок, появляющихся при инсталляции;
— Советы администратору СУБД (где искать ответы на вопросы);
— Завершение установки на всех машинах кластера.
— Запуск всех необходимых процессов.
Урок 4. Создание базы данных DEMODB. Установка Management Console (доступно БСЕПЛАТНО в режиме ДЕМО на платформе онлайн-обучения Академия Аналитики)
— Создание тестовой базы данных DEMODB.
— Management Console: установка пакета, заведение пользователя консоли, первичная проверка работоспособности.
Урок 5. Графические средства для работы с Vertica. Загрузка данных в БД Vertica
— Работа с Management Console: импорт данных о кластере Vertica, просмотр информации о кластере и базе данных DEMODB из консоли.
— Management Console: основные функциональные возможности.
— Установка и настройка внешних графических SQL-клиентов (таких как DBeaver или SQuirreL) для подключения к созданной ранее DEMODB.
— Просмотр объектов базы данных в графическом SQL-клиенте (на примере SQuirreL).
— Просмотр исходных данных для загрузки в БД (база carsales)
— Синтаксис SQL-команд, используемых в Vertica для загрузки и чтения данных
Урок 6. Создание аналитического хранилища данных с помощью Vertica
— Немного теории: существующие методологии построения хранилищ данных
— Отличительные черты Vertica: таблицы и проекции, нюансы операции insert, массовая загрузка данных, варианты команды COPY, работа с WOS/ROS.
— Разбор скрипта по созданию хранилища carsales, запуск скрипта на создание схемы данных и объектов, просмотр результатов
— Вставка и удаление данных в БД Vertica на примере одной записи таблицы (нюансы команд delete и update)
— Массовая загрузка данных командой COPY: просмотр скрипта загрузки, обсуждение необходимости параметра DIRECT,
— Запуск скрипта массовой загрузки.
Урок 7. Загрузка данных в хранилище. Проверка результатов загрузки
— Проверяем результаты загрузки, начиная с небольших таблиц (пока грузятся крупные)
— Полезные комментарии от автора курса: используемые символьные кодировки, варианты команды COPY, обработка ошибок загрузки, об опыте реальных проектов и вариантах перемещения данных между крупными СУБД, рекомендуемые настройки сети между нодами кластера
— О проектах: когда стоит задуматься о внедрении новой БД – аналитической базы данных (в то время, когда уже есть операционное хранилище)?
— О программах-загрузчиках, варианты технологий для написания: JAVA, shell-скрипты, с использованием UNIX pipes
— Кратко о сегментации и об оптимизации хранения и чтения; о buddy projections.
— Использование Management Console для просмотра информации о проекциях и значении лицензионного параметра; настройки Tuple Mover.
Урок 8. Оптимизация проекций после загрузки данных
— Варианты запуска Database Designer.
— Database Designer: настройки параметров запуска в adminTools, запуск процедуры дизайнера.
— Рекомендации автора по дизайну на промышленных базах данных: полный или инкрементальный, следует ли делать deploy или только создать скрипт ре-дизайна.
— И снова о хранилищах данных: обсуждение слоев – «сырой», «метаданные», «витрины»; обсуждение проекций и их количества.
— Об отказоустойчивости и производительности. Нужны ли дополнительные кластеры. Fault groups и зачем они нужны.
— Какие проекции нужны – сегментированные или несегментированные? Влияние наличия первичного ключа на сегментацию.
— Просмотр результатов дизайна: что изменилось в проекциях по результатам процедуры дизайна.
— Создание проекции вручную.
Урок 9. «Десерт на пробу» или кратко об актуальном для промышленных аналитических хранилищ
— Сегменты и партиции;
— Пулы ресурсов;
— Роли пользователей;
— Эпохи;
— Внешние таблицы;
— Резервное копирование;
— Создание внешних процедур и функций.
Курс читает: Вячеслав Ерин,
Технический консультант компании
АНАЛИТИКА ПЛЮС по базам данных Vertica
Вячеслав читает практикумы по Vertica и Alteryx. Принимал участие в запуске аналитических решений на базе Vertica + Tableau в компаниях ТАКСКОМ и Московском Кредитном Банке.
О нас:
АНАЛИТИКА ПЛЮС оказывает профессиональные услуги в сфере BI с 2012 года. Мы владеем технологиями успеха и готовы оказывать консультационную и технологическую поддержку на всех этапах реализации решений для вашего бизнеса.
Академия Аналитики — онлайн-образовательный проект, который создан командой АНАЛИТИКА ПЛЮС для того, чтобы компании быстро и успешно внедряли решения для анализа данных, а их сотрудники профессионально росли.
Академия Аналитики, наши преимущества:
1. Лучшие технологии по мнению ведущего исследовательского агентства Gartner.
2. Тренера – эксперты-практики, признанные в России и в мире.
3. Не требуется быть программистом или крутым математиком.
4. Можно профессионально расти.
5. Доступ сразу ко всем курсам. Не нужно платить отдельно за каждый курс.
6. Можно за 1-3 месяца освоить всю программу. Экономите свое время.
7. Если нужно, эксперты помогут. Не надо платить за услуги, которые не нужны.
8. Сертификаты и помощь в трудоустройстве.
9. До 30% каждого курса в бесплатном демо-доступе.
На нашем Youtube канале Академия Аналитики собраны полезные обучающие видео-материалы от лучших экспертов в области анализа данных.
В наших комьюнити мы публикуем свежие новости, обучающие материалы, анонсы к важным событиям и мероприятиям.
|
ВКонтакте Академия Аналитики https://vk.com/analytixacademy |
 |
Telegram-чат Академия Аналитики https://t.me/analytixacademy_chat |
На нашей платформе Академия Аналитики собраны авторские видео-курсы по работе с данными. До 30% каждого видео-курса доступно БЕСПЛАТНО в тарифе ДЕМО! При приобретении тарифа СТАНДАРТ или ПРЕМИУМ вам открывается доступ сразу ко всем видео-курсам платформы.
