Дата Инженер (Data Engineer). Программа обучения

Рекомендуемый срок обучения: 3 месяца.
Средняя зарплата Дата Инженер по данным hh.ru от 140.000 рублей.

Дата Инженер  –  Добывает сырые данные из разрозненных источников, преобразует их и загружает в хранилище данных.

Задачи Дата Инженера:

— Разработка процессов  для извличения, трансформации и загрузки данных в хранилище.

— Проектирование и разработка витрин данных для аналитики.

— Оптимизация процессов загрузки, преобразования данных.

— Обеспечение загрузки данных в хранилище.

— Построение архитектуры хранилища данных.

Навыки необходимые Дата Инженеру:

— Базовые знания теории DWH.

— Знание Python.

— Навыки извлечения информации из разрозненных истоников данных.

— Навыки работы с ETL инструментами или с аналитическими платформами в области извлечения и трансормации данных

— Базовые навыки администрирования железа + ПО (ETL инструменты или аналитические платформы, база дынных — например Vertica).

НАЧАТЬ УЧИТЬСЯ БЕСПЛАТНО

Шаг 1. Построение аналитического процесса в компании

Понимание различных вариантов реализации аналитики: Tableau и Power BI, SQL-запросов к БД, веб-систем Google, Yandex и Amplitude.

1. Видео-курс «Аналитика интернет магазина»

Из чего состоит видео-курс:

Модуль 1 – 4 урока, предоставляется в бесплатном доступе в тарифе ДЕМО. https://academy.analytikaplus.ru/courses/analytika_internet-magazina_1/

Модуль 2 – 8 уроков, доступен в тарифах СТАНДАРТ и ПРЕМИУМ. https://academy.analytikaplus.ru/courses/analytika_internet-magazina_2/

Преподаватель видео-курса: Артем Шевченко, Директор департамента по работе с клиентам, АНАЛИТИКА ПЛЮС

Шаг 2. Обработка данных

Обработка данных. Очистка данных без программирования, фильтрация данных, объединение данных из нескольких разнородных источников, применение формул, создание макросов, соединение макросов с BI-инструментами.

1. «Видео-курс Alteryx основы»

Из чего состоит видео-курс:

Модуль 1 – 5 уроков, предоставляется в бесплатном доступе в тарифе ДЕМО. https://academy.analytikaplus.ru/courses/Alteryx_osnovy_1/

Модуль 2 – 8 уроков, доступен в тарифах СТАНДАРТ и ПРЕМИУМ. https://academy.analytikaplus.ru/courses/Alteryx_osnovy_2/

Преподаватель курса: Вячеслав Ерин, Nехнический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica

Видеокурс расскажет о программном обеспечении для визуального проектирования потоков обработки и преобразования данных – Alteryx Designer.

С помощью данного инструмента мы подключимся к данным, на примерах локальных файловых источников и реальных промышленных веб-сервисов. Покажем, как без программирования можно очистить данные, осуществим фильтрацию. Посмотрим, каким образом можно объединять данные из нескольких разнородных источников, применим формулы (как построчные, так и агрегирующие), создадим и сохраним несколько отчетов (как в табличной форме, так и графической).

Решим несколько практических кейсов по получению и обработке данных из реальных веб-сервисов. Покажем, каким образом можно создавать макросы и другие исполняемые программные модули, а также, зачем и каким образом можно соединиться с BI-инструментами.

Шаг 3. Понимание основ работы аналитической базы данных (хранилища данных)

Создание хранилища данных, загрузка большого объема данных, построение витрин данных и т.д. Понимание этих процессов позволяет аналитику более успешно взаимодействовать с ИТ-отделом или сделать всё самостоятельно.

1. Видео-курс «Vertica одним взглядом».

Из чего состоит видео-курс:

Модуль 1 – 4 урока, предоставляется в бесплатном доступе в тарифе ДЕМО. https://academy.analytikaplus.ru/courses/Vertica_odnim_vzglyadom_1/ 

Модуль 2 – 5 уроков, доступен в тарифах СТАНДАРТ и ПРЕМИУМ. https://academy.analytikaplus.ru/courses/Vertica_odnim_vzglyadom_2/

Преподаватель курса: Вячеслав Ерин, Nехнический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica. Вячеслав читает практикумы по Vertica и Alteryx. Принимал участие в запуске аналитических решений на базе Vertica + Tableau в компаниях ТАКСКОМ и Московском Кредитном Банке.

Видеокурс расскажет о том, для чего необходимы аналитические базы данных. На примере Vertica будут рассмотрены колоночные базы данных, дающие существенный выигрыш в производительности для построения аналитики.

Мы покажем, как установить и настроить Vertica, а также имеющиеся визуальные средства по работе с ней. Совместно создадим тестовую базу данных, и на ее базе создадим аналитическое хранилище. Осуществим загрузку большого объема данных, и далее настроим проекции. Посмотрим, как работает Database Designer, и обсудим ключевые аспекты, которые следует учесть при работе с промышленными аналитическими базами данных.

2. Видео-курс «Основы теории создания хранилищ данных (DWH)» 

Из чего состоит видеокурс:

Модуль 1 – 3 урока, предоставляется в бесплатном доступе в тарифе ДЕМО. https://academy.analytikaplus.ru/courses/DWH_1/

Модуль 2 – 6 уроков, доступен в тарифах СТАНДАРТ и ПРЕМИУМ. https://academy.analytikaplus.ru/courses/DWH_2/

Преподаватель курса: Вячеслав Ерин, Nехнический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica. Вячеслав читает практикумы по Vertica и Alteryx. Принимал участие в запуске аналитических решений на базе Vertica + Tableau в компаниях ТАКСКОМ и Московском Кредитном Банке.

Наш видео-курс подойдет для специалистов, желающих научиться проектировать хранилища данных (DWH). В начале курса будет разобрана концепция нормальных форм, с примерами, а затем будут рассмотрены существующие в настоящее время методологии построения хранилищ, от «классических» (Кимбалл и Инмон) до «современных» (Data Vault и Anchor Modeling). В качестве практики будут построены модели хранилища для небольшого интернет-магазина, по каждой из методологий. В раздаточных материалах – скрипты по созданию моделей для каждой из методологий.

Наши преподаватели: 

Александра Дахина, Руководитель группы аналитиков компании АНАЛИТИКА ПЛЮС. Руководство группой аналитиков по разработке аналитических дашбордов «под ключ» — от сбора и подготовки данных до визуального представления. Проекты: Dyson, DC Systems, ЛУКОйл, 3+ TV (Швейцария) и др.

Артем Шевченко, Директор департамента по работе с клиентам, АНАЛИТИКА ПЛЮС. Руководство проектами по разработке аналитических дашбордов «под ключ» — от сбора и подготовки данных до визуального представления. Проекты: НТС, Группа Эталон, Knauf Insulation  и др.

Юрий Фаль. Tableau Ambassador, ведущий аналитик в команде АНАЛИТИКА ПЛЮС. Один из лучших преподавателей по Tableau. Провел более 50 практикумов по Tableau. Проекты: ЛУКОйл, Яндекс.Такси, Московский Кредитный Банк, МегаФон, SuperJob, Left.io (Канада) и др.

Вячеслав Ерин. Технический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica. Вячеслав читает практикумы по Vertica и Alteryx. Принимал участие в запуске аналитических решений на базе Vertica + Tableau в компаниях ТАКСКОМ и Московском Кредитном Банке.

Николай Голов, Chief Data Architect в ManyChat, отвечает за все pipeline и платформу данных для аналитики (хранилище, BI, ETL, интеграционные сервисы), все в AWS. До этого — руководитель Data Platform в Avito. В область ответственности Data Platform входили системы больших данных (сотни Тб), OLTP-базы, NoSQL-базы.

Евгений Нижибицкий. Руководитель направления компьютерного зрения в компании Rambler&Co. Проекты: Championat.com, Afisha.ru, анализ аудитории в кинотеатрах сети Синема Парк/Формула Кино и др. Преподаватель курсов машинного обучения в МГУ и МФТИ. Имеет ранг мастера на платформе по соревновательному анализу данных Kaggle.

Кто у нас учится? 

Отзывы тех, кто прошел наше обучение:

Жанна Арчибасова, РУСАЛ о видео-курсе «Основы Tableau»:  Очень подробное, структурированное изложение материала, сопровождаемое большим количеством наглядных примеров. Качественные задания для самостоятельной работы, хороший, понятный раздаточный материал. Моментальная обратная связь преподавателя. Спасибо!

Никита Чеснов, Тинькофф Банк р видео-курсе «Основы Tableau»: Отличный курс. Все темы курса были детально разобраны. Благодаря данному курсу я сэкономил огромное количество времени на изучение инструмента.

Максим Кречин, Яндекс.Такси о видео-курсе «Tableau. Сложный функционал»: Очень интересный курс, позволяющий глубоко погрузиться в нюансы работы с Tableau. Более структурировано дана информация о том, что ранее понималось интуитивно (Level of Details, табличные вычисления). Узнал множество «трюков» и путей реализации нестандартных визуализаций.

Евгения Евлютина, Банк ТОЧКА о видео-курсе «Tableau. Сложный функционал»: Мозг скрипел, но все очень понятно 🙂 если не отвлекаться. Спасибо преподавателю за человечность и фанатизм tableau (в хорошем смысле).

Виктория Годунова, Авито о видео-курсе «Tableau. Сложный функционал»: Тренинг очень понравился: раньше приходилось решать рабочие задачи бесконечным гуглежом, сейчас появилось более структурированное понимание принципов и логики  Tableau. Отдельное спасибо за картинку иерархии фильтров! Увидь я ее раньше, она бы мне сохранила очень много времени.

Мария Карпова, YOTA о видео-курсе  «Tableau. Визуальный анализ»: Интересный курс, открывающий новые (для новичков в Tableau) возможности! Хороший преподаватель. Спасибо!

Петр Беляков, НСПК о видео-курсе » Tableau. Визуальный анализ»: Интересный способ визуализации данных. Доступное объяснение на примерах.

НАЧАТЬ УЧИТЬСЯ БЕСПЛАТНО