Программа бесплатного обучения на YouTube канале Академия Аналитики для тех, кто хочет стать Дата Инженером

Дата Инженер – это человек, который организует потоки загрузки и обрабатывает данные. Он занимается ETL-процессами, то есть обрабатывает данные: достает их из сырых источников, трансформирует и загружает. После предварительной обработки, очистки от повторов, ошибок, ненужных уточнений, он автоматизирует выполнение скриптов и, если нужно, настраивает мониторинги, алерты (сигналы о том, что в моделях что-то пошло не так), задает расписание, по которому сервис или программа будут работать с данными (шедуллит). Помимо сбора и обработки дата-инженер организует хранение данных.

Наш стэк технологий для Дата-Инженера:

— KNIME

— Alteryx

— Vertica

Шаг 1. Видео-курсы Академия Аналитики*:

— Видео-курс «Основы теории СУБД и языка SQL».
https://youtu.be/SB193YEHvnk

Преподаватель курса: Вячеслав Ерин, Технический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica. Вячеслав читает практикумы по Vertica и Alteryx. Принимал участие в запуске аналитических решений на базе Vertica + Tableau в компаниях ТАКСКОМ и Московском Кредитном Банке.

В навыки, требующиеся от аналитика данных, входит, в том числе, и умение подготовить данные для анализа. И, как это часто бывает, данные находятся в базах данных, или сокращенно БД. Умение работать с данными, получая их напрямую из БД с помощью SQL-скриптов (без использования BI-инструментов, таких как Tableau или Power BI), — базовое требование к навыкам аналитика, весьма востребованное в его работе. Понимание устройства данных на уровне СУБД очень часто упрощает работу в BI-инструментах, и позволяет сделать результаты анализа (отчеты и дашборды) более производительными.

Видео-курс расскажет о том, что такое системы управления базами данных (СУБД), с акцентом на наиболее распространенный в настоящее время тип СУБД – реляционные. Будет рассмотрено устройство СУБД: из каких типовых компонент и процессов они состоят, и за что отвечают. Далее, автор покажет и научит, как самостоятельно создать для себя тестовую среду обучения, — будет установлена виртуальная машина, затем на ней будет развернута операционная система Linux, и установлены 2 различные СУБД – MySQL и Vertica, также к ним будут установлены наиболее удобные SQL-клиенты, — MySQL Workbench и DBeaver.

После установки тестовой среды обучения, автор расскажет о языке SQL, из каких групп операторов он состоит и для чего они применяются, и далее будут подробно разобраны команды из наиболее востребованных групп языка — DDL, DML. В качестве практики будет создана БД для управления интернет-магазина, в обеих тестовых средах – СУБД MySQL и Vertica, с акцентом на различия диалектов SQL-команд между этими СУБД.

— Видео-курс: Аналитика интернет-магазина. Артем Шевченко, АНАЛИТИКА ПЛЮС
https://youtu.be/tR0kbnpg07A

Преподаватель видео-курса: Артем Шевченко, Директор департамента по работе с клиентам, АНАЛИТИКА ПЛЮС

В данном видео-курсе минимум теории, ОЧЕНЬ МНОГО ПРАКТИКИ! Наш видеокурс подойдет для аналитиков и/или ИТ-специалистов, желающих пройти полный путь по созданию аналитического решения. В этом практикуме на основе реальной задачи построим решение, которое:

— автоматизирует процесс сбора данных из веб-сервисов WooCommerce и Яндекс.Метрика (причем без написания кода, в KNIME Analytics Platform),
— сохраняет полученные и обработанные данные в аналитической СУБД Vertica,
— визуализирует данные в виде аналитических отчетов в Tableau.

Данное решение будет собрано одним единственным специалистом практически на ваших глазах.

— Видео-курс «Аналитика? Сделай сам». Николай Голов, Chief Data Architect в ManyChat
https://youtu.be/-Z3WbLllK8o

Преподаватель видео-курса: Николай Голов, Chief Data Architect в ManyChat, отвечает за все pipeline и платформу данных для аналитики (хранилище, BI, ETL, интеграционные сервисы), все в AWS. До этого — руководитель Data Platform в Avito. В область ответственности Data Platform входили системы больших данных (сотни Тб), OLTP-базы, NoSQL-базы.

Подходы к построению платформы на собственной ИТ-инфраструктуре. Понимание процессов подготовки витрин данных, процессов ETL и ELT. Знание актуальных технологий, на которых можно реализовать эти процессы. Организация работы с большими данными Наш видео-курс подойдет для аналитиков и/или ИТ-специалистов, желающих разобраться в современных технологиях по работе с данными, чтобы суметь выбрать правильный путь в реализации стоящей перед ними задачи. Ведь зачастую технологии, преподаваемые в классических университетах, теряют свою актуальность, поскольку в 20х годах 21-го века стали доступны производительные аппаратные серверные возможности.

— Видео-курс «Alteryx основы». Вячеслав Ерин, Nехнический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica
https://youtu.be/zqarhvcxZ_Y

Преподаватель курса: Вячеслав Ерин, Технический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica

Видеокурс расскажет о программном обеспечении для визуального проектирования потоков обработки и преобразования данных – Alteryx Designer.

С помощью данного инструмента мы подключимся к данным, на примерах локальных файловых источников и реальных промышленных веб-сервисов. Покажем, как без программирования можно очистить данные, осуществим фильтрацию. Посмотрим, каким образом можно объединять данные из нескольких разнородных источников, применим формулы (как построчные, так и агрегирующие), создадим и сохраним несколько отчетов (как в табличной форме, так и графической).

Решим несколько практических кейсов по получению и обработке данных из реальных веб-сервисов. Покажем, каким образом можно создавать макросы и другие исполняемые программные модули, а также, зачем и каким образом можно соединиться с BI-инструментами.

— Видео-курс «Vertica одним взглядом». Вячеслав Ерин, Nехнический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica
https://youtu.be/coE_hgBfO8U

Видеокурс расскажет о том, для чего необходимы аналитические базы данных. На примере Vertica будут рассмотрены колоночные базы данных, дающие существенный выигрыш в производительности для построения аналитики.

Мы покажем, как установить и настроить Vertica, а также имеющиеся визуальные средства по работе с ней. Совместно создадим тестовую базу данных, и на ее базе создадим аналитическое хранилище. Осуществим загрузку большого объема данных, и далее настроим проекции. Посмотрим, как работает Database Designer, и обсудим ключевые аспекты, которые следует учесть при работе с промышленными аналитическими базами данных.

— Видео-курс «Основы теории создания хранилищ данных (DWH)» .Вячеслав Ерин, Nехнический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica
https://youtu.be/vi6-PYiB-yE

Наш видео-курс подойдет для специалистов, желающих научиться проектировать хранилища данных (DWH). В начале курса будет разобрана концепция нормальных форм, с примерами, а затем будут рассмотрены существующие в настоящее время методологии построения хранилищ, от «классических» (Кимбалл и Инмон) до «современных» (Data Vault и Anchor Modeling). В качестве практики будут построены модели хранилища для небольшого интернет-магазина, по каждой из методологий. В раздаточных материалах – скрипты по созданию моделей для каждой из методологий.

— Как учиться в Академии Аналитики? Артем Шевченко, АНАЛИТИКА ПЛЮС
https://youtu.be/2e_CpjnmILQ

В этом видео, Артем Шевченко — директор департамента по работе с клиентами компании АНАЛИТИКА ПЛЮС, рассказывает о том, что такое Академия Аналитики, как в ней учиться, и какие преимущества дает обучение у нас.

*На нашем YouTube-канале представлена бесплатная часть видео-курсов платформы онлайн-обучения Академия Аналитики. Продолжить обучение можно на сайте Академия Аналитики.

Получить программу обучения в Академии Аналитики

Шаг 2. Практические кейсы по работе с данными:

— Аналитика по YouTube от «А» до «Я». Артем Шевченко, АНАЛИТИКА ПЛЮС
https://youtu.be/nO5FpziNym0

В этом видео Артем Шевченко, директор по работе с клиентами АНАЛИТИКА ПЛЮС, рассказывает:

— как построить аналитический дашборд по YouTube от «А» до «Я»;
— о методологии управления проектами при решении таких задач;
— про общий алгоритм решения аналитических задач (от выяснения задачи бизнес-пользователя до радости в его глазах и готового, интерактивного дашборда).

Итак, в процессе рассмотрения общего алгоритма решения аналитических задач, мы вместе с вами:

— выясним одну из задач бизнес-пользователя;
— найдем необходимые данные;
— решим задачу с данными (расскажем вам о нашем варианте решения задачи с данными);
— разберем набор показателей и срезов, который мы будем использовать для построения дашборда;
— создадим эскиз дашборда (не важно где и как, а что важно мы расскажем);
— разберемся с деталями: минимизируем количество визов (зачем это нужно мы тоже расскажем);
— разберемся с деталями: оптимизируем расчеты показателей (зачем это нужно мы тоже расскажем);
— разберемся с деталями: в 1 удаве 38 попугаев (бонус, мы знаем, вы это любите)

— Интеграция Tableau и ClickHouse. Юрий Фаль, АНАЛИТИКА ПЛЮС
https://youtu.be/60y0mRDNXJY

В своем докладе Юрий Фаль рассказывает про плюсы и минусы интеграции Tableau и ClickHouse, а также показывает примеры такого решения. Плюсы: наличие ODBC и JDBC драйверов для ClickHouse позволяет использовать режим Live Connection. Есть значительный прогресс в реализации функционала, достаточного для комфортной работы в Tableau. Некоторые функции, трансляция которых пока еще не реализована в драйвере, можно выполнять непосредственно в Tableau с использованием конструкций RAWSQL. Минусы: ClickHouse не декларирует совместимость со стандартом SQL-92 или выше, равно как и с каким-либо из диалектов SQL (MySQL, PostgreSQL etc). Поэтому проблематично применить тактику использования драйверов сторонних производителей, основанных на определенной кодовой базе SQL.

— Поток свежего воздуха в ящике со змеями (Airflow & Python 🐍). Вячеслав Ерин, АНАЛИТИКА ПЛЮС
https://youtu.be/KuKchkOAGw0

В этом прямом эфире мы расскажем вам об инструменте для ETL-процессов — Apache Airflow. Airflow приобрел большую популярность благодаря своей надежности и гибкости благодаря использованию Python. В этом эфире мы расскажем вам об инструменте Apache Airflow: основные термины, архитектура, компоненты, назначение, преимущества и недостатки.

— Интерактивные аналитические отчеты на основе данных из 1С. Артем Шевченко, АНАЛИТИКА ПЛЮС
https://youtu.be/HnAOKelclKE

В рамках этого видео Артем Шевченко, директор по работе с клиентами АНАЛИТИКА ПЛЮС, рассказывает::

— почему стоит использовать новые технологии для создания аналитических отчетов?
— как извлечь данные из 1С?
— как могут выглядеть процессы создания и просмотра аналитических отчетов в вашей организации при использовании связки Tableau и 1С?

— Обработка больших данных в REAL-TIME. Юрий Фаль, АНАЛИТИКА ПЛЮС
https://youtu.be/KUFsenIYAGk

Юрий Фаль, Tableau гуру АНАЛИТИКА ПЛЮС, рассказывает о базах данных. Вообще все существующие СУБД по принципу хранения информации делятся на на две категории: — те, которые предназначены для того, чтобы записывать информацию небольшими порциями и надежно ее хранить, — и вторые — которые обрабатывают большие объемы информации практически в режиме реального времени. Вот как раз про вторую группу и поговорим в том видео — что это за базы данных, в чем их преимущество, когда их применять и вообще, для чего они нужны?

Шаг 3. Кейсы от аналитиков данных компаний-лидеров:

— Владислав Исмагилов, руководитель службы аналитики Яндекс.Маркет: о внедрении платформы Tableau
https://youtu.be/k7ub1Dpwl1w

Владислав Исмагилов, руководитель службы аналитики Яндекс.Маркет, рассказывает о внедрении платформы Tableau: почему компания выбрала Tableau и между какими аналогами(инструментами, решениями) стоял выбор. Рассуждает о пользе Tableau, о том, какие радикальные задачи позволяет решать платформа. Рассказывает, какой объем данных ежедневно анализируют сотрудники Яндекс.Маркет, как устроена аналитика в компании, с какими проблемами сталкиваются аналитики и какие требования Яндекс.Маркет предъявляет к новым сотрудникам.

— Иван Калеев, Ростелеком: почему Ростелеком выбрали Tableau?
https://youtu.be/i_cZ4JX9PGc

Иван Калеев из компании Ростелеком рассказывает когда и почему появилась необходимость искать новые BI-инструменты, между какими инструментами выбирали. А также ответит на вопросы: Какие данные анализируют в компании? Как построен процесс анализа данных в Ростелеком? Какие задачи решают в компании с помощью Tableau? Кто в компании использует Tableau?

— Александр Тихоиванов, аналитик Яндекс.Еды: почему Яндекс.Еда выбрал Tableau?
https://youtu.be/N8X55Y8GW5w

Аналитик Яндекс.Еды Александр Тихоиванов расскажет о преимуществах инструмента BI Tableau и о том, какие пользователи используют Tableau на различных уровнях, Важно отметить, что каждые 9 из 10 человек в компании используют Tableau. Хотите научиться работать в Tableau и читать отчеты, но думаете что это сложно? Александр Тихоиванов ответит на этот вопрос и расскажет с какими именно сложностями сегодня они сталкиваются.

— Роман Халкечев, Руководитель отдела аналитики Яндекс.Еды: как устроен процесс анализа данных Яндекс
https://youtu.be/ZW5PXpHNHqs

Руководитель отдела аналитики Яндекс.Еды Роман Халкечев расскажет, как устроен процесс анализа данных в Яндексе, в чем заключается работа аналитиков и что конкретно они делают. Развеет мифы о том, что в компании-лидеры берут только аналитиков с большим опытом работы. А также поделится примером, когда с помощью Tableau удалось найти insight в данных.

Наши спикеры:

Александра Дахина, Руководитель группы аналитиков компании АНАЛИТИКА ПЛЮС. Руководство группой аналитиков по разработке аналитических дашбордов «под ключ» — от сбора и подготовки данных до визуального представления. Проекты: Dyson, DC Systems, ЛУКОйл, 3+ TV (Швейцария) и др.

Артем Шевченко, Директор департамента по работе с клиентам, АНАЛИТИКА ПЛЮС. Руководство проектами по разработке аналитических дашбордов «под ключ» — от сбора и подготовки данных до визуального представления. Проекты: НТС, Группа Эталон, Knauf Insulation и др.

Юрий Фаль. Tableau Ambassador, ведущий аналитик в команде АНАЛИТИКА ПЛЮС. Один из лучших преподавателей по Tableau. Провел более 50 практикумов по Tableau. Проекты: ЛУКОйл, Яндекс.Такси, Московский Кредитный Банк, МегаФон, SuperJob, Left.io (Канада) и др.

Вячеслав Ерин. Технический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica. Вячеслав читает практикумы по Vertica и Alteryx. Принимал участие в запуске аналитических решений на базе Vertica + Tableau в компаниях ТАКСКОМ и Московском Кредитном Банке.

Николай Голов, Chief Data Architect в ManyChat, отвечает за все pipeline и платформу данных для аналитики (хранилище, BI, ETL, интеграционные сервисы), все в AWS. До этого — руководитель Data Platform в Avito. В область ответственности Data Platform входили системы больших данных (сотни Тб), OLTP-базы, NoSQL-базы.

Евгений Нижибицкий. Руководитель направления компьютерного зрения в компании Rambler&Co. Проекты: Championat.com, Afisha.ru, анализ аудитории в кинотеатрах сети Синема Парк/Формула Кино и др. Преподаватель курсов машинного обучения в МГУ и МФТИ. Имеет ранг мастера на платформе по соревновательному анализу данных Kaggle.

Максим Сапухин. Бизнес-консультант компании АНАЛИТИКА ПЛЮС
15 лет — опыт управления закупками, логистикой, производством. последняя должность в «реальном бизнесе» — генеральный директор Сибирского Гурмана, одного из лидеров производства замороженной еды в РФ.
7 лет — опыт в консультирования компаний в области повышения эффективности бизнес-процессов с помощью BI инструментов.

Francis Chemorion, международный BI-эксперт и бизнес-консультант компании АНАЛИТИКА ПЛЮС. Профессионал в области бизнес-аналитики, реализовал множество BI-проектов полного цикла. Специалист в области архитектуры хранилищ данных, процессов интеграции, отчетов, разработки информационных панелей и процессов Warehouse ETL / ELT, опыт управления проектами по методологиям Waterfall, Agile и Rapid Applications Development.

Кто у нас учится?

Задайте вопрос: