Программа бесплатного обучения на YouTube канале Академия Аналитики для тех, кто хочет стать Дата Инженером
Дата Инженер – это человек, который организует потоки загрузки и обрабатывает данные. Он занимается ETL-процессами, то есть обрабатывает данные: достает их из сырых источников, трансформирует и загружает. После предварительной обработки, очистки от повторов, ошибок, ненужных уточнений, он автоматизирует выполнение скриптов и, если нужно, настраивает мониторинги, алерты (сигналы о том, что в моделях что-то пошло не так), задает расписание, по которому сервис или программа будут работать с данными (шедуллит). Помимо сбора и обработки дата-инженер организует хранение данных.
Наш стэк технологий для Дата-Инженера:
— KNIME
— Alteryx
— Vertica
Шаг 1. Видео-курсы Академия Аналитики*:
— Видео-курс «Основы теории СУБД и языка SQL».
https://youtu.be/SB193YEHvnk
Преподаватель курса: Вячеслав Ерин, Технический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica. Вячеслав читает практикумы по Vertica и Alteryx. Принимал участие в запуске аналитических решений на базе Vertica + Tableau в компаниях ТАКСКОМ и Московском Кредитном Банке.
В навыки, требующиеся от аналитика данных, входит, в том числе, и умение подготовить данные для анализа. И, как это часто бывает, данные находятся в базах данных, или сокращенно БД. Умение работать с данными, получая их напрямую из БД с помощью SQL-скриптов (без использования BI-инструментов, таких как Tableau или Power BI), — базовое требование к навыкам аналитика, весьма востребованное в его работе. Понимание устройства данных на уровне СУБД очень часто упрощает работу в BI-инструментах, и позволяет сделать результаты анализа (отчеты и дашборды) более производительными.
Видео-курс расскажет о том, что такое системы управления базами данных (СУБД), с акцентом на наиболее распространенный в настоящее время тип СУБД – реляционные. Будет рассмотрено устройство СУБД: из каких типовых компонент и процессов они состоят, и за что отвечают. Далее, автор покажет и научит, как самостоятельно создать для себя тестовую среду обучения, — будет установлена виртуальная машина, затем на ней будет развернута операционная система Linux, и установлены 2 различные СУБД – MySQL и Vertica, также к ним будут установлены наиболее удобные SQL-клиенты, — MySQL Workbench и DBeaver.
После установки тестовой среды обучения, автор расскажет о языке SQL, из каких групп операторов он состоит и для чего они применяются, и далее будут подробно разобраны команды из наиболее востребованных групп языка — DDL, DML. В качестве практики будет создана БД для управления интернет-магазина, в обеих тестовых средах – СУБД MySQL и Vertica, с акцентом на различия диалектов SQL-команд между этими СУБД.
— Видео-курс: Аналитика интернет-магазина. Артем Шевченко, АНАЛИТИКА ПЛЮС
https://youtu.be/tR0kbnpg07A
Преподаватель видео-курса: Артем Шевченко, Директор департамента по работе с клиентам, АНАЛИТИКА ПЛЮС
В данном видео-курсе минимум теории, ОЧЕНЬ МНОГО ПРАКТИКИ! Наш видеокурс подойдет для аналитиков и/или ИТ-специалистов, желающих пройти полный путь по созданию аналитического решения. В этом практикуме на основе реальной задачи построим решение, которое:
— автоматизирует процесс сбора данных из веб-сервисов WooCommerce и Яндекс.Метрика (причем без написания кода, в KNIME Analytics Platform),
— сохраняет полученные и обработанные данные в аналитической СУБД Vertica,
— визуализирует данные в виде аналитических отчетов в Tableau.
Данное решение будет собрано одним единственным специалистом практически на ваших глазах.
— Видео-курс «Аналитика? Сделай сам». Николай Голов, Chief Data Architect в ManyChat
https://youtu.be/-Z3WbLllK8o
Преподаватель видео-курса: Николай Голов, Chief Data Architect в ManyChat, отвечает за все pipeline и платформу данных для аналитики (хранилище, BI, ETL, интеграционные сервисы), все в AWS. До этого — руководитель Data Platform в Avito. В область ответственности Data Platform входили системы больших данных (сотни Тб), OLTP-базы, NoSQL-базы.
Подходы к построению платформы на собственной ИТ-инфраструктуре. Понимание процессов подготовки витрин данных, процессов ETL и ELT. Знание актуальных технологий, на которых можно реализовать эти процессы. Организация работы с большими данными Наш видео-курс подойдет для аналитиков и/или ИТ-специалистов, желающих разобраться в современных технологиях по работе с данными, чтобы суметь выбрать правильный путь в реализации стоящей перед ними задачи. Ведь зачастую технологии, преподаваемые в классических университетах, теряют свою актуальность, поскольку в 20х годах 21-го века стали доступны производительные аппаратные серверные возможности.
— Видео-курс «Alteryx основы». Вячеслав Ерин, Nехнический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica
https://youtu.be/zqarhvcxZ_Y
Преподаватель курса: Вячеслав Ерин, Технический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica
Видеокурс расскажет о программном обеспечении для визуального проектирования потоков обработки и преобразования данных – Alteryx Designer.
С помощью данного инструмента мы подключимся к данным, на примерах локальных файловых источников и реальных промышленных веб-сервисов. Покажем, как без программирования можно очистить данные, осуществим фильтрацию. Посмотрим, каким образом можно объединять данные из нескольких разнородных источников, применим формулы (как построчные, так и агрегирующие), создадим и сохраним несколько отчетов (как в табличной форме, так и графической).
Решим несколько практических кейсов по получению и обработке данных из реальных веб-сервисов. Покажем, каким образом можно создавать макросы и другие исполняемые программные модули, а также, зачем и каким образом можно соединиться с BI-инструментами.
— Видео-курс «Vertica одним взглядом». Вячеслав Ерин, Nехнический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica
https://youtu.be/coE_hgBfO8U
Преподаватель курса: Вячеслав Ерин, Технический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica. Вячеслав читает практикумы по Vertica и Alteryx. Принимал участие в запуске аналитических решений на базе Vertica + Tableau в компаниях ТАКСКОМ и Московском Кредитном Банке.
Видеокурс расскажет о том, для чего необходимы аналитические базы данных. На примере Vertica будут рассмотрены колоночные базы данных, дающие существенный выигрыш в производительности для построения аналитики.
Мы покажем, как установить и настроить Vertica, а также имеющиеся визуальные средства по работе с ней. Совместно создадим тестовую базу данных, и на ее базе создадим аналитическое хранилище. Осуществим загрузку большого объема данных, и далее настроим проекции. Посмотрим, как работает Database Designer, и обсудим ключевые аспекты, которые следует учесть при работе с промышленными аналитическими базами данных.
— Видео-курс «Основы теории создания хранилищ данных (DWH)» .Вячеслав Ерин, Nехнический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica
https://youtu.be/vi6-PYiB-yE
Преподаватель курса: Вячеслав Ерин, Технический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica. Вячеслав читает практикумы по Vertica и Alteryx. Принимал участие в запуске аналитических решений на базе Vertica + Tableau в компаниях ТАКСКОМ и Московском Кредитном Банке.
Наш видео-курс подойдет для специалистов, желающих научиться проектировать хранилища данных (DWH). В начале курса будет разобрана концепция нормальных форм, с примерами, а затем будут рассмотрены существующие в настоящее время методологии построения хранилищ, от «классических» (Кимбалл и Инмон) до «современных» (Data Vault и Anchor Modeling). В качестве практики будут построены модели хранилища для небольшого интернет-магазина, по каждой из методологий. В раздаточных материалах – скрипты по созданию моделей для каждой из методологий.
— Как учиться в Академии Аналитики? Артем Шевченко, АНАЛИТИКА ПЛЮС
https://youtu.be/2e_CpjnmILQ
В этом видео, Артем Шевченко — директор департамента по работе с клиентами компании АНАЛИТИКА ПЛЮС, рассказывает о том, что такое Академия Аналитики, как в ней учиться, и какие преимущества дает обучение у нас.
*На нашем YouTube-канале представлена бесплатная часть видео-курсов платформы онлайн-обучения Академия Аналитики. Продолжить обучение можно на сайте Академия Аналитики.
Шаг 2. Практические кейсы по работе с данными:
— Аналитика по YouTube от «А» до «Я». Артем Шевченко, АНАЛИТИКА ПЛЮС
https://youtu.be/nO5FpziNym0
В этом видео Артем Шевченко, директор по работе с клиентами АНАЛИТИКА ПЛЮС, рассказывает:
— как построить аналитический дашборд по YouTube от «А» до «Я»;
— о методологии управления проектами при решении таких задач;
— про общий алгоритм решения аналитических задач (от выяснения задачи бизнес-пользователя до радости в его глазах и готового, интерактивного дашборда).
Итак, в процессе рассмотрения общего алгоритма решения аналитических задач, мы вместе с вами:
— выясним одну из задач бизнес-пользователя;
— найдем необходимые данные;
— решим задачу с данными (расскажем вам о нашем варианте решения задачи с данными);
— разберем набор показателей и срезов, который мы будем использовать для построения дашборда;
— создадим эскиз дашборда (не важно где и как, а что важно мы расскажем);
— разберемся с деталями: минимизируем количество визов (зачем это нужно мы тоже расскажем);
— разберемся с деталями: оптимизируем расчеты показателей (зачем это нужно мы тоже расскажем);
— разберемся с деталями: в 1 удаве 38 попугаев (бонус, мы знаем, вы это любите)
— Интеграция Tableau и ClickHouse. Юрий Фаль, АНАЛИТИКА ПЛЮС
https://youtu.be/60y0mRDNXJY
В своем докладе Юрий Фаль рассказывает про плюсы и минусы интеграции Tableau и ClickHouse, а также показывает примеры такого решения. Плюсы: наличие ODBC и JDBC драйверов для ClickHouse позволяет использовать режим Live Connection. Есть значительный прогресс в реализации функционала, достаточного для комфортной работы в Tableau. Некоторые функции, трансляция которых пока еще не реализована в драйвере, можно выполнять непосредственно в Tableau с использованием конструкций RAWSQL. Минусы: ClickHouse не декларирует совместимость со стандартом SQL-92 или выше, равно как и с каким-либо из диалектов SQL (MySQL, PostgreSQL etc). Поэтому проблематично применить тактику использования драйверов сторонних производителей, основанных на определенной кодовой базе SQL.
— Поток свежего воздуха в ящике со змеями (Airflow & Python 🐍). Вячеслав Ерин, АНАЛИТИКА ПЛЮС
https://youtu.be/KuKchkOAGw0
В этом прямом эфире мы расскажем вам об инструменте для ETL-процессов — Apache Airflow. Airflow приобрел большую популярность благодаря своей надежности и гибкости благодаря использованию Python. В этом эфире мы расскажем вам об инструменте Apache Airflow: основные термины, архитектура, компоненты, назначение, преимущества и недостатки.
— Интерактивные аналитические отчеты на основе данных из 1С. Артем Шевченко, АНАЛИТИКА ПЛЮС
https://youtu.be/HnAOKelclKE
В рамках этого видео Артем Шевченко, директор по работе с клиентами АНАЛИТИКА ПЛЮС, рассказывает::
— почему стоит использовать новые технологии для создания аналитических отчетов?
— как извлечь данные из 1С?
— как могут выглядеть процессы создания и просмотра аналитических отчетов в вашей организации при использовании связки Tableau и 1С?
— Обработка больших данных в REAL-TIME. Юрий Фаль, АНАЛИТИКА ПЛЮС
https://youtu.be/KUFsenIYAGk
Шаг 3. Кейсы от аналитиков данных компаний-лидеров:
— Владислав Исмагилов, руководитель службы аналитики Яндекс.Маркет: о внедрении платформы Tableau
https://youtu.be/k7ub1Dpwl1w
Владислав Исмагилов, руководитель службы аналитики Яндекс.Маркет, рассказывает о внедрении платформы Tableau: почему компания выбрала Tableau и между какими аналогами(инструментами, решениями) стоял выбор. Рассуждает о пользе Tableau, о том, какие радикальные задачи позволяет решать платформа. Рассказывает, какой объем данных ежедневно анализируют сотрудники Яндекс.Маркет, как устроена аналитика в компании, с какими проблемами сталкиваются аналитики и какие требования Яндекс.Маркет предъявляет к новым сотрудникам.
— Иван Калеев, Ростелеком: почему Ростелеком выбрали Tableau?
https://youtu.be/i_cZ4JX9PGc
Иван Калеев из компании Ростелеком рассказывает когда и почему появилась необходимость искать новые BI-инструменты, между какими инструментами выбирали. А также ответит на вопросы: Какие данные анализируют в компании? Как построен процесс анализа данных в Ростелеком? Какие задачи решают в компании с помощью Tableau? Кто в компании использует Tableau?
— Александр Тихоиванов, аналитик Яндекс.Еды: почему Яндекс.Еда выбрал Tableau?
https://youtu.be/N8X55Y8GW5w
Аналитик Яндекс.Еды Александр Тихоиванов расскажет о преимуществах инструмента BI Tableau и о том, какие пользователи используют Tableau на различных уровнях, Важно отметить, что каждые 9 из 10 человек в компании используют Tableau. Хотите научиться работать в Tableau и читать отчеты, но думаете что это сложно? Александр Тихоиванов ответит на этот вопрос и расскажет с какими именно сложностями сегодня они сталкиваются.
— Роман Халкечев, Руководитель отдела аналитики Яндекс.Еды: как устроен процесс анализа данных Яндекс
https://youtu.be/ZW5PXpHNHqs
Руководитель отдела аналитики Яндекс.Еды Роман Халкечев расскажет, как устроен процесс анализа данных в Яндексе, в чем заключается работа аналитиков и что конкретно они делают. Развеет мифы о том, что в компании-лидеры берут только аналитиков с большим опытом работы. А также поделится примером, когда с помощью Tableau удалось найти insight в данных.
Наши спикеры:
Александра Дахина, Руководитель группы аналитиков компании АНАЛИТИКА ПЛЮС. Руководство группой аналитиков по разработке аналитических дашбордов «под ключ» — от сбора и подготовки данных до визуального представления. Проекты: Dyson, DC Systems, ЛУКОйл, 3+ TV (Швейцария) и др. |
Артем Шевченко, Директор департамента по работе с клиентам, АНАЛИТИКА ПЛЮС. Руководство проектами по разработке аналитических дашбордов «под ключ» — от сбора и подготовки данных до визуального представления. Проекты: НТС, Группа Эталон, Knauf Insulation и др. |
Юрий Фаль. Tableau Ambassador, ведущий аналитик в команде АНАЛИТИКА ПЛЮС. Один из лучших преподавателей по Tableau. Провел более 50 практикумов по Tableau. Проекты: ЛУКОйл, Яндекс.Такси, Московский Кредитный Банк, МегаФон, SuperJob, Left.io (Канада) и др. |
Вячеслав Ерин. Технический консультант компании АНАЛИТИКА ПЛЮС по базам данных Vertica. Вячеслав читает практикумы по Vertica и Alteryx. Принимал участие в запуске аналитических решений на базе Vertica + Tableau в компаниях ТАКСКОМ и Московском Кредитном Банке. |
Николай Голов, Chief Data Architect в ManyChat, отвечает за все pipeline и платформу данных для аналитики (хранилище, BI, ETL, интеграционные сервисы), все в AWS. До этого — руководитель Data Platform в Avito. В область ответственности Data Platform входили системы больших данных (сотни Тб), OLTP-базы, NoSQL-базы. |
Евгений Нижибицкий. Руководитель направления компьютерного зрения в компании Rambler&Co. Проекты: Championat.com, Afisha.ru, анализ аудитории в кинотеатрах сети Синема Парк/Формула Кино и др. Преподаватель курсов машинного обучения в МГУ и МФТИ. Имеет ранг мастера на платформе по соревновательному анализу данных Kaggle. |
Максим Сапухин. Бизнес-консультант компании АНАЛИТИКА ПЛЮС |
Francis Chemorion, международный BI-эксперт и бизнес-консультант компании АНАЛИТИКА ПЛЮС. Профессионал в области бизнес-аналитики, реализовал множество BI-проектов полного цикла. Специалист в области архитектуры хранилищ данных, процессов интеграции, отчетов, разработки информационных панелей и процессов Warehouse ETL / ELT, опыт управления проектами по методологиям Waterfall, Agile и Rapid Applications Development. |
Кто у нас учится?