• Понимать ключевые концепции и архитектуру Hadoop®
• Уметь записывать и читать данные в/из HDFS
• Разрабатывать программы для классического MapReduce и для YARN
• Работать с данными в HDFS из MapReduce-программ
• Получить представление об экосистеме, сложившейся вокруг Hadoop® и ее ключевых компонентах.

• Понимание бизнес-требований заказчика и организация эффективной команды. Преобразование неструктурированных данных в простые и ценные для бизнеса сведения.
• Построение моделей данных из разных источников.
• Выбор оптимальной архитектуры для Big Data проекта.
• Основы работы с Hadoop и MapReduce.

• Предобработка данных с помощью Python.
• Создание инфраструктуры для больших данных.
• Обработка данных при помощи Spark и Airflow.
• Обработка real-time данных.
• Построение работающего пайплайна в облачной среде.
• Внедрение принципов гибкого подхода MLOps.

• Работа с Tableau / Power BI.
• Управление потоками данных любого размера.
• Выбор способа организации работы с большими данными — lambda architecture, kappa architecture и пр.
• Создание витрин данных. Построение конвейеров обработки данных.
• Работа с data lakes в облаках и использование spark.

• Проектировать модели данных для Hive
• Разрабатывать запросы на языке HQL
• Получить практические навыки по написанию скриптов и настройке производительности.

• Получение данных из разных источников с помощью SQL.
• Выстраивание иерархии метрик и проектирование гипотез.
• Анализ базы данных и выявление закономерности между показателями.
• Интерпретация данных в понятной для бизнеса форме.
• Составление интерактивных дашбордов.
• Проектирование отчётности под заказчика.
• Обработка данных из разных источников с помощью Power BI или Tableau.

• Понимать, какие характеристики данных и запросов необходимо учитывать на этапе анализа требований и выбора систем управления данными
• Знать возможности и ограничения современных реляционных и нереляционных систем управления данными
• Уметь анализировать требования при выборе систем управления данными.

• Подготовить технических cпециалистов BigData
• Проектировать модели данных для Impala
• Разрабатывать запросы на языке Impala SQL
• Иметь практические навыки по написании скриптов и настройке производительности.

• анализировать и структурировать образцы поведения,
• выявлять закономерности и отклонения от них,
• строить неочевидные взаимосвязи между данными.

Особо будет рассмотрен случай влияния нескольких факторов в совокупности для построения надежных моделей прогнозирования поведения.

• автоматизировать распознавание образцов поведения,
• строить эффективные алгоритмы в зависимости от требуемых характеристик,
• обрабатывать массивы информации и выдавать рекомендации за приемлемое время с заданной точностью.

Среди источников информации будут также рассмотрены реляционные и не реляционные СУБД, текстовые файлы, гипертекстовые документы, социальные сети.

Особенностью курса является максимально эффективная визуализация статистических выводов для эффективного принятия решений. По итогам курса каждый слушатель предоставит отчет о финальном проекте с помощью средств визуализации.

• Получение данных с помощью SQL.
• Очистка и трансформация данных с помощью Python или R.
• Применение в работе ключевых математических методов и основ статистики.
• Прогнозирование на основе данных.
• Анализ результатов кампаний, исследований и тестирования продуктовых гипотез.

• Работать с SQL.
• Использовать Python и библиотеки.
• Проверять данные и определять проблемы.
• Строить модели машинного обучения.
• Применять математику для продуктивной работы с моделями данных, машинным обучением и нейронными сетями.
• Лидировать DS-проект.

• Создавать приложения на Java.
• Разбираться в алгоритмах и структурах данных.
• Пользоваться Git.
• Работать с базами данных.
• Оптимизировать код.
• Использовать Spring.

• Работать с сырыми данными
• Приносить пользу бизнесу
• Работать с Big Data
• Проверять гипотезы
• Анализировать данные
• Организовывать свою работу