Курсы Hadoop

• Понимать ключевые концепции и архитектуру Hadoop®
• Уметь записывать и читать данные в/из HDFS
• Разрабатывать программы для классического MapReduce и для YARN
• Работать с данными в HDFS из MapReduce-программ
• Получить представление об экосистеме, сложившейся вокруг Hadoop® и ее ключевых компонентах.

• Проектировать модели данных для Hive
• Разрабатывать запросы на языке HQL
• Получить практические навыки по написанию скриптов и настройке производительности.

• Понимать, какие характеристики данных и запросов необходимо учитывать на этапе анализа требований и выбора систем управления данными
• Знать возможности и ограничения современных реляционных и нереляционных систем управления данными
• Уметь анализировать требования при выборе систем управления данными.

• Подготовить технических cпециалистов BigData
• Проектировать модели данных для Impala
• Разрабатывать запросы на языке Impala SQL
• Иметь практические навыки по написании скриптов и настройке производительности.

• Научиться определять KPI и метрики, которые идентифицируют точки роста продукта.
• Разбераться, как правильно выстроить анализ масштабируемых моделей привлечения пользователей, экспериментов, и завершим все практикой презентации и визуализации.
• Разберать все на примере инструмента Tableau.
• Инжиниринг данных
• Управление и планирование анализа (stakeholder management)
• Как писать high-quality SQL запросы.

• анализировать и структурировать образцы поведения,
• выявлять закономерности и отклонения от них,
• строить неочевидные взаимосвязи между данными.

Особо будет рассмотрен случай влияния нескольких факторов в совокупности для построения надежных моделей прогнозирования поведения.

• автоматизировать распознавание образцов поведения,
• строить эффективные алгоритмы в зависимости от требуемых характеристик,
• обрабатывать массивы информации и выдавать рекомендации за приемлемое время с заданной точностью.

Среди источников информации будут также рассмотрены реляционные и не реляционные СУБД, текстовые файлы, гипертекстовые документы, социальные сети.

Особенностью курса является максимально эффективная визуализация статистических выводов для эффективного принятия решений. По итогам курса каждый слушатель предоставит отчет о финальном проекте с помощью средств визуализации.