Создание платформ данных

Сегодня компании активно реализуют концепцию цифровой трансформации и постепенно приходят к пониманию того, что для успешного бизнеса в текущих условиях необходимо максимально полно использовать накопленные данные.

Технологии

- Изучение источников данных
- Определение объемов и структуры данных
- Определение целей и функциональных требований для анализа данных
- Определение сценариев работы с данными (интегрированный подход с заданной структурой данных или использование Data Lake для решения широкого спектра задач обработки данных)
- определение типа архитектуры (облачная, on-premise, гибридная)
- определение способов получения данных из источников (потоковая, пакетная передача, mini-batch) и способов хранения данных (распределенное хранение, способы структурирования, партиционирования, резервирования)
- проектирование потоков взаимодействия с внутренними и внешними системами
- определение необходимых стадий консолидации, обогащения и преобразования данных
- разработка решений для обеспечения надежности и отказоустойчивости аналитического решения
- DWH-компоненты (стек Hadoop, Greenplum, PostreSQL и пр.)
- ETL-инструменты (Informatica, IBM DataStage, Pentaho, Microsoft и др.)
- инструменты управления корпоративными данными / Data Governance
- развертывание технологических платформ
- разработка и настройка необходимых инструментов, моделей данных, точек интеграции
- обеспечение взаимодействия между компонентами