Системы управления качеством данных (Data Governance)

Управление качеством данных

Создание инструментов и систем мониторинга качества данных:

контроль первичного ввода данных: валидация данных, очистка и обогащение данных в корпоративных системах
управление мастер-данными (MDM): устранение дубликатов, консолидация и обогащение данных
систематическое выявление аномальных данных и их коррекция – настройка правил качества, профилирование данных, структурирование данных и связей
контроль целостности данных при интеграции от систем-поставщиков до систем-получателей
создание дашбордов по мониторингу качества данных
защита данных: настройка доступов, проверка данных и т.д.

Разработка корпоративной политики управления данными

Аудит данных
Внедрение SLA для корпоративных систем
Назначение лиц (владелец данных, поставщик данных, получатель данных)
Управление изменениями
Создание карты рисков и «точек» мониторинга качества данных

Внедрение Каталога Данных (Data Catalog)

Умный каталог данных обнаруживает и каталогизирует все информационные активы организации. Он является центральным компонентом для сбора и распространения информации, позволяет бизнес-пользователям искать данные в простой и знакомой им терминологии и обеспечить всем сотрудникам доступ к достоверным данным и возможность совместной работы с информационными активами.

В Каталоге данных можно найти краткую информацию по данным в хранилище и их структуру, проследить путь данных от источника до целевой таблицы (data lineage), изучить статистику по полям таблицы и историю проверок качества данных, узнать владельцев данных и запросить доступ к данным.

Внедрение каталога данных позволит:

Снизить трудозатраты на поиск данных для разработки отчётов и аналитических моделей.
Повысить скорость создания продуктов за счет переиспользования существующих данных и витрин данных.
Регистрировать корпоративные ресурсы данных в едином источнике
Устранять разрыв между ИТ и бизнесом путем разрешения всем участникам делиться аналитическими данными

Другие направления

Задайте вопрос эксперту на нашем сайте или по телефону +7 (495) 647-50-46 или +7 (812) 677-56-90.

Часто-задаваемые вопросы (FAQ)

Что такое управление данными?

Управление данными – это комплекс бизнес-процессов и технологических инструментов для упорядочения работы с данными внутри компании.

В чем разница между Data Governance и Data Management?

Несмотря на одинаковый перевод на русский язык – «управление данными», - существует различие между понятиями. В самом простом виде оно звучит так: Data Governance – это стратегия, а Data Management – тактика. Data Governance связана напрямую с технологическими решениями. Компании используют технологии для того, чтобы решить основные задачи, которые ставит перед ним управление данными. Тем не менее, Data Governance и Data management работают параллельно друг другу и дополняют друг друга.

Из чего состоит процесс внедрения Data Governance в компании?

Процесс создания концепции Data Governance обычно долгий и состоит из нескольких блоков, которые не всегда идут последовательно:

Проектирование корректной ИТ-архитектуры.
Создание единой виртуальной среды для работы с данными.
Создание хранилищ данных.
Корректировка бизнес-процессов по работе с данными в существующих информационных системах.
Добавление процесса перекрестной проверки данных между системами и процесса исправления недостоверных данных.
Настройка процессов извлечения данных из систем трансформации и загрузки их в нужные представления (ETL, Extract, Transform & Load).
Внедрение корпоративной сервисной шины данных (Enterprise Service Bus, ESB).
Контроль качества данных (Data Quality).
Внедрение инструмента управления мастер-данными (Master Data Management, MDM).

Какие инструменты есть на рынке Data Governance?

Основным источником информации о том, какие технологические продукты используются в области управления данными можно искать в аналитических отчетах Gartner. Аналитики Gartner каждый год публикуют исследования рынка Master Data Management и Metadata Management Solutions - Магические квадранты по системам управления мастер-данными и метаданными.

В последнем магическом квадранте Gartner по системам управления метаданными появились два новых лидера. Таким образом основными поставщиками в этой области считают Semarchy, TIBCO Software и Riversand. Но лидером этого рынка уже много лет остается компания Informatica.

В частности, в последнем отчете Gartner указывали на наличие в платформе Informatica движка на базе искусственного интеллекта. По их мнению, это значительно повысило интеллектуальные возможности платформы и сделала её применимой в возможных кейсах. В России в последнее время также виден спрос на эту систему в разных отраслях.