Разработка архитектуры нового хранилища данных

«Ренессанс страхование» – ведущая диверсифицированная независимая страховая компания России, работающая на рынке 25 лет.

Предпосылки проекта:

Медленная работа хранилища данных на MS SQL. Данные хранились на физических серверах, и с ростом требований к работе с этими данными, сервера перестали справляться. Увеличилось время на формирование отчетности, что тормозило другие процессы в компании.

Цель проекта:

Спроектировать новую архитектуру хранилища данных, которая повысит скорость реакции на запросы клиентов без увеличения затрат на ИТ. А также выполнить прототипирование решения на базе предлагаемой архитектуры.

Задачи:

• Протестировать архитектуру нового решения;

• Получить прогноз эффективности проекта, а также пошаговый план действий и рекомендаций по улучшению архитектуры хранилища.

Результаты:

• Разработана архитектура нового хранилища, реализованного на платформе Yandex Cloud, и протестирована на небольшом объеме вычислительных мощностей в облаке;

• В рамках пилотного проекта использовались сервисы Yandex Object Storage, DataProc Spark, Managed Service for Apache Airflow и Yandex Managed Service for Greenplum. Длительность пилота — менее двух месяцев;

• В результате пилотного проекта стало понятно, что при миграции хранилища данных с MS SQL на Yandex Managed Service for Greenplum страховая компания ускорит производительность решения в два раза;

• Результатом подобных проектов становится не просто подключение сервисов, а развитие у заказчиков внутренних центров компетенции по работе с данными: обучение сотрудников, проведение аудита инфраструктуры и рекомендаций по работе с данными.