В 2020 г. под влиянием пандемии вопросы быстрого реагирования на постоянно меняющиеся внешние обстоятельства приобрели особое значение. Многие компании были вынуждены не только оперативно перевести сотрудников на удаленную работу, но и уделить особое внимание вопросам аналитики и управления данными. Для принятия управленческих решений менеджерам приходится учитывать целый комплекс влияющих факторов, исходя из опыта и имеющейся экспертизы. Однако такой подход не позволяет в полной мере предсказывать ход тех или иных событий. В таком случае на помощь приходят системы бизнес-анализа, отражающие ключевые показатели деятельности компании.

В экономике нашей страны особое место занимает транспортная отрасль. Причиной этому является огромная территория России и соответствующее территориальное распределение субъектов экономической деятельности. Такая значимость находит свое отражение и в степени государственного нормативного регулирования, в том числе, сферы сбора и анализа отчетных данных, например, в нормативных актах высших органов исполнительной власти Российской Федерации.

В современных условиях система управления данными становится важным инструментом для эффективной работы компаний, включая транспортные. В ОАО «РЖД» для создания информационной системы, предоставляющей данные для принятия управленческих решений, необходимо провести комплексный анализ процессов, подлежащих автоматизации. Требуется определить ключевые особенности сферы предметной области, процессов и требований, а также источники сведений (особенно источники регулирующих норм).

Как и любая предметная область, сфера железнодорожного транспорта имеет свою специфику, что отражается на ее показателях деятельности. Сбор, обработка и анализ данных при этом осуществляются с учетом как территориальных особенностей, так и вертикального характера построения компании. Причем начинать анализ, очевидно, следует сверху – от управляющих или заинтересованных в результатах деятельности органов государственной власти. 

В ОАО «РЖД» в 2017 г. началась реализация проекта СКИМ (Система контроля и мониторинга), в рамках которого и решались данные задачи. Система должна была поддерживать принятие управленческих решений и осуществлять оперативный мониторинг производственных, операционных и финансово-экономических показателей деятельности огромной транспортной и географически распределенной организации.

При этом организационная структура, разнообразие бизнес-процессов обусловили сложность информационного ландшафта организации. Эти особенности определили следующие основные задачи системы: ежесуточный автоматизированный сбор большого количества разнородных отчетных показателей; сходимость информации на разных уровнях (ввиду сложной разветвленной организационной структуры); системное обеспечение корректности методологии (ввиду критичной значимости всех шагов процессов обработки данных); современный подход к построению UX/UI (пользовательского опыта и интерфейсных решений) с учетом различных сценариев использования системы, включая доступы с компьютеров, планшетов и видеостен разных форматов.

Проектная группа из экспертов ОАО «РЖД», ОЦРВ и системного интегратора «КОРУС Консалтинг» более четырех лет эволюционно выстраивает многофункциональную архитектуру работы с данными, используя передовые технологии. 

В 2019 г. было принято решение о необходимости развития программы проектов СКИМ на базе отечественного программного обеспечения и продуктов с открытым кодом. Для этого был выбран комплекс решений с открытым исходным кодом, который можно разделить на несколько логических подсистем (см. рисунок).

Подсистема интеграции – представляет корпоративную шину передачи данных ESB на базе JBoss Fuse и предназначена для интеграции и сбора данных из систем-источников данных, а также первичных проверок качества данных.

Подсистема обработки, хранения и предоставления данных – решение класса «Big Data» на базе широкого набора современных open-source технологий (Apache Hadoop, Kafka, PostgreSQL (кластерная сборка Patroni), Greenplum и др.). Она предназначена для автоматизации процесса сбора, хранения, обработки данных, а также формирования витрин данных. 

При этом информационный поток проходит через такие слои как:

• область временного хранения данных в исходном формате в HDFS;

• архивная область хранения входящих данных в HDFS;

• слой хранения в бинарном виде, история изменений и удалений в HDFS;

• слой хранения актуального среза данных в HDFS;

• три слоя хранения: входящих данных; детальных данных; расчетных и преобразованных данных.

Подсистема визуализации данных – представляет BI-платформу и предназначена для визуализации производственных, операционных и финансово-экономических показателей, подготовки оперативной отчетности и показателей деятельности. Подсистема для различных направлений использует в основе либо платформу Luxms BI, либо фреймворки на основе JavaScript и SQL. Она состоит из нескольких модулей: загрузки данных из хранилища; визуального представления данных (непосредственно дашборды и визуальные отчеты для конечных бизнес-пользователей); формирования шаблонов отчетов; личного кабинета пользователя.

Подсистема ручного ввода данных – является инструментом ручного ввода данных на базе HTML5/ JavaScript и PostgreSQL и предназначена для ввода пользователями данных по показателям.

Для корректной работы системы в целом был выбран и доработан стек программного обеспечения с открытым исходным кодом, а именно:

• Airflow – инструмент планирования и управления информационными потоками;

• Ranger – фреймворк для управления политиками безопасности;

• Ambari и Grafana – инструменты технического мониторинга состояния системы;

• Yarn – компонент приоритезации и управления ресурсами системы для вычислительных задач;

• Zookeeper – распределенный сервис хранения конфигураций и синхронизации состояний и другие компоненты Apache-стека.

Выбранные технологии и подходы позволяют быстро масштабировать систему путем добавления новых серверов в общий вычислительный кластер.

На текущий момент общее количество серверов системы для контуров разработки, тестирования и промышленного использования превышает 100 ед.

Созданная система СКИМ интегрирована с более 40 системами-источниками данных ОАО «РЖД». Она собирает и обрабатывает свыше 270 тыс. показателей деятельности компании, включая 275 отчетных форм для 30 структурных подразделений. Топ-менеджмент компании активно пользуется данными системы в рамках повседневной работы, для проведения оперативных и селекторных совещаний.

Оперативность и удобство использования системы обеспечивает бесшовный доступ пользователей к реализованным на разных технологических стэках функциональностям, разделам и подразделам, группирующим показатели и экранные формы из единой точки доступа – стартового экрана системы.

Отдельные функциональные блоки системы дают возможность как сквозной навигации для комплексного анализа, так и работы с отдельными аспектами деятельности. К ним можно отнести аналитику и мониторинг управления инвестиционными проектами и ходом их реализации; аналитику по производственно-технологическому блоку; сводную визуализацию по высокоуровневым показателям, характеризующую ход достижения стратегических целей; систему учета и хранения форм отчетности, позволяющую отслеживать взаимосвязи показателей отчетных форм и методики их формирования и расчета и др.

Масштаб применения СКИМ в подразделениях ОАО «РЖД» за последние четыре года увеличился в 4 раза. Дальнейшее развитие системы в части бизнеса характеризуется увеличением количества обрабатываемых показателей, отчетных форм, числа пользователей до нескольких тысяч. В технической части ведется расширение набора источников данных, методологического базиса, количества и видов экранных форм; функции и интерфейс системы перестраиваются с учетом потребности дополнительных инструментов прямого контроля верхнего уровня средствами анализа, включая поиск и оценку факторов и первоисточников сложившейся ситуации; расширение функциональности за счет специфических детализаций и разрезов аналитики. Кроме того, запланировано развитие средств визуализации за счет применения 3D- и картографических инструментов (с учетом характера отчетных показателей территориально распределенной организации и ее основных бизнес-процессов).

Еще до начала проекта эксперты проанализировали лучшие мировые практики в области развития аналитических решений. Были тщательно изучены примеры BI-решений ведущих компаний рынка операторов связи, финансовых услуг, технологических производителей и транспортно-логистических холдингов. Дополнительно к системе предъявлялись высокие требования, исходя из задач, поставленных генеральным директором – председателем правления ОАО «РЖД» О.В. Белозёровым.

Уже сейчас можно сказать, что СКИМ отвечает стандартам не только на российском, но и на международном рынке систем управления данными, и является одним из лучших примеров использования решений с открытым кодом и отечественного ПО для поддержания курса импортозамещения.

Источник: Автоматика, связь, информатика