BI-системы: технологические тренды и перспективы развития
Автор: TAdviserВремя прочтения: 16 минДата публикации: 12.11.2021
Теги: BI, аналитика данных, бизнес-аналитика, бизнес-анализ, Россия
Эксперты рынка продолжают обсуждать тенденции российского BI-ландшафта.
Технологические тренды
В числе основных технотрендов большинство наших экспертов называют: эволюцию BI-систем от классических в сторону систем самообслуживания (self-service BI), предоставление услуг бизнес-аналитики по облачной модели (SaaS), рост популярности low-code-подхода, применение искусственного интеллекта (AI), машинного обучения (ML) и ряд других.
Так, по оценке Артема Гришковского, коммерческого директора компании «Доверенная среда» (ГКС), клиентов компании интересуют рекомендательная аналитика, DSS-функционал, то есть возможность поддержки принятия решений, и мобильность.
Точка зрения Николая Бехтерева, генерального директора Modus BI, ближе к общемировым трендам. «Основные технологические тенденции в развитии BI-систем связаны с искусственным интеллектом и машинным обучением, которые применяются для верификации, очистки и обогащения данных (DQM), обнаружения тенденций и закономерностей, — говорит эксперт. — Наблюдается рост интереса к использованию гибридного хранилища данных, включающего при необходимости реляционные, колоночные, in-memory базы данных и распределенную файловую систему Hadoop (HDFS). Для интеграции различных информационных систем будет чаще использоваться распределенная стриминговая платформа Apache Kafka.»
Алексей Выскребенцев, руководитель центра экспертизы решений компании «Форсайт» в числе ведущих направлений развития BI-систем называет концепцию self-service и low-code, гибридную архитектуру хранения данных (озера данных), использование колоночных СУБД. «Все чаще компании используют для работы с витринами колоночные СУБД, которые обеспечивают максимальную производительность на огромных массивах данных, — дополняет эксперт. — И если ранее компании в основном использовали реляционные источники или MPP-платформы (Greenplum, Vertica), программно-аппаратные комплексы (Teradata, Exadata), то сейчас тренд смещается на такие СУБД, как Tarantool, ClickHouse, Cassandra и др.»
Сергей Шестаков, генеральный директор ГК Luxms, к числу основных технологических трендов относит глубокую интеграцию BI с инструментарием AI/ML – возможность работы с моделями, основанными на машинном обучении. Еще один тренд – это интеграция с BPM-системами и даже более того, обеспечение BPM функциональности для управления вводом и согласованием показателей.
Юрий Колбасин, партнер Лиги Цифровой Экономики, директор практики Big Data говорит о развитии направления BI-систем самообслуживания (self-service), встраивании технологии ИИ и машинного обучения, глубокой интеграции с Data Governance. Все вместе это приводит к тому, что отчетность становится адресной, то есть отчетная информация в скором времени будет передаваться в зависимости от контекста и от задачи, которую в данный момент решает пользователь.
О перспективности систем самообслуживания (self-service), расширенной аналитики (ABI) как об основных трендах говорит и Роман Дзвинко, исполнительный директор НПЦ "БизнесАвтоматика". «Еще одним трендом развития BI-систем является MD/DQ (Master Data/ Data Quality management). Важность качества данных и управления основными данными неоспорима. Ведь обоснованные и взвешенные решения можно принять только на основании верных данных, использование недостоверных и некачественных данных может отрицательно сказаться на бизнесе, — дополняет он.»
Светлана Вронская, эксперт департамента аналитических решений ГК «Корус Консалтинг», подтвердив актуальность самостоятельной работы с BI (self-service) и дополненной аналитики (augmented analytics), выделила технологию интернета вещей (IoT). «Передача данных с датчиков с помощью IoT – актуальная задача. Не всегда возможно сначала передавать данные для обработки в централизованный хаб и лишь потом — в аналитическую систему. Например, в сложном производстве или при добыче полезных ископаемых. Данные приходится сразу «стримить» в BI и там же обрабатывать. Поэтому все вендоры будут встраивать функциональность для работы с данными от IoT-устройств/систем. Интернет вещей потребует новых навыков от сотрудников, которые работают с аналитикой. Неспособность заранее обучить их приведет к тому, что компании не смогут использовать данные с датчиков IoT и потеряют в эффективности, — дополняет она.
Андрей Харлак, технический директор ООО «Клевер Солюшнс» называет в числе тенденций, на которые имеет смысл обратить внимание: развитие технологий для управления метаданными, то есть данными о данных, популярность открытого кода для создания платформ сбора, хранения данных и инструменты no-code. К вероятности революционных изменений BI благодаря ИИ в ближайшее время эксперт относится скептически. Это произойдет лишь после того, как разработчики BI-платформ научатся органично встраивать ИИ в процесс принятия решений, то есть когда ИИ будет обнаруживать нечто, описывать, находить причины, предсказывать, предписывать, решать и, в конечном счете, действовать, считает эксперт. Сегодня все это уже есть в беспилотном автомобиле, но в аналитических системах пока отсутствует.
«На мой взгляд, сейчас ключевая проблема в работе с данными — это технологии и инструменты для повышения их качества. Решение этой задачи не успевает за быстрым ростом количества источников и объема информации. Качество данных сдерживает рост применения ИИ, которому нужно на чем-то обучаться. Даже самая хорошая модель обучения бесполезна, если на входе она получает данные с ошибками, — дополняет он.
Наиболее заметный тренд по оценке Алексея Артеменко, регионального директора Qlik Россия и СНГ, – переход к использованию SaaS-решений. Эксперт считает, что к 2022 году облака станут неотъемлемой частью для 90% инноваций на основе данных и аналитики. В среднесрочной перспективе в облака мигрируют критически важные системы, а вслед за ними – приложения. В дальнейшем SaaS будет обеспечивать незамедлительный доступ к новым технологиям — например, к дополненной аналитике. Второй и третий тренды — укрепление позиций BI-self-service, новый формат потребления визуализаций и историй на основании данных (data storytelling).
Российские BI-системы: все еще классика или уже self-service?
Российские BI-системы разнообразны по функционалу и реализациям. Но в целом пока еще только движутся в своем развитии от классических к системам самообслуживания (self-service) — таково мнение большинства наших экспертов. При этом четкого разграничения на «классику» и self-service на рынке нет. Представлена и такая точка зрения: даже продвинутые западные BI-системы, которые относятся к разряду self-service, требуют привлечения ИТ-специалистов для создания базиса самостоятельной работы бизнес-пользователей.
Российские self-service-решения по управлению данными на сегодняшний день только на стадии активного развития, считает Николай Бехтерев, Modus BI. «Тренд движения от классических BI-систем к self-service является одним из основных, когда на рынке существует нехватка ИТ-специалистов и продвинутых аналитиков со знанием Python/SQL/R. Конструкторы для визуализации данных есть у большинства российских BI-систем. Однако, low-code-инструменты для сбора и обработки данных (ETL/ELT), а также конструкторы моделей и наборов данных, есть не у всех отечественных BI, — дополняет он.
Роман Дзвинко, НПЦ "БизнесАвтоматика", констатирует, что российский рынок BI-систем достаточно разнообразен, на нем представлены как классические решения, так и системы самообслуживания, но тенденция на самообслуживание будет набирать обороты и со временем большинство вендоров станут предлагать именно self-service BI.
Юрий Колбасин, «Лига Цифровой Экономики», мягко отмечает, что многие производители российские BI-систем понимают, что self-service – неотъемлемая часть любой современной системы бизнес-аналитики и «стараются реализовать» это.
Алексей Выскребенцев, «Форсайт», считает, что self-service-решения пока можно «по пальцам пересчитать». Артем Гришковский, «Доверенная среда» (ГКС), высказывается жестче: большинство российских BI-решений можно смело отнести к классическим системам.
Алексей Петунин, SAP CIS, отмечает, что без ИТ-специалиста сегодня все еще не обойтись, поскольку под любым аналитическим отчетом находится источник данных — например, витрина в хранилище, и бизнес-пользователю не всегда под силу самостоятельно подготовить ее. «Как правило, даже при наличии self-service BI данные для самостоятельной работы пользователя в режиме визуального конструктора диаграмм изначально все равно готовит ИТ-специалист. Поэтому на российском рынке сейчас можно встретить либо вариант, когда ИТ-блок полностью готовит отчет, либо гибридную модель, когда ИТ-блок готовит источник, модель и семантику данных, а пользователь уже самостоятельно конструирует отчет, — дополняет он.
Границу между классикой и самообслуживанием определяют не только функциональные особенности BI-решений, но и организационно-ролевая структура команды внедрения проекта, — убежден Рустем Ибрагимов, заместитель генерального директора «БАРС Груп». И чем большее количество проектов реализуется при активном участии конечных пользователей, тем увереннее внедряемое решение можно отнести к self-service BI. Эксперт тоже делает акцент на гибридном подходе, разумном компромиссе между классикой и самообслуживанием (self-service). «Спрос на демократизацию инструментов анализа данных стал не просто трендом, но и существенным фактором при выборе BI-решения, — констатирует эксперт. — При этом на проектах продолжают часто встречаться нетиповые задачи, которые «из коробки» не закрываются и требуют участия интегратора. Такая специфика реализации проектов требует от вендоров гибридных продуктов, сочетающих в себе как простоту, так и гибкость. Аналогичная ситуация встречается и у наших коллег по рынку, поэтому думаю, что большинство российских BI-систем находится в состоянии здравого компромисса между классическими и самообслуживающимися системами аналитики.»
Андрей Харлак, «Клевер Солюшнс», констатирует, что сегодня самообслуживание (self-service) уже не является противоположностью традиционному BI, поскольку все современные западные BI-платформы позволяют работать с данными в режиме самообслуживания. Но самообслуживание требуется не всегда и не всем сотрудникам, это просто другой способ работы с данными.
Руководитель отдела продаж и развития компании «Нетрика Медицина» Андрей Дюков признает важность функционала самообслуживания, делая акцент на специфике сферы здравоохранения. «В сфере информатизации здравоохранения сложно сделать разделение на традиционные BI и системы самообслуживания, — говорит эксперт. — Самостоятельная работа специалиста на месте определенно важна, поскольку никакая компания не способна быстро реагировать на запросы госсектора здравоохранения, всегда идущие вчерашним днем. Организации, подведомственные региональному Минздраву, должны иметь достаточно гибкий инструмент для реализации задач без привлечения вендора.»
Светлана Вронская, «КОРУС Консалтинг», отмечает несколько «но» в работе бизнес-пользователей в режиме самообслуживания. «Многие пользователи просто не умеют обращаться с исходными данными, а возможности для обучения этим навыкам предоставили еще не все компании, — поясняет эксперт. — И еще один спорный момент, который надо учитывать при внедрении системы self-service BI: существует опасность того, что пользователи начнут создавать собственные аналитические приложения для решения своих тактических задач, а не действовать в рамках единой стратегии по работе с данными.»
К разряду классических Дмитрий Сысоев, директор департамента управленческого консалтинга и BI компании Норбит (группа «ЛАНИТ»), относит не только российские BI, но и продвинутые западные решения, поскольку даже в них зачастую не обойтись без серьезных архитекторов и разработчиков. Пользователи способны сами создавать формы, но и это возможно лишь на хорошем базисе, который должны создать специалисты высокого уровня.
Перспективы дополненной аналитики
Расширенная или дополненная аналитика (Augmented Business Intelligence, ABI) предполагает использование ИИ и машинного обучения, новый уровень взаимодействия пользователя и BI-системы, в том числе — обработку запросов на естественном языке. Сам термин введен Gartner относительно недавно. ABI — следующий шаг в развитии бизнес-аналитики или игра в термины? В чем преимущество в сравнении с классической BI? Это все еще будущее или уже настоящее? Вот вопросы, которые мы попытались прояснить у наших экспертов, которых весьма условно можно разделить на скептиков и оптимистов.
Артем Гришковский, компания «Доверенная среда» (ГКС), считает, что ABI — это синтезированный термин, чтобы определить новый тренд, а машинное обучение (ML) и искусственный интеллект (AI) — это всего лишь математические модели. И практически во всех промышленных BI-системах есть инструменты построения таких моделей. Они могут быть применимы для решения конкретной прикладной задачи заказчика, но упоминать о них в общем плане не имеет смысла.
Точку зрения коллеги поддерживает Алексей Выскребенцев, «Форсайт». «С нашей точки зрения, это не новый тренд. Это, скорее, новое маркетинговое название тренда, в котором объединено несколько существующих на рынке классов решений, — говорит он. — Что касается преимущества концепции ABI перед классической BI, то оно заключается в переходе от анализа исторических значений к трансформации бизнеса на основе данных.»
Несколько другой точки зрения в этом вопросе придерживается Юрий Колбасин, Лига Цифровой Экономики. Он уверен, что в эпоху больших данных именно ABI станут следующим шагом в развитии систем бизнес-анализа. «Проанализировать огромные массивы данных, которыми обладают крупные компании, является очень сложной задачей, — аргументирует свою точку зрения эксперт. — Для ее решения необходимы высококвалифицированные сотрудники. ABI с использованием ML/AI позволит упростить подготовку данных, поиск в них инсайта, поможет быстрее проверять гипотезы, а также находить отчеты по поставленным вопросам без привлечения специалиста (data scientist) на рутинные задачи.»
Алексей Петунин, SAP CIS, констатирует, что к расширенной аналитике можно отнести возможности по распознаванию речи, когда пользователь задает вопрос голосом и получает ответ в виде графиков, прогнозные модели, голосовые помощники, которые помогают строить автоматизированную отчетность. Большинство продуктов компании, отмечает эксперт, изначально содержат такой инструментарий.
Жизненную актуальность нового термина подтверждает и Александр Трифонов, руководитель направления аналитики департамента системных программных решений «Айтеко». Он свидетельствует о регулярных запросах на задачи с применением ИИ (AI) и машинного обучения (ML). И приводит пример: обращение нескольких отечественных банков в этом году с запросом на разработку решения с целью выявления первопричин и прогнозирования возможных проблем в ИТ-инфраструктуре. И даже приводит специальный термин для подобных задач: AIOps (Artificial Intelligence for IT Operations). «Отличительной особенностью таких решений является потоковая обработка данных из различных систем мониторинга и применение машинного обучения в режиме реального времени, что существенно повышает шанс проактивного реагирования на возможный простой бизнеса, — говорит эксперт. — На наш взгляд, именно работа в потоке и близкие к реальному времени результаты для принятия решений и являются главным преимуществом ABI перед традиционным BI.»
Согласен с коллегой и ведущими консалтинговыми компаниями в вопросе перспективности ABI Максим Озеров, директор проектов по аналитике в компании Navicon. Он считает дополненную аналитику одним из инструментов повышения грамотности и уровня культуры работы с данными. С помощью встроенных инструментов машинного обучения, обработки запросов на естественном языке все больше людей начинают ожидать от BI-систем не готовых отчетов-полотен и сложностей при их разработке, а интерактивности и демократичности. Он констатирует, что на сегодня функционал ABI появляется, в первую очередь, в западных облачных продуктах, которые имеют возможность «раскатывать» новые функции на большое количество пользователей одномоментно.
Светлана Вронская, «КОРУС Консалтинг», констатирует, что технология дополненной аналитики только начинает развиваться, но пока такой подход несет в себе риск утечки данных. Эксперт напоминает также, что сами исследователи Gartner пессимистично подсчитали: к 2022 году дополненная аналитика будет использоваться в полном объеме лишь 10% аналитиков. Это означает, что до широкого пользователя возможности ABI будут идти еще дольше.
Алексей Артеменко, Qlik Россия и СНГ, считает, что будущее за технологией ABI, поскольку это совершенно новый уровень взаимодействия с данными. Все новые разработки в BI-индустрии сейчас направлены на сокращение времени от получения данных до инсайта, напоминает он. Технологии дополненной аналитики помогают быстрее работать с данными. «Например, пользователь только загрузили данные из источника. Он еще не построил никаких визуализаций, но уже может пообщаться с BI-системой в чате или голосом, получить визуализацию нужных данных, автоматически сформированных с помощью ИИ, — дополняет эксперт.
Алексей Арустамов, Loginom Company, отмечает классический BI – это или «посмертный анализ», или попытка разглядеть закономерности в огромном наборе данных, что невероятно сложно без применения технологий искусственного интеллекта (AI) и машинного обучения (ML). «Основная цель – смотреть вперед, и тут без методов моделирования или прогнозирования никак. Что можно разглядеть в больших данных, когда речь идет о сотнях миллионов записей? Ничего, за исключением некоторых «вопиющих» выбросов или общих трендов. Всё будет агрегировано и усреднено, а самое интересное – это нюансы, нетривиальные закономерности.»
Очень лаконично и емко выразился о настоящем и будущем технологии ABI Андрей Дюков, «Нетрика Медицина»: «Это наше будущее, нужно помнить об этом и работать с этой мыслью.» Облачные BI-сервисы на российском рынке Итак, в мире большинство расходов компаний идет на облачное развертывание BI, как свидетельствует Gartner. На российском рынке облачные BI-сервисы представлены еще недостаточно и спрос на них невелик — так видят ситуацию наши эксперты. Этому мешают, во-первых, регуляторные барьеры, когда речь идет о глобальных облачных провайдерах. Во-вторых, российские заказчики, по оценке наших экспертов, все еще не доверяют облакам, предпочитают BI-системы на своей площадке. Вместе с тем многие эксперты видят, что спрос на облачные услуги растет, особенно – в сегменте СМБ, а некоторые даже констатируют наличие большого спроса на облачную BI-аналитику.
Алексей Выскребенцев, «Форсайт», констатирует, что в этом отношении российский рынок идет против западных трендов. Если говорить про анализ корпоративных метрик, то российские компании практически все стараются выбирать решения на своей площадке, что продиктовано нормативными ограничениями – как на уровне самих компаний, так и с точки зрения российского законодательства. «Сейчас наблюдается движение в сторону использования облачной инфраструктуры, но все выбирают защищенные ЦОД, находящиеся на территории РФ. А с точки зрения BI такой тренд, скорее всего, будет только в сегментах SOHO/SMB. Опять же, если предприятие среднего или малого бизнеса зрелое с точки зрения использования данных, то облачное решение они выбирать не будут. Самое известное решение на рынке – это Yandex DataLens, но и оно не может похвастаться широким инструментарием.»
Большой спрос на облачные платформы констатирует Алексей Петунин, SAP CIS. В силу действующих ограничений по линии использования облачной инфраструктуры за пределами России, компания предлагает российским клиентам подход, когда в облаке хранится только семантика отчёта, а продуктивные данные не покидают корпоративный ландшафт.
Спрос на облачные платформы на российском рынке растет, как отмечает Светлана Вронская, «КОРУС Консалтинг». Системы BI становятся популярны не только у крупного бизнеса, но и в сегменте СМБ, и этим предприятиям часто хочется избежать затратных вложений в дополнительную инфраструктуру и поддержку новой информационной системы. «На отечественном рынке представлено много решений по бизнес-анализу в облачной версии, так что заказчикам остается только выбрать систему, которая подойдет именно им, — дополняет она.
Оптимистичной видится ситуация с облачными BI-сервисами и Максиму Озерову, Navicon, который считает, что облачные платформы для бизнес-аналитики уже достаточно широко распространены на российском рынке. В частности, более половины всех новых BI-проектов компании стартуют именно в облаке. При этом зачастую компоненты решения «переезжают» постепенно: сначала визуализация и мобильная аналитика, затем аналитические модели и только потом непосредственно хранилища данных. «Мы не наблюдаем особого различия в этом отношении между российскими и глобальными компаниями – перенос BI в облако зависит скорее от приоритета CAPEX или OPEX-расходов, а также от степени открытости руководства, — добавляет он.
Рустем Ибрагимов, «БАРС Груп», констатирует, что тренд на облака продолжает набирать обороты, что особенно актуально для малого бизнеса с небольшими IT-бюджетами, где отсутствуют профильные специалисты в штате для администрирования решений на местах. При этом сохраняется определенный скептицизм к SaaS-модели со стороны среднего, крупного бизнеса и государственных заказчиков, что связано с недоверием в плане защиты хранящейся на облачной инфраструктуре информации. Вместе с тем эксперт отмечает, что по мере функционального развития BI-решений по модели SaaS и появления успешных кейсов работы с крупными заказчиками, рынок облачных платформ аналитики будет стабильно расти.
Источник: TAdviser
Вебинар