Светлана Вронская, эксперт департамента аналитических решений ГК «КОРУС Консалтинг», делится в подкасте TAdviser последними тенденциями в области работы с Большими данными. 

Большие данные так прочно вошли в нашу жизнь, что никому не нужно больше объяснять, что это такое. Эти технологии к 2022 году займут рынок объемом 274 миллиарда долларов США. И, естественно, они постоянно изменяются и развиваются.

Давайте сегодня поговорим о том, что нас ждет в будущем Больших данных. Честно признаюсь, я прочитала много самых различных аналитических материалов, статей, прогнозов и предсказаний и вижу, что несмотря на определенные различия, есть несколько вещей, которые точно можно назвать трендами в области Big Data. Итак, их пять.

Первый - Data-as-a-Service (DaaS), данные как услуга. Аналитики говорят, что рынок данных как услуги растет по 10% в год и должен вырасти до 46,5 млрд долларов к 2025 году. Да вы и сами пользователи этого сервиса последние полтора года. Вспомните, как вы рассматриваете графики прироста заболевших и вакцинировавшихся от COVID-19 на веб-сайтах вроде Яндекса? Это и есть сервис, когда вам предоставляются данные для принятия решения.

Data-as-a-Service и особенно Big Data-as-a-Service (а такое, конечно, тоже есть) – это неоценимый инструмент для компаний, которым требуется информация, но у которых нет возможности держать в штате аналитиков. Все, что нужно таким компаниям – данные от единой платформы, под которой работают хранилище данных, инфраструктура и программные решения по визуализации.

Вторая тенденция в области Больших данных - периферийные вычисления (edge computing). 2021 год вообще считается поворотным годом для этой области технологий. Появление новых бизнес-моделей, а также развитие искусственного интеллекта и 5G должны увеличить количество проектов, в которых используются периферийные вычисления.

Смысл периферийных вычислений – в том, чтобы перенести вычисления на локальные сервера или устройства пользователей. Если учесть, что в мире сейчас уже около 30 млрд устройств, которые находятся в той или иной сети (а говорят, что их скоро будет 50), то более, чем актуален вопрос о том, где хранить и обрабатывать данные. Стоит ли их посылать в далекое облако или можно хранить их на локальном устройстве? Именно этим и занимаются периферийные вычисления.

Идем дальше. Облака и гибридные облака. Про облака и данные, наверно, говорить не нужно. Понятно, что доступ к данным должен быть из любой точки земного шара. Точка. Недавние исследования показали, что 45% компаний хранят, как минимум, часть своих данных в облаке. Более того, считается, что сервисы, предлагаемые в публичных облаках, сгенерят 90% нового и инновационного в данных и аналитике.

Искусственный интеллект и Интернет Вещей позволяют быстрее собирать данных и для любой компании, которая умеет этим пользоваться, это большое благо. Приложениям, которые связаны с Интернетом Вещей, потребуются облачные решения для управления большими объемами данных, которые все растут и растут. Hadoop в облаке – уже реальность для многих компаний, а остальным следует брать с них пример.

При этом, в свете растущего количества кибератак и проблем с утечкой данных и вообще с информационной безопасностью в облаках, многие компании выбирают вариант гибридного облака. Эта модель позволяет использовать одно или несколько публичных облаков и синхронизировать их с одним или несколькими частными облаками. Это дает возможность создать более сложную, но гибкую среду работы. Таким образом, мы имеем возможность оперировать большим количеством данных, в защищенной среде, и не платить при этом за инфраструктуру. Наверняка же и вы знаете компании, которые часть информации держат на локальном облаке, а часть в Microsoft Azure, Amazon Web Services, или Google Cloud.

Следующий тренд и самый модный термин последнего времени – XOps. Цель любого Ops – данных, машинного обучения, модели, платформы, – это быстрее и точнее получить результат за счет использования лучших практик DevOps. То есть добиться стабильности и возможности повторного использования чего-то с помощью копирования технологии, процессов и автоматизации. Эти технологии позволят масштабировать прототипы и создавать гибкие модели работы. То есть попросту работать лучше и быстрее. В общем, хорошо нам знакомый agile, но применимый к работе с данными.

Последняя тенденция, которую выделяют все, кто следит за рынком Больших данных, или работает нам нем – это более умный, ответственный и масштабируемый искусственный интеллект.

AI нового уровня позволит создавать более совершенные самообучающиеся алгоритмы, системы, данные в которых будет легко интерпретировать и быстро использовать. Компании потребуют большей отдачи от решений на базе искусственного интеллекта и главное, им придется придумать, как масштабировать эту технологию.

Важный вопрос теперь еще состоит в доверии историческим данным, на которые до пандемии опирались многие компании. Однако теперь после того, как коронавирус так много поменял в нашей бизнес-жизни, исторические данные особо не релевантны. Это означает, что искусственный интеллект должен быть в состоянии работать с меньшим объемом данных за счет технологий «Меньших данных» и адаптивного машинного обучения. Эти ИИ-системы также должны обеспечивать защиту частных данных, соблюдать законодательства и минимизировать пристрастное отношение, то есть выдерживать все правила этики.

Эти пять тенденций дополняются еще тремя тезисами, которые кажутся мне логичными, хотя не все на рынке с ними согласны.

Первый дополнительный тренд – это составные данные и аналитика. Их цель - использовать компоненты из различных инструментов работы с данными, аналитикой и искусственным интеллектом для того, чтобы совершенствовать пользовательский опыт, который позволит руководителям компании видеть полноценную картину происходящего и на основании этого принимать решения.

Согласно аналитикам Gartner большинство крупных организаций используют не одну систему аналитики, а несколько. Создание новых приложений на базе существующих программных решений увеличивает производительность работы, заставляет сотрудников плотнее работать друг с другом и показывает агрегированные данные в различных аспектах.

Расширенная аналитика – еще одна тенденция, которая по мнению некоторых должна стать драйвером Больших данных. Она позволяет принимать решения быстрее, так как более простой становится архитектура данных и автоматизируются задачи по управлению данными. Это означает, что в платформы по обработке Больших данных приходят искусственный интеллект, машинное обучение и обработка естественного языка. Популярность этого направления уже подтверждается тем, что рынок только расширенной аналитики прогнозируется на уровне 18 миллиардов долларов к 2023 году.

Последнее, что я упомяну в перечне тенденций, это квантовые вычисления. Использовать вычисления в режиме реального времени трудно, когда у вас на руках огромный объем данных. Квантовые компьютеры же рассчитывают вероятность наступления какого-то события или состояния до того, как оно произойдет. За счет такого моделирования они могут справиться со сложностью и неопределенностью систем, которые будут перегружать классические компьютеры. Машинное обучение на классических компьютерах революционным образом меняет многое. Но обучение моделей ML связано с высокими затратами на вычисления, что ограничивает масштабы и развитие этой области. А вот квантовое программное обеспечение позволяет ускорить машинное обучение и таким образом быстрее работать с Большими данными.

Среди тенденций в работе с Большими данными упоминают еще многое. И такие хитрые вещи, как ткань данных (data fabric), архитектуру работы с составными данными, о которых мы говорили сегодня. И переход к малым данным (когда приходится обрабатывать то, что есть, и придумывать способы точного моделирования остального). И работу Больших данных в решениях Интернета вещей, и большее понимание пользователей в том, что они делают в области управления данными, и dark data, темные данные, то есть информацию, которую организация почему-то не использует, а там-то самое интересное и лежит.

Но я в завершении расскажу только про один новый термин, который стоит запомнить - decision intelligence, аналитика решений. Названная так по аналогии с business intelligence, бизнес-аналитикой, аналитика решений – это направление, которое включает в себя широкий спектр инструментов принятия решения, в котором и обычная аналитика, и искусственный интеллект, и сложные адаптивные системные приложения. Причем этот набор помогает не только принять конкретное решение, но и понимать следствие этого решения, группировать их по бизнес-процессам и даже создавать сети, в которых, как костяшки домино, будут одно за другим приниматься решения. Практически без вашего ведома.

Хотим мы этого или нет – поговорим в другой раз. Пока изучайте тренды, наслаждайтесь данными вокруг вас.

Источник: TAdviser