Итак, мы с вами на глобальном растущем рынке. Один сегмент искусственного интеллекта по прогнозу Gartner в 2022 году достигнет 62,5 млрд долларов США, увеличившись на 21% по сравнению с прошлым годом. Тратиться эти деньги будут на управление знаниями, виртуальных ассистентов, беспилотный транспорт, цифровую рабочую среду и данные, собираемые в формате краудсорсинга. При этом продолжает расти доля Китая на рынке продуктов и услуг на базе искусственного интеллекта. Что связано с тем, что политика Китая в отношении внедрения ИИ заключается в организации минимального количества времени от идеи до запуска продукта и поддержании высококонкурентной экосистемы.

Но это всё то, что пишут аналитики и журналисты. А вот я вижу более конкретные вещи, про которые мы сейчас поговорим.

Кто нас почти покинул? 

Я сама удивилась, но так как я каждый день читаю новости про рынок аналитики данных, то вижу очевидный тренд: с конца лета критически уменьшилось количество новостей по темам data science и машинное обучение. Если раньше каждое утро в ленте тематических новостей все пестрело новостями о новых проектах, где использовались ML и data science, то сейчас как будто такие проекты никто не делает. Я могу связать это, наверно, с тем, что в теме машинного обучения народ подразобрался и понял, что оно является составной частью ИИ, а AI звучит намного моднее. Поэтому во многих материалах вместо букв ML смело стали писать искусственный интеллект.

Что касается data science, то с этим понятием тоже разобрались и сочли его специфически математическим, не имеющим к бизнесу и бизнес-пользователям близкого отношения. Поэтому data science потихоньку уходит в область одной из полезных, но довольно простых профессий. 

Что касается новых понятий, то я совершенно точно вижу, как в России в 2021 году «выстрелили» три вещи, которыми еще год назад практически не занимались.

Data Fabric

Data Fabric, которую по-прежнему неправильно переводят как «фабрику данных», никакого отношения к заводам и фабрикам не имеет. Это буквально «ткань данных», которая означает единую архитектуру управления информацией на уровне всей организации. Причем к работе с данными обеспечен полный и гибкий доступ.

Data Fabric помогает информацию легче искать, обрабатывать, структурировать и интегрировать с другими информационными системами. В ней на каждом шаге обработки данных используется машинное обучение - от анализа получаемой информации до оптимизации алгоритмов их обработки. Все пользователи и все источники данных связаны сквозной интеграцией. И используется микро-сервисная архитектура, работающая в формате DataOps. Быстро организуется реагирование на любые изменения в данных, повышается уровень прогнозирования, оптимизируются процессы хранения, обработки и обслуживания ресурсов.

То есть ткань данных – это система на уровне всей компании, где всё подчиненно данным и выводам на их основе. В России главным апологетом этой концепции является группа ВТБ, которая второй год проводит конференции по теме Data Fabric и в этом году даже организовала конкурс для лучших проектов по теме.

Data Governance или управление данными

То, что лишь некоторые компании делали на уровне маленьких проектов по созданию глоссария, системы качества данных или каталога данных, не превратилось в огромный поток проектов по этой теме, но появился устойчивый интерес к теме вообще.

Параллельно увеличился интерес к разнице между двумя терминами - data governance и data management. В одном из подкастов мы уже обсуждали, что главным отличием между двумя понятиями является то, что Data Governance – это стратегия, а Data Management – тактика. С помощью Data Governance компания использует конкретные технологии для того, чтобы решить основные вопросы, которые ставит перед ним план по управлению данными.

Компаниям Data Governance нужна для того, чтобы гарантировано получить экономию времени при формировании отчётов и аналитических моделей. Потому что по статистике больше 50% подготовки отчёта занимает поиск данных и анализ, что это именно те данные, которые нужны и им можно верить. Далее - качество принимаемых решений и экономию ресурсов (например, на хранение дублей в данных, создания дублирующих витрин, исправление ошибок уже по факту).

При подготовке к внедрению Data Governance важно учесть три ключевые составляющие – это организационная структура, процессы и ИТ-инструменты.

В оргструктуре необходимо выделить конкретные роли и функции на задачи по управлению данными. Процессы необходимо привести к единому стандартному виду: методология, регламенты, политики, шаблоны, критерии качества данных, управление инцидентами, определение показателей эффективности. В части технологических инструментов надо будет внедрить решения для определения проблем с данными: инструменты для профилирования и очистки данных и для систематизации информации по данным: бизнес-глоссарии, каталог данных, Data Lineage. А также доработать все системы – источники данных для валидации информации при вводе и синхронизации по составу атрибутов между системами. И, конечно, в Data Governance важную роль играют решения по обеспечению качеством данных: мониторинг качества и автоматическое решение инцидентов в этой области.

Вопросы этики

Ни о чем не писали так много во второй половине прошлого года, как об этических вопросах работы ИИ. Почти в каждой второй статье в СМИ и во всех аналитических отчета звучит озабоченность по поводу наборов данных, используемых для обучения моделей ИИ, предвзятостей в контрольных показателях оценки моделей и соответствии новых ИИ-решений концепции ESG.

Причем это верно не только для российского рынка. Обеспокоенность тем, какую роль может занять AI при решении значимых вопросов – например, при вынесении судебных решений, - выказывают во всех странах. Google, Microsoft, Accenture и другие крупные корпорации разработали и подписали правила Responsible AI (Ответственного искусственного интеллекта). Однако недоверие к чистым намерениям коммерческих компаний приводит к усилению контроля и внимания к вопросу этического использования ИИ со сторону регуляторов. В прошлом году администрация Байден создана национальное подразделение по исследованию искусственного интеллекта, которое в том числе будет мониторить соблюдение этических норм в области AI.

Наша страна достаточно быстро догнала эти тенденции. В октябре 2021 года российский бизнес совместно с правительством разработал и принял кодекс этики в сфере искусственного интеллекта. В число компаний, подписавших документ, вошли «Яндекс», VK (ex-Mail.ru), «Сбер», МТС, «Ростелеком», InfoWatch и Циан.

Новый год начался с предписания Совета Федерации ответственным министерствам, которые должны разработать и утвердить дорожную карту по этическом подходу работы AI до конца 2022 года. В нее должны войти инициативы, которые обеспечат прозрачность работы ИИ и законодательно закрепят порядок обжалования решений ИИ. Предлагается также обязательно уведомлять граждан при решении «жизненно важных вопросов», в том числе при получении госуслуг, о том, что они взаимодействуют с ИИ.