Машинное обучение и Большие данные

Большие данные (Big Data) - совокупность непрерывно увеличивающихся объемов информации одного контекста, но разных форматов представления, а также методов и средств для эффективной и быстрой обработки. Главной характеристикой Big Data является степень их структурированности и вариантов представления.

Говоря просто, это поток информации, которая требуется компании, но поток неструктурированный. Он может состоять из текстовых данных, изображений или видеофайлов, аудиофайлов и других форматов. Именно поэтому для обработки таких данных требуются новые технологии.

Большие данные прочно вошли в нашу жизнь. Эти технологии к 2022 году займут рынок объемом 274 миллиарда долларов США. И, естественно, они постоянно изменяются и развиваются.

Машинное обучение (machine learning, ML) – один из видов технологии искусственного интеллекта. Оно используется во всех отраслях экономики.

Среди наиболее очевидных примеров использования можно назвать:

• Телекоммуникации, где ML нужен для поддержания работы инфраструктуры, предотвращения злоупотреблений, работы с клиентами.

• Банки, где технология нужна для сканирования лиц при проведении транзакций, анализа мимики при выдаче кредитов, в работе чатботов, виртуальных ассистентов, а также роботов, работающих в отделениях банков.

• Розничную торговля, для которой машинное обучение незаменимо в вопросах прогнозирования спроса и создания персонализированных предложений покупателям.

Технологии работы с Большими данными постоянно развиваются. Сейчас на рынке можно выделить несколько основных тенденций этого развития:

• Data-as-a-Service (DaaS), данные как услуга. Рынок данных как услуги растет на 10% в год и должен достичь 46,5 млрд долларов США к 2025 году.

• Data-as-a-Service - неоценимый инструмент для компаний, которым требуется информация, но у которых нет возможности держать в штате аналитиков.

• Периферийные вычисления (edge computing). Появление новых бизнес-моделей, а также развитие искусственного интеллекта и 5G должны увеличить количество проектов, в которых используются периферийные вычисления.

• Облака и гибридные облака. Недавние исследования показали, что 45% компаний хранят, как минимум, часть своих данных в облаке. Более того, считается, что сервисы, предлагаемые в публичных облаках, сгенерят 90% нового и инновационного в данных и аналитике.

• xOps - модель работы, при которой можно быстрее и точнее получить результат за счет использования лучших практик и повторяемых шаблонов.

• Умный, ответственный и масштабируемый искусственный интеллект, который позволит создавать более совершенные самообучающиеся алгоритмы, системы, данные в которых будет легко интерпретировать и быстро использовать.

В самое ближайшее время эксперты прогнозируют интерес к следующим направлениям работы с ИИ: гиперавтоматизация, ИИ на рабочем месте, ИИ в информационной безопасности и этические принципы ИИ.