На митапе Data Halloween в Санкт-Петербурге ведущий дата-инженер компании «ДАР» Павел Хлопотин рассказал об опыте «ДАР» в применении Больших данных на пищевом производстве и показал, как аналитика в реальном времени помогает бизнесу управлять себестоимостью и качеством продукции.
В кейсе, которым поделился Павел, у компании не было прозрачного мониторинга расходования сырья и прослеживаемости движения сырья и полуфабрикатов по технологическим процессам. Анализ показателей был возможен только в конечных точках, без понимания того, что происходило на промежуточных этапах. Малейшие изменения в технологическом процессе или точности контрольно-измерительных приборов мгновенно отражались на качестве и себестоимости продукта. Это приводило к конфликтам между подразделениями и постоянным спорам о том, на каком этапе возникает перерасход сырья.
Чтобы решить эти задачи команда «ДАР» реализовала решение, которое обеспечивает онлайн‑мониторинг технологических процессов и полную прослеживаемость материалов. В режиме реального времени данные с датчиков на производственных линиях собираются и сохраняются, визуализируются и накладываются друг на друга, что позволяет анализировать как текущие процессы, так и их историю из любой точки мира. Для достижения полной картины были совмещены стриминговые данные с производства, потоки из ERP-системы и исторические данные. На этой основе предприятие получило точную статистику по фактическому расходу сырья и полуфабрикатов на каждую партию готовой продукции.
Экспертам «ДАР» удалось преодолеть ряд серьёзных технологических вызовов. Был настроен CDC для более чем 300 таблиц с миллионами ежедневно обновляемых строк, реализована потоковая аналитика на смешанных данных, включающих стриминг и батчевые загрузки, а также организована «дистилляция» данных в Delta Table с сохранением полной истории изменений и возможностью пересчёта.
Остались вопросы? Пишите на data@korusconsulting.ru
И подписывайтесь на наш телеграм-канал про аналитику и данные Analytics
Now
