Масштаб современных задач уже превосходит возможности среднестатистического работника — справочники производственных систем могут содержать миллионы записей различной структуры и детализации. Данные поступают из множества источников, часто противоречат друг другу и требуют тщательной обработки, с которой традиционные методы уже не справляются. Для выполнения такой работы можно привлекать цифровых ИИ-помощников, на ранних этапах работы позволяющих предотвратить возможные проблемы с данными.
На первый взгляд, управление данными кажется простым, однако практика свидетельствует об ином — создание новой записи или описание объекта часто выливается в многоступенчатый процесс: формирование заявки, верификация и внесение в систему. Многократное повторение этих операций нередко чревато ошибками из-за человеческого фактора, а когда объемы достигают десятков миллионов записей или информация начинает обновляться слишком часто, ручная обработка становится вообще невозможной, особенно если над нормализацией трудятся несколько специалистов, — вероятность ошибок растет в геометрической прогрессии. Для выполнения такой работы можно привлекать «умных» цифровых помощников, чтобы предотвратить проблемы уже на самых ранних этапах создания базы.
Некорректные данные в справочниках могут создать сложности по всей вертикали бизнес-процессов, причем влияние ошибок усиливается на каждой следующей ступени управления. На этапе АСУ ТП последствия ограничиваются отдельным цехом или участком — это локальная проблема, однако те же неточности в аналитических системах верхнего уровня уже способны исказить реальную картину состояния бизнеса и нарушить реализацию стратегии развития всего холдинга.
Даже незначительные расхождения могут разрушить целостность информации. Например, для человека «Т1» и «T1» зрительно одна и та же компания, но тут могут быть два разных значения (кириллица и латиница). Из-за такой, казалось бы, мелочи рейтинг компании в отчетах может разделиться на две части, что приведет к неверным управленческим решениям.
Преобразование данных в целевой формат (нормализация) позволяет обеспечить их соответствие требованиям заказчика к качеству, структуре и детализации. Сегодня для нормализации активно применяются машинное обучение, системы обработки естественного языка и технологии больших данных, позволяющие группировать, проверять и ранжировать данные. Одновременно эволюционирует и роль человека, который вместо ручной обработки получает возможность концентрироваться на методологии нормализации и формировании оптимальной комбинации инструментов для решения конкретной задачи. При этом не все проблемы обязательно требуют применения передовых алгоритмов — многие стандартные ситуации эффективно решаются и базовыми методами. Однако важно соблюдать два фундаментальных принципа:
Преобразование данных в целевой формат включает четыре основных этапа: сбор исходных данных, разработка нормативно-методической документации (НМД), непосредственно нормализация и передача данных заказчику.
НМД — это документ, фиксирующий бизнес-требования к данным. Он отвечает на ключевые вопросы: нужно ли создавать запись в информационной системе, какой требуется уровень детализации (например, описывать отдельное колесо или весь автомобиль), какие поля заполнять и как классифицировать объекты.
Основу архитектуры нормализации может составлять фреймворк Apache Spark, позволяющий выполнять вычисления в оперативной памяти, что значительно ускоряет работу с большими массивами данных. Фреймворк через свой API предоставляет широкий набор инструментов, включая такие модули, как Spark SQL — работа со структурированными данными, Spark Streaming — обработка потоков информации и MLLib — реализации алгоритмов машинного обучения.
Однако полностью автоматизировать нормализацию данных без риска потери отраслевой специфики нельзя — цифровой помощник на базе ИИ должен не заменять эксперта, а помогать ему. Интеллектуальные системы, использующие модели машинного обучения, требуют постоянной настройки и корректировки. Например, имеется разница в понимании словосочетания «хорошая погода». Алгоритм, обученный на выборке из Петербурга, определит хорошую погоду как солнечную, а для модели с данными из стран Африки хорошая погода — это дождь. Аналогичная ситуация складывается и для специализированных терминов. Слово «елка» для большинства людей — «новогоднее дерево», для кого-то — «известная личность», а для нефтяников — «елка фонтанная», комплексное устройство на устье скважины.
Без участия эксперта ИИ-система не всегда сможет интерпретировать термины в специфическом отраслевом контексте. Опыт показывает, что лучших результатов можно достичь, когда человек определяет правила и выстраивает процесс, а искусственный интеллект лишь выполняет заданные инструкции.
Переход от классических подходов к решениям на базе искусственного интеллекта становится для современного производства необходимостью, причем не только для поддержки обработки больших массивов данных, но и для минимизации рисков, связанных с человеческим фактором.
Комбинация экспертизы специалистов и возможностей технологий ИИ формирует новую парадигму работы с производственными данными — человек задает методологию и контролирует итоговые показатели, а системы ИИ берут на себя рутинную обработку и анализ. Такой симбиоз позволяет получить надежные и понятные результаты благодаря интеграции отраслевого опыта экспертов с вычислительной мощью алгоритмов.