Модели машинного обучения для обработки данных топливно-энергетического комплекса (промежуточный, этап 1)

Разработаны и исследованы новые композиционные модели предиктивной аналитики для обеспечения надежности сложных промышленных систем при ограниченных и цензурированных данных в рамках анализа выживаемости. Первая модель основана на композиции оценок Берана с использованием трехуровневого механизма внимания, где на первом уровне реализуется сама оценка Берана, как слабого регрессора, на втором уровне определяются прототипы подмножеств обучающей выборки и третьем уровне (глобальном) при помощи механизма внимания комбинируются слабые модели (оценки Берана). В модели используются модель засорения Хьюбера для ее приведения к простой квадратичной задаче оптимизации. Численные эксперименты продемонстрировали эффективность данной модели по сравнению с существующими в ситуациях, когда обучающие данные имеют сложную структуру. Вторая модель также основана на композиции слабых моделей с использованием оценок Берана. Однако в качестве агрегации предсказаний каждой из слабых моделей используется механизм самовнимания, что обеспечиваем сглаживание выбросов функций выживаемости, полученных на выходе каждой слабой модели. В данной модели также используется модель засорения Хьюбера для приведения задачи обучения модели к простой задаче оптимизации. В проекте разработаны и исследованы новые методы интерпретации предсказаний моделей предиктивной аналитики, объясняющие, какие характеристики оборудования или элементы ТЭК повлияли на решение моделей выживаемости. Особенность предлагаемых методов, заключается в том, что они основаны на использовании модифицированной оценки Берана, которая предложена также в этом проекте. Предложенная модификация оценки Берана заключается во введении весов расстояний между признаками анализируемого объекта и другими объектами обучающей выборки. Результаты исследований с использованием предлагаемого метода показали высокую точность интерпретации и объяснения функции выживаемости модели «черного ящика» для сложных структур обучающих данных, что свойственно элементам инфраструктуры ТЭК. Такая эффективность модели была достигнута благодаря использованию ядерной оценки Берана, которая позволяет учитывать расстояния между векторами признаков объектов. Использование ядерных оценок Берана в предлагаемых моделях анализа выживаемости и методах интерпретации их предсказаний позволяет анализировать элементы инфраструктуры ТЭК не «среднем», а с учетом текущих характеристик конкретного оборудования. Разработано программное обеспечение (с открытым исходных кодом), реализующее предлагаемые композиционные модели предиктивной аналитики для обеспечения надежности сложных промышленных систем при ограниченных и цензурированных данных. Данное программное обеспечение зарегистрировано как результат интеллектуальной деятельности. В проекте также разработан универсальный подход категориального анализа данных типа времени жизни, основанный на сравнениях. Разработан метод поиска и проверки достоверности обнаруженных слабых стохастических порядков с определенным уровнем надежности. Модель позволяет строить на базе значений ковариат предсказуемые случайные регрессоры, что открывает новые возможности для построения моделей, допускающих практическую интерпретацию. Использование оценок типа Берана в общем случае связано с проверкой сложных условий сходимости. Разработаны и исследованы новые модели обнаружения «аномалий» или «аномального» поведения оборудования элементов инфраструктуры ТЭК. Первая группа моделей основана на использовании изоляционного леса (Isolation Forest) со специальным механизмом внимания и обучаемой скоринговой функцией. Основная идея заключается в том, что в известном подходе изоляционного леса агрегация максимальной глубины ветви дерева выполняется не обычным усреднением, а использованием механизма внимания с множеством обучаемых параметров, что позволяет создать достаточно гибкий класс моделей, размер которого определяется различными реализациями весов внимания или скоринговыми функциями. В проекте в качестве скоринговой функции рассматривались модель засорения Хьюбера, скалярное произведение векторов признаков с множеством обучаемых параметров и аддитивное внимание. Результаты экспериментов продемонстрировали высокую эффективность и адаптивность предлагаемых моделей, что достигается большим количеством обучаемых параметров. Вторая группа моделей основана на частичном привлечении учителя к обнаружению аномалий, что позволяет реализовать динамическое обнаружение и предсказание «аномалии» в процессе непрерывного по времени получения разнородных данных с датчиков, определяющих состояние параметров оборудования. Основная идея заключается в комбинировании случайного леса с нейронной сетью, реализующей глобальный механизм внимания. Такая структура позволила фактически реализовать оригинальный автокодировщик и использовать его для обнаружения аномалий, когда его вход (вход деревьев случайного леса) не совпадает с выходом нейронной сети. В проекте данная структура названа нейронным лесом внимания, где нейронная сеть играет роль механизма внимания для комбинирования оценок на выходе случайного леса. Особенностью этой структуры является сквозное обучение исключительно на выборках нормальных данных с минимизацией ошибок реконструкции. Обучение нейронной сети позволяет сделать модели обнаружения аномалий достаточно гибкими с большим количеством обучаемых параметров. В проекте также предлагается модификация представленной модели нейронного леса с использованием механизма многомерного внимания, который проецирует входные данные в несколько подпространств и параллельно осуществляет использование отдельных слоев внимания, что реализует двойную композицию: случайный лес и многомерный механизм внимания. Разработано программное обеспечение, реализующее предлагаемые модели обнаружения «аномалий» или «аномального» поведения. Разработанное программное обеспечение с открытым исходным кодом размещено в публично доступном репозитории. В проекте предложен градиентный алгоритм построения деревьев решений с использованием произвольных дважды дифференцируемых функций потерь для обработки массивов числовых данных. Данный алгоритм применён к различным задачам предиктивной аналитики, включая классификацию, регрессию. Предложены подходы для применения данного алгоритма к задачам выживаемости, а также для объединения деревьев решений с нейронными сетями и осуществления совместного обучения. Разработана программная реализация предложенных алгоритмов и подходов, которая позволяет обучать деревья решений как с предложенными, так и с новыми функциями потерь. Численные эксперименты продемонстрировали эффективность нового алгоритма построения деревьев решений по сравнению с существующими алгоритмами для всех рассмотренных видов задач. В том числе проведено исследование приложения предложенной комбинации нейронной сети и деревьев решения к задаче анализа текстовой информации. Также предложены новые модели выживаемости на основе модели градиентного бустинга и деревьев решений. Основная новая идея этих моделей заключается в том, чтобы рассматривать анализ выживаемости как задачу классификации, определяя на каждом интервале времен появления событий распределение вероятностей. Это позволяет существенно расширить класс моделей выживаемости и использовать такие эффективные методы, как градиентный бустинг. Первая модель является непараметрической, что означает, что распределение вероятностей в рамках каждого интервала времени между событиями является равномерным и не зависит от каких-либо параметров, а зависит только от границ интервала. Вторая предлагаемая модель является параметрической и предполагает, что распределение времени до события в пределах интервалов является распределением Вейбулла с параметрами формы и масштаба. Особенность предлагаемой модели заключается в том, что эти параметры распределения Вейбулла являются обучаемыми в рамках алгоритма обучения градиентного бустинга. Полученные модели показали свою эффективность, и идея обучения параметров распределения позволяет расширить класс моделей выживаемости, предполагая использование других распределений вероятностей с их параметрами.