Изучение систем адаптивного контроля на основе нейронных сетей с предиктивной коррекцией клеточной активности

Задачи обучения с подкреплением являются одной из наиболее динамично развивающихся областей машинного обучения. Однако, современные алгоритмы машинного обучения предполагают детерминированное задание всех критериев поиска оптимальной политики поведения. Это не позволяет применять обучение с подкреплением ко многим задачам в реальном мире. Системы с эндогенными (intrinsic) мотивациями помогут преодолеть разрыв между обучением теоретическим задачам и их приложениями, предполагающими непрерывную адаптацию. В тоже время, биологические нейронные сети обладают не только свойствами синаптической пластичности, но также, свойством клеточного гомеостаза нейронов. Для поддержания гомеостаза каждая клетка имеет аппарат предиктивной регуляции собственной активности и состава, в том числе, ионного. Этот аппарат представлен генетическими регуляционными сетями. Функционирование таких сетей внутри клетки аналогично резервуарным вычислениям (reservoir computing) и может быть симулировано с использованием данного подхода. Детальное моделирование внутриклеточных аспектов функционирования нейронов является актуальной задачей построения адаптивных систем искусственного интеллекта.В рамках заявленного проекта будет создана модель нейрона, включающая в себя свойство клеточного гомеостаза и внутриклеточную предсказательную систему на основе резервуарных вычислений. Из таких нейронов будет сформирована сеть и апробирована в задачах управления автономным адаптивным агентом. Будет проведен сравнительный анализ предложенного подхода с другими распространенными алгоритмами обучения с подкреплением. Данное исследование впервые сочетает биоподобный подход к внутриклеточным вычислениям с сетевой динамикой и задачами контроля обучения с подкреплением и опирается на предыдущие работы авторов в области гомеостатических нейронных сетей. В результате работ по проекту будут получены алгоритмы с высокой степенью самоорганизации, толерантности к шуму и адаптивностью по отношению к изменениям в объекте контроля и среде его функционирования.