Этап №1 «Разработка прототипа аппаратно-программного комплекса интеллектуальной игровой среды (АПК). Проведение нейрофизиологических и технологических исследований АПК. Проведение UХ / UI исследований АПК. Дизайн материального пользовательского интерфейса АПК. Разработка клиентской части в виде игрового desktop пользовательского приложения на Unity, включая дизайн, верстку и игровые сценарии. Разработка серверной части АПК для хранения и обработки данных пользователей Разработка и обучение модели машинного обучения для игровой системы.»

Объект исследования или разработки: Аппаратно-программный комплекс с компьютерной поддержкой, машинным обучением и пользовательскими интерфейсами, направленными на игровое обучение математике. Цель работы: Разработка интеллектуальной игровой среды электронного обучения для детей младшего и среднего школьного возраста на основе интерактивных коммуникационных интернет-технологий, с применением материальных пользовательских интерфейсов. Методы проведенных работ: Методы технологического исследования: • Изучение сенсомоторного распознавания объектов, определение выраженности паттернов сенсомоторного взаимодействия с материальным пользовательским интерфейсом, классификация двигательных функций используя эти представления; • Изучение применения аудиального пользовательского интерфейса при взаимодействии с помощью материальных объектов интеракции; • Определение вычислительной многопользовательской нагрузки на сервер, создаваемой при выполнении задач анализа данных и создания моделей машинного обучения. • Методы нейрофизиологических исследований: • Метод регистрации и анализа электроэнцефалограммы в состояниях спокойного бодрствования и в ходе занятий для оценки функционального состояния ребенка. Позволяет оценить степень усталости, снижения уровня внимания или вовлеченности в деятельность в ходе игрового обучения; • Метод оценки спектральной мощности электроэнцефалограммы в различных частотных диапазонах. Позволяет оценить активацию моторных и сенсорных областей коры в ходе занятий и выполнении специальных упражнений, рассчитанных на развитие сенсомоторной интеграции; • Метод регистрации и анализа вызванных потенциалов мозга в ответ на внешние стимулы. Позволяет оценить, как общий уровень внимания и вовлеченности в деятельность, так и оценить изменения специфических компонентов вызванных потенциалов при решении математических задач после применения разрабатываемых технологий; Методы эргономических, юзабилити дизайн-исследований: • Метод моделирования пользователей. Визуализация потенциальных пользователей в деталях. Формирование фокус-групп пользователей по категориям, которые будут иметь решающее значение для финального решения (по возрасту, полу, уровню образования). Далее проработка конкретных пользовательских сценариев для каждой группы; • Метод итеративного исследования человеко-машинного игрового взаимодействия с АПК, его удобства и доступности. Контролируемое модераторами тестирований взаимодействие респондентов с АПК с целью выяснить степень соответствия педагогическим задачам спроектированных сценариев взаимодействия как с аппаратной частью, так и с графическим интерфейсом. Результаты работы (новизна): Развитие новых интерактивных, игровых и персонализированных методов «воплощенного обучения», посредством создания интеллектуальной игровой среды электронного обучения. Разработана компактная версия АПК — в виде ассистивной среды воплощенного игрового обучения математическому и пространственному мышлению детей и подростков, с трудностями в усвоения математики и арифметики (в том числе с детей с ОВЗ), с применением интерактивных коммуникационных интернет-технологий и материальных пользовательских интерфейсов.