Разработка размеченных наборов данных для обучения и тестирования алгоритмов. Разработка и техническая реализация серверной части и клиентской части прототипа системы распознавания транспорта и его маршрутного номера на мобильном устройстве в режиме реального времени. Техническая реализация клиент серверного взаимодействия.

Отчет 81 с., 69 рис., 4 таб., 1 приложение. Целью текущего этапа является проведение следующих работ: Разработка размеченных наборов данных для обучения и тестирования алгоритмов. Разработка и техническая реализация серверной части и клиентской части прототипа системы распознавания транспорта и его маршрутного номера на мобильном устройстве в режиме реального времени. Техническая реализация клиент серверного взаимодействия. В рамках работы проведен анализ существующих решений, проанализированы применения технологий глубокого обучения в разных областях, проведен сравнительный анализ архитектур глубокого обучения для детектирования объектов и текста и выбрана наиболее оптимальная модель нейронной сети для задачи распознавания самого автобуса и его номера. В качестве архитектуры нейронной сети для распознавания автобусов выбрана YoloV5, имеющая преимущества перед аналогами по скорости работы на различных устройствах. Данная сеть была дообучена на собственно собранном датасете дверей автобуса и показала высокую точность. Для детектирования номеров автобусов выбран ансамбль нейронных сетей CRAFT + MORAN, которые показали высокие оценки в скорости и точности. Данные сети были обучены на датасете Street View House Numbers, а также данный датасет был дополнен собственными данными, собранными в ходе работы. Кроме этого разработан алгоритм позиционирования человека по фотографии, разработана архитектура приложения и выбран шаблон проектирования. В результате проделанной работы, было разработан прототип приложения, который способен передавать данные на сервер, а так же их обрабатывать. Проведено его тестирование. Текущее приложение, совместимо с технологией talkback, что позволит незрячему человеку пользоваться им. В дальнейшем, необходимо оптимизировать процессы подключения и посылки данных пользователя, чтобы приложением было более удобно пользоваться. Для повышения точности распознавания текста планируется дообучение алгоритмов на базе собранных и размеченных данных из собственного датасета с автобусными номерами, которая будет детектировать табличку с номером автобуса. В связи с тем, что, современные автобусы оснащаются новыми цифровыми табло, которые, при наведении камеры имеют свойство моргать на изображениях. Для решения этой проблемы планируется производить настройку выдержки камеры смартфона. Все запланированные на первом этапе работы выполнены в рамках заданного срока. Поставленная на первом этапе цель полностью достигнута. Первый этап успешно завершён.