К Byndyusoft обратились с запросом автоматизации оценки упражнений. Для этого необходимо было контролировать технику выполнения упражнения ребёнком и в режиме реального времени отображать результат в интерфейсе тестирующего тренера. Важно было ошибаться не более чем на 1 см для прыжков и гибкости, 10 градусов для пируэта, одного повторения для пресса и отжиманий.

Из-за необходимости устраивать выездные тестирования требовалась портативная система, помещающаяся в один переносной кейс. При этом подготовка системы к работе одним человеком должна занимать не более часа.

Положение ребёнка на тестировочной площадке отслеживается компьютерным зрением на базе нескольких видеокамер и камеры глубины. Для фиксации результата используются три веб-камеры, направленные в разные точки площадки. Каждая камера снимает свою часть площадки, где выполняются определённые упражнения.

В каждом центре при монтаже оборудования производится калибровка камер и системы для переноса реальной тестировочной площадки в виртуальную 3D-модель. Калибровка состоит в определении физических границ площадки, задании зон выполнения упражнений и привязке изображения к физическим размерам объектов.

По данным с камеры глубины система определяет начало и окончание выполнения упражнения, находит и выдаёт кадр фотофиниша с нужной веб-камеры. О каждом нарушении техники выполнения упражнения оператору сообщается в режиме реального времени.

Ребёнок на площадке отслеживается через связку MobileNet-SSD модель детекции человека и HRNetPose модели скелетизации. Обработка фотофиниша — через сегментационные UNet-like модели разных частей тела. Для пируэта дополнительно обучена HRNetPose модель скелетизации ступней. Логика распознавания движений и контроля выполнения упражнений построена на расчёте углов различных частей скелета.

Реализована оценка упражнений:

1. Прыжки в длину и высоту.
2. Сгибание и разгибание рук в упоре лёжа.
3. Подъём туловища лёжа на спине.
4. Наклоны вперёд из положения стоя на скамье.
5. Две пробы на гибкость голеностопного сустава.
6. Пируэт.

После завершения тестирования полученные результаты передаются в основную систему. На основе 36 критериев оценки по разработанному учёными алгоритму создаётся pdf-отчет о предрасположенности ребёнка к 51 виду спорта.

1. Разработан, протестирован и внедрён автоматический комплекс отслеживания упражнений.
2. Выполнение упражнения контролируется в режиме реального времени.
3. Обеспечены требования по точности.
4. Разработана стойка для камеры и налажено её производство.
5. Написаны руководства по подготовке площадки и калибровке камер.
6. Время развёртывания — 30 минут.