Онлайн-соревнования по спортивным танцам в период изоляции

ЗАДАЧА
Ограничения во время пандемии запрещали проведение соревнований по акробатическому рок-н-роллу. Срочно требовался переход в онлайн-формат.

Byndyusoft должны были обеспечить съёмку выступления участников в конкретное время согласно сетке выступлений. Синхронизировать видеозаписи для оценки судьями таким образом, будто несколько пар выступают на одной сцене.

РЕШЕНИЕ

Мы создали мобильное приложение для участников соревнований. За день до соревнований пары получают аудиотреки под которые должны танцевать и знакомятся с сеткой выступлений. В назначенное время приложение сообщает о том, что у участников есть 15 минут на съёмку. Видеозапись ведётся через приложение и автоматически отправляется для дальнейшей обработки.

По правилам проведения соревнований судьи должны видеть одновременное выступление всех пар в заходе. Поэтому видеозаписи участников собираются в один видеофайл. Для определения момента начала выступления в отсылаемые аудиотреки добавляется специальный сигнал синхронизации. ML-модель находит этот сигнал в присылаемых видео, анализируя мел-спектрограмму. Таким образом определяются таймкоды начала выступления во всех видео.

Разные устройства ведут видеозапись с различной частотой кадров, что не всегда позволяет синхронизировать видео кадр в кадр. На итоговом видео это выглядит как непопадание участников в ритм музыки. Для исправления этой проблемы мы разработали алгоритм синхронизации.

На финальном этапе подготовки видео для устранения шумов на записи все аудиодорожки заменяются на оригинальный саундтрек с эффектом сцены.

Судьи и зрители смотрят веб-трансляцию соревнования по ссылке на своих устройствах. Трансляция построена таким образом, что видео от участников записываются и обрабатываются незадолго до времени их выступления в сетке соревнований. Номера выходят в эфир для судей и зрителей без перерывов, как на офлайн-событиях.

Для судей ведётся отдельная трансляция с номерами, которые они должны оценивать. Оценки проставляются по мере выступления пар на отдельном планшете с судейским интерфейсом.

Мы доверили наши ключевые сервисы Byndyusoft. Они занимаются дизайном, продуктовыми исследованиями и разработкой сервисов и мобильных приложений. Уже несколько лет Byndyusoft являются нашим основным технологическими партнерами, потому что они приносят решения, которые помогают достигать бизнес-целей.
Кирилл Зуев, технический директор в ВФТСАРР
РЕЗУЛЬТАТ
  1. Провели первое онлайн-соревнование через месяца после обращения заказчика.
  2. Проведено несколько соревнований до отмены режима изоляции.
  3. Созданы приложения для спортсменов, зрителей и судей.
  4. Обрабатываются видео с любых смартфонов и планшетов.
  5. Видео подготавливается пока судьи оценивают предыдущее выступление, оставаясь в сетке выступлений.
  6. Система работает на слабом железе, без видеокарт.
3 месяца
от идеи до проведения соревнования
0,015 с
средняя ошибка синхронизации видео
ML · Спорт · Продуктовая разработка