Исследователи произвели революцию в области скрытых субтитров

С момента разработки скрытых субтитров для видео в 70-х годах прошлого века, эта технология не претерпела значительных изменений. Слова, произносимые персонажами фильмов или дикторами, все так же появляются в нижней части экрана, позволяя людям с нарушениями слуха следить за происходящим. Теперь команда исследователей из Китая и Сингапура разработала новую технологию скрытых субтитров, предполагающую появление текста в полупрозрачных пузырьках рядом с говорящим. Новый подход позволяет 66 миллионам людей с нарушениями слуха просматривать видео более удобным способом. Исследователь Мен Ван из Хэфэйского технологического университета (Китай)  и его коллеги удостоились премии Best Paper Award за свою работу над новой методикой скрытых субтитров.

По словам Вана, на разработку новой методики ученых мотивировало стремление решить проблему с трудностями, с которыми сталкиваются люди с ослабленным слухом при просмотре видео. Зачастую им сложно понять, кому именно принадлежат отображаемые слова, поэтому исследователи поместили текст около лица говорящего и сделали синхронную подсветку.

Как пояснили исследователи, традиционные скрытые субтитры можно назвать статичными, поскольку все произносимые слова одинаково отображаются в нижней части экрана, вне зависимости от того, кто их произнес. Новую же методику ученые считают динамичной, так как текст появляется в различных местах и в разных стилях, что лучше отражает личность говорящего и голосовую динамику. Например, текст синхронно подсвечивается слово за словом в соответствии с речевыми сигналами. Кроме того, небольшой индикатор рядом с текстовым пузырьком показывает изменения в громкости речи.

Все эти особенности действуют автоматически без какого-либо ручного вмешательства. Инженеры разрабатывали алгоритмы с расчетом на автоматическую идентификацию говорящего, используя файл сценария видео и технологию распознавания движения губ. Если же говорящий находится за кадром, слова появляются в нижней части экрана в виде статичных субтитров.