Новый синтезатор речи позволяет переводить жесты в устную речь

Недавно среди технических новинок появился синтезатор речи, который может оказаться полезным как людям, лишившимся способности говорить, так и музыкантам, ищущим новые пути самовыражения. Авторами системы стали исследователи из Университета Британской Колумбии (Канада), работающие под руководством преподавателя электро- и вычислительной техники Сидни Фелса. Для работы с устройством пользователю необходимо надеть пару снабженных сенсорами перчаток и начать водить руками в воздухе – на основе этих движений синтезатор и будет создавать слышимую речь.

Сенсоры способны определять каждое положение руки в трехмерном пространстве, а также различать жесты, которые этими руками делаются. Эта информация передается компьютеру, который присваивает каждому положению руки определенный звук. Перчатка для правой руки может определять сгибательные движения и, таким образом, создает согласные звуки, когда пальцы сжимаются, и гласные – когда разжимаются. Выбор между различными согласными осуществляется посредством различных жестов той же руки, а за гласные отвечают различные варианты ее горизонтального расположения. Изменение положения перчатки по вертикали регулирует высоту звука. Твердые конечные звуки, такие как [б] или [д], произносятся за счет жестов левой руки.

Новая система может использоваться не только немыми людьми, но и музыкантами, которые, к слову, уже попробовали разработку в действии. В тестировании приняли участие семь артистов. Например, они пробовали петь дуэтом в одиночку – их собственные связки давали один голос, а движения рук – второй. По словам Фелса, на обучение работе с системой у музыкантов ушло около 100 часов. Исследователь  полагает, что в будущем эта технология найдет себе применение и в других областях, например, сможет использоваться для осуществления контроля над тяжелой техникой.