Система має назву SonicASL. Вона зарекомендувала себе як ефективний засіб розпізнавання жестів, щоб потім перетворити їх на звук. Таким чином люди зможуть зручніше спілкуватися зі своїми друзями, які мають порушення слухом. Поки технологія тестується, їй належить розширити словниковий запас, але вже очевидно, що перспектива таких навушників досить велика.
Цікаво Штучний інтелект навчили перекладати мову жестів у текст
Навушники працюють в парі зі смартфоном / Фото University at Buffalo
Детальніше про розробку
Система SonicASL показала ефективність 93,8% на тестуваннях, проведених в приміщенні та на відкритому просторі з використанням 42 слів. Використовувалися такі слова як "любов", "простір", "камера" та інші.
За ідентичних умов проводили тести, які були націлені на розпізнавання системою речень. Використали 30 простих речень.Наприклад, "приємно познайомитися". В цих випробуваннях SonicASL був ефективний на 90,6%.
Акустичні звукові хвилі, які виникають під час розмови мовою жестів / Фото Tech Xplore
Як працюють навушники SonicASL
У більшості навушників з шумозаглушенням використовується мікрофон, обернений назовні, який уловлює навколишній шум. Потім навушники створюють антизвук для придушення зовнішнього шуму – звукову хвилю з тієї ж амплітудою, але з інвертованою фазою навколишнього шуму.
Науковці модифікували такі навушники, додавши додатковий динамік поруч зі спрямованим назовні мікрофоном. Таким чином динамік та мікрофон вловлюють рухи рук. Інформація передається через додаток для мобільного телефону SonicASL, який містить алгоритм, створений командою для ідентифікації слів та речень. Додаток переводить жести у звук.
Перспективна технологія розпізнавання жестів та перетворення їх на звук може допомогти близько 72 мільйонам людей з порушеннями слуху вільніше спілкуватися з людьми віч-на-віч.