Мобильное приложение «Шелест» хочет донести музыку до инвалидов по слуху

Мобильное приложение «Шелест», хочет донести музыку до людей с проблемами слуха
Мобильное приложение «Шелест», хочет донести музыку до людей с проблемами слуха

Могут ли новые тех­но­ло­гии помочь людям с про­бле­ма­ми слу­ха вос­при­ни­мать мир, как все осталь­ные? Как сде­лать так, что­бы они смог­ли услы­шать музы­ку? На кра­уд­фандин­го­вой плат­фор­ме Boomstarter.ru запу­ще­на кам­па­ния по сбо­ру средств на при­ло­же­ние, кото­рое помо­жет глу­хим людям чув­ство­вать музы­ку через свой смарт­фон.

Поделитесь этой статьей с друзьями

Мы пообщались с автором приложения Ваганом Акопяном и экспертом, профессором, кандидатом педагогических наук, специалистом в области ассистивных (вспомогательных) технологий Еленой Кулаковой, чтобы понять, действительно ли эта идея будет работать.

Как это будет работать?

Мобильное приложение «Шелест»

Мобиль­ное при­ло­же­ние, кото­рое раз­ра­ба­ты­ва­ет­ся Вага­ном Ако­пя­ном, назы­ва­ет­ся Шелест и вклю­ча­ет в себя три функ­ции, поз­во­ля­ю­щие про­чув­ство­вать музы­ку без каких-либо спе­ци­аль­ных устройств:

  • вос­про­из­ве­де­ние жестов-слов в режи­ме реаль­но­го вре­ме­ни;
  • вос­про­из­ве­де­ние жестов по бук­вам;
  • вибро­сиг­на­лы.

Это при­ло­же­ние для поль­зо­ва­те­лей смарт­фо­нов на базе опе­ра­ци­он­ных систем Android и IOS. По заяв­ле­нию раз­ра­бот­чи­ков при­ло­же­ние будет выло­же­но в сво­бод­ный доступ в Google Play и Apple Store.

Воспроизведение жестов-слов в режиме реального времени

Перевод песни на русский жестовый язык, – считает профессор, кандидат педагогических наук Елена Кулакова, – должен делать акцент не только на жестовый язык, но и на мимику. Мимика лица эмоционально окрашивает жестовый язык. Хорошо бы привлечь к работе профессиональных певцов.

Более лег­ким для глу­хих людей и людей с огра­ни­чен­ным слу­хом явля­ет­ся прак­ти­ка счи­ты­ва­ния слов по губам. Поче­му же раз­ра­бот­чи­ки при­ло­же­ния «Шелест» пошли по пути вос­про­из­ве­де­ния жестов-слов в режи­ме реаль­но­го вре­ме­ни, а не попы­та­лись создать лицо с дви­га­ю­щи­ми­ся губа­ми (для счи­ты­ва­ния слов по губам)? Чем эти тех­но­ло­гии отли­ча­ют­ся?

Ваган Ако­пян: Если взгля­нуть на этот вопрос с тех­ни­че­ской точ­ки зре­ния, то ответ один – тех­но­ло­ги­че­ская слож­ность реа­ли­за­ции алго­рит­ма кор­рект­но­го вос­про­из­ве­де­ния слов по губам. Мы смот­рим на про­ект «Шелест» как на упро­щен­ную вер­сию для отно­си­тель­но лег­кой реа­ли­за­ции и созда­ния базы для серий при­ло­же­ний. 

Воспроизведение жестов по буквам

Парал­лель­но, в такт с вос­про­из­во­ди­мой пес­ней, эти бук­вы под­све­чи­ва­ют­ся – как в кара­оке. Это допол­ни­тель­ная функ­ция. Како­ва сте­пень ее важ­но­сти?

Ваган Ако­пян: Дан­ная функ­ция созда­на для упро­ще­ния рабо­ты алго­рит­ма и исклю­че­ния воз­мож­но­сти семан­ти­че­ских оши­бок. Она страху­ет в слу­чае если жест сло­ва оши­бо­чен, давая поль­зо­ва­те­лю про­чи­тать сло­во по бук­ве. Так­же она поз­во­ля­ет видеть ритм, как в кара­оке.

Эту функцию лучше преобразовать в текстовый ряд с подсветкой, как в караоке. Это более привычно для восприятия глухих и слабослышащих людей. Дактилемы читать сложнее, – считает Елена Владимировна.

Вибросигнал

У глу­хих людей очень силь­но раз­ви­то так­тиль­но-виб­ра­ци­он­ное ощу­ще­ние. Бла­го­да­ря виб­ра­ции глу­хие люди слы­шат… музы­ку! Прав­да, раз­ли­чить они могут толь­ко тембр и ритм, мело­дия – за поро­гом их вос­при­я­тия. Вибро­сиг­на­лы обес­пе­чи­ва­ют физи­че­ское вос­при­я­тие рит­мов ком­по­зи­ции по уни­каль­но­му алго­рит­му.

По мнению Елены Кулаковой, эту функцию лучше будет сделать отдельной от первых двух. Это позволит дифференцировать аудиторию, создать более комфортные условия для людей с ограниченным слухом. Постоянно работающий вибросигнал на слабослышащих людей действует раздражающе. Будет лучше сделать его с возможностью отключения.

Дополнительные гарнитуры

Для слабослышащих людей будет большим подспорьем наличие специальных наушников, позволяющих слушать музыку в диапазоне 115–120 Дб. В целом идея создания такого мобильного приложения очень хороша, – считает Елена Кулакова. – Необходимо только немного откорректировать технологию.

Сте­пень вос­при­я­тия музы­ки глу­хим чело­ве­ком, веро­ят­но, мож­но под­нять на столь же высо­кий уро­вень, как спо­соб­ность здо­ро­во­го чело­ве­ка чув­ство­вать отдель­ные ноты мело­дии, так как, в конеч­ном сче­те, обра­бот­ка зву­ко­вой инфор­ма­ции про­ис­хо­дит в той же самой части моз­га, – счи­та­ет Док­тор Шибат, автор иссле­до­ва­ния «Вос­при­я­тие зву­ко­вых виб­ра­ций моз­гом чело­ве­ка» из отде­ле­ния радио­ло­гии в Уни­вер­си­те­те Вашинг­то­на.

Поддержите проект «Шелест» на Boomstarter.ru

Ста­тья под­го­тов­ле­на ста­же­ром в рам­ках про­ек­та Шко­ла ста­же­ров Теп­ли­цы.