2024/Доступная среда и инклюзия
Speaky
Устройство на шею, которое переводит жест в голос
Школьник из Шымкента в одиночку собрал носимое устройство, которое считывает жесты рук камерой и озвучивает их как речь — а вторым продуктом сделал умные очки с субтитрами речи собеседника. Идею подтолкнул личный опыт: родной дядя автора, отличник в школе, не смог поступить в вуз и остался без работы, потому что глухонемой.
- Направление
- Инклюзия/доступность — перевод жестов в речь для глухонемых
- Команда
- Соло-участник, псевдоним «КС» (имя не подтверждено); заявлена команда «Термит ниб»
- Место
- Шымкент, школа не названа
- Сезон
- 2024
- Статус
- финалист Топ-10 сезона 2024 (реестр организатора); прототип Speaky 3.0 работает, идёт сбор предзаказов
- Город
- Шымкент
- Школа
- НИШ ХБН
- Результат
- финалист Топ-10 сезона 2024 (по реестру организатора)
Паспорт проекта
▶Speaky · защита проекта перед жюри
Проблема и решение
В Казахстане и в мире, по словам автора, нет условий для полноценной жизни глухонемых людей — трудности с социумом, трудоустройством и образованием. Решение — Speaky: устройство на шею (микрокомпьютер, камера 5 Мп/2K, Python + OpenCV), которое распознаёт жест руки, сопоставляет его со словом из словаря (~1598 слов и словосочетаний) и озвучивает как речь. Вес — 120 г, аккумулятора хватает на день. Вторая часть линейки — умные очки: аксессуар с дисплеем и микрофоном, который показывает субтитры речи собеседника, — родилась из наблюдения, что часть пользователей физически не слышит даже собственный переведённый голос. Автор сравнивает разработку с индийскими «умными перчатками» Smart Gloves (громоздкие, недоступны в РК) и очками XrAI ($1500 + $600/год подписки против заявленных 80 000 ₸ с гарантией на год) .
Путь к железу занял три итерации: прототип на веб-камере → Speaky 2.0 на Raspberry Pi Zero W (работал, но с заметной задержкой перевода) → Speaky 3.0 на более мощном микрокомпьютере. Главной технической трудностью автор называет перенос программы с ПК на Raspberry Pi — из ~120 библиотек нужно было собрать стабильно работающую связку.
Где сейчас
За лето команда собрала 11 предзаказов через Instagram, запустила сайт, провела полевые тесты в школе для глухонемых Шымкента (28 апреля) и интервью в Казахском обществе глухих в Алматы (11 июля 2024). Автор также упоминает встречу с Арманом Сулейменовым и Арсеном Томским, которые поддержали идею и дали советы по масштабированию ..
«Несмотря на то что он был очень образованным учеником, учился на одни пятёрки, он не смог поступить ни в один из вузов и на данный момент безработный. Это вело меня в ступор — это было несправедливо».
Официальное описание
Формулировка организатора с сайта конкурса solvefortomorrow.kz — приводится как есть, это не текст редакции.
Проект Speaky позволяет глухонемым легче коммуницировать с другими. Устройство оснащено камерой. Через нейросети подробно считывается язык жестов и далее все преобразуется в устную речь. Имеется обширный словарный запас – более 1500 слов и словосочетаний. Разработка также отличается компактностью и удобством. Её можно носить в кармане или на шее. За время работы над проектом команда Termit получила более 11 предзаказов, также один из отечественных центров поддержки людей с инвалидностью выразило желание сотрудничать.
Место: финалист
Материалы команды
