QazaqSignAI

Проблема, которую слышно не всем

В Казахстане мало кто из слышащих владеет казахским жестовым языком, и людям с нарушением слуха из-за этого трудно влиться в окружающую среду. Учить язык, как выяснила команда, почти негде: курсы либо дорогие, либо сводятся к видео без проверки.

Есть и вторая трудность. Тот, кто учит жесты сам по видео, не может понять, правильно ли у него получается: без обратной связи от человека, который уже знает язык, легко закрепить неверное движение.

Что придумали

QazaqSignAI — приложение с элементами геймификации: пользователь смотрит видео с жестом, повторяет его перед камерой, а ИИ распознаёт правильность выполнения, даёт мгновенную обратную связь и начисляет баллы.

Главное отличие от видеоуроков жестового языка — проверка: обычный урок показывает жест и надеется, что человек повторит правильно; здесь ИИ подтверждает, что жест действительно получился, прежде чем засчитать прогресс.

Как это началось

«Всё началось с того, что мы долго думали, в какой сфере хотим сделать проект. Нам было важно, чтобы он действительно приносил пользу обществу. Мы поняли, что многие говорят о доступной среде, но часто забывают о людях с нарушением слуха и о том, с какими трудностями они сталкиваются каждый день. […] Именно тогда мы решили создать приложение, которое поможет изменить эту ситуацию».

В интервью капитан рассказывает, как всё сложилось: с идеей она пришла к наставнику, а поняв, что одной не справиться, позвала в проект Жанерке.

Главный провал: модель, которая знает только руки своих создателей

Самое честное признание команда сделала на менторской сессии. Записей жестов от карагандинского центра глухих на момент разработки не было — встреча с центром была запланирована только на август. Поэтому модель обучена на руках самих разработчиков, и точность зависит от освещения и формы рук — то есть работает хуже именно у тех, для кого приложение создавалось.

Ментор прямо порекомендовал не ждать августа: искать других сурдопереводчиков и центры глухих на этой же неделе, потому что без данных настоящих носителей языка точность не вырастет.

Сама команда формулирует близкий, но более общий урок:

«Самым сложным оказалось не само программирование, а понять, что действительно нужно будущим пользователям. Сначала мы думали, что достаточно просто сделать приложение с уроками, но после общения с менторами и изучения темы поняли, что этого недостаточно — обучение должно быть интересным и мотивировать людей возвращаться».

Разбор изобретателя

Метод-этап	Обучение модели на данных, которые были под рукой, вместо данных целевого пользователя
Что сработало	Мини-интервью со слышащими и изучающими язык показали: сухие уроки — скучно, нужна геймификация и обратная связь в реальном времени
Что не сработало	Модель распознавания училась на руках самих разработчиков — точность нестабильна и не отражает реальных пользователей
→ Инструмент Части 2	«Данные под рукой» — не то же самое, что «данные пользователя». Перед обучением модели: чьи именно данные легли в основу?

Где проект сейчас

Рабочий прототип есть, но точность распознавания остаётся низкой, а датасет — не от носителей языка. Следующий шаг — собрать жесты у носителей языка: в центрах глухих и у сурдопереводчиков.

Открыт и более фундаментальный вопрос — кто целевой пользователь. На менторской сессии обсуждали два разных продукта: игровое обучение для подростков (музыка, короткие видео) и быстрое точное распознавание жестов для госслужащих. Во втором варианте ментор усомнился — собеседнику проще набрать текст. На момент интервью выбор между ними сделан не был.

Дальше — расширение словаря жестов, новые уровни и темы, улучшение точности ИИ.

Потенциал развития

Взгляд со стороны: чем этот проект может стать, если довести его до продукта. Это аналитическая гипотеза редакции, а не заявление команды.

Геймифицированных языковых приложений много, поэтому интерфейс здесь не главное. Ценность — в модели распознавания казахского жестового языка и в данных, на которых она обучена: качественных записей казахского жестового языка (КЖЯ) мало, и любая команда, которая соберёт их первой у носителей языка, получит актив, который трудно повторить быстро.

Модель зависит от того, какую из двух аудиторий выберет команда. Для школ и семей это вероятнее грантовая и B2G-модель (министерство образования, инклюзивные программы); для быстрого распознавания в госсекторе — прямой контракт с ведомствами, обязанными обеспечивать доступность услуг для людей с нарушением слуха.

Направления, куда это масштабируется

Направление	Что переиспользуется	Пример применения
Доступность госуслуг	Тот же движок распознавания, адаптированный под точность вместо игры	Госорганы обязаны обеспечивать доступную среду — готовый инструмент для приёма граждан с нарушением слуха
Школьная программа инклюзии	Геймифицированный формат обучения жестам	Партнёрство с министерством образования — курс КЖЯ как часть школьной программы
Датасет казахского жестового языка	Размеченные видео жестов от реальных носителей	Актив, который можно лицензировать другим разработчикам и лингвистам — таких данных почти нет
Геймификация через музыку/ритм	Гипотеза команды об «изучении песен на языке жестов»	Переносимо на другие языки жестов региона и на любое обучение движению под звук

Что нужно доказать. Первое — точность распознавания на данных реальных носителей языка, а не создателей приложения. Второе — выбор одной аудитории вместо двух: продукт для подростков и продукт для госслужащих требуют разных приоритетов разработки. Третье — партнёрство хотя бы с одним центром глухих для доступа к экспертизе и данным.

Что советуют тем, кто начинает

«Не ждите идеального момента или идеальной идеи. Начните с проблемы, которая вам действительно небезразлична, и не бойтесь менять свой проект по ходу работы — именно так он становится лучше».

В интервью одна из участниц признаётся, что больше всего боялась сравнения с другими:

«Даже когда мы готовились к разным конкурсам, мне казалось, что наш проект не прям такой крутой. Но победа в конкурсах показала обратное. Даже если вам кажется, что вы на среднем уровне или ваш проект никому не нужен — не верьте в это».

Вторая добавляет практическое: не останавливаться после первой неудачи. По её словам, интерфейс приложения пришлось полностью переделать, и это пошло проекту на пользу.

«Изобретать — это…»

«Изобретать — это желание менять мир, начиная с одной идеи».