QazaqSignAI

Проблема, которую слышно не всем

Наймулуна попыталась заговорить со слышащей подругой на казахском жестовом языке — и не была понята, хотя месяцами учила жесты по видео. Дело не в желании: без обратной связи от кого-то, кто уже знает язык, легко закрепить неправильное движение.

В Казахстане мало кто из слышащих владеет казахским жестовым языком, а курсы либо дорогие, либо скучные видео без проверки. Люди с нарушением слуха остаются в разговоре в одиночку не потому, что языка нет, а потому что учить его почти негде.

Что придумали

QazaqSignAI — приложение с элементами геймификации: пользователь смотрит видео с жестом, повторяет его перед камерой, а ИИ распознаёт правильность выполнения, даёт мгновенную обратную связь и начисляет баллы.

Отличие от видео-уроков жестового языка не в контенте, а в проверке: обычный урок показывает жест и надеется, что человек повторит правильно; здесь ИИ подтверждает, что жест действительно получился, прежде чем засчитать прогресс.

Как это началось

«Всё началось с того, что мы долго думали, в какой сфере хотим сделать проект. Нам было важно, чтобы он действительно приносил пользу обществу. Мы поняли, что многие говорят о доступной среде, но часто забывают о людях с нарушением слуха и о том, с какими трудностями они сталкиваются каждый день. […] Именно тогда мы решили создать приложение, которое поможет изменить эту ситуацию».

Главный провал: модель, которая знает только руки своих создателей

Самое честное место в этой истории — не в анкете, а в менторской сессии. Датасетов от карагандинского центра глухих на момент разработки не было — встреча с центром была запланирована только на август. Поэтому модель обучена на руках самих разработчиков, и точность зависит от освещения и формы рук — то есть работает хуже именно у тех, для кого приложение создавалось.

Ментор David прямо порекомендовал не ждать августа: искать других сурдопереводчиков и центры глухих на этой же неделе, потому что без данных настоящих носителей языка точность не вырастет.

В анкете команда формулирует близкий, но более общий урок:

«Самым сложным оказалось не само программирование, а понять, что действительно нужно будущим пользователям. Сначала мы думали, что достаточно просто сделать приложение с уроками, но после общения с менторами и изучения темы поняли, что этого недостаточно — обучение должно быть интересным и мотивировать людей возвращаться».

Разбор изобретателя

Метод-этап	Обучение модели на данных, которые были под рукой, вместо данных целевого пользователя
Что сработало	Мини-интервью со слышащими и изучающими язык показали: сухие уроки — скучно, нужна геймификация и обратная связь в реальном времени
Что не сработало	Модель распознавания училась на руках самих разработчиков — точность нестабильна и не отражает реальных пользователей
→ Инструмент Части 2	«Данные под рукой» — не то же самое, что «данные пользователя». Перед обучением модели: чьи именно данные легли в основу?

Где проект сейчас

Рабочий прототип есть, но точность распознавания остаётся низкой, а датасет — не от носителей языка. Команда должна была связаться с другими центрами глухих (кроме карагандинского) и сурдопереводчиками, не дожидаясь августовской встречи, — на момент сбора материалов этот шаг не подтверждён завершённым.

Дальше — расширение словаря жестов, новые уровни и темы, улучшение точности ИИ.

Потенциал развития

Взгляд со стороны: чем этот проект может стать, если довести его до продукта. Это аналитическая гипотеза редакции, а не заявление команды.

Ценность здесь не в интерфейсе приложения — геймифицированных языковых приложений много. Ценность в модели распознавания казахского жестового языка и датасете, на котором она обучена: качественных данных по КЖЯ на рынке почти нет, и любая команда, которая соберёт их первой у носителей языка, получит актив, который трудно повторить быстро.

Модель зависит от того, какую из двух аудиторий выберет команда. Для школ и семей это вероятнее грантовая и B2G-модель (министерство образования, инклюзивные программы); для быстрого распознавания в госсекторе — прямой контракт с ведомствами, обязанными обеспечивать доступность услуг для людей с нарушением слуха.

Направления, куда это масштабируется

Направление	Что переиспользуется	Пример применения
Доступность госуслуг	Тот же движок распознавания, адаптированный под точность вместо игры	Госорганы обязаны обеспечивать доступную среду — готовый инструмент для приёма граждан с нарушением слуха
Школьная программа инклюзии	Геймифицированный формат обучения жестам	Партнёрство с министерством образования — курс КЖЯ как часть школьной программы
Датасет казахского жестового языка	Размеченные видео жестов от реальных носителей	Актив, который можно лицензировать другим разработчикам и лингвистам — таких данных почти нет
Геймификация через музыку/ритм	Гипотеза команды об «изучении песен на языке жестов»	Переносимо на другие языки жестов региона и на любое обучение движению под звук

Что нужно доказать. Первое — точность распознавания на данных реальных носителей языка, а не создателей приложения. Второе — выбор одной аудитории вместо двух: продукт для подростков и продукт для госслужащих требуют разных приоритетов разработки. Третье — партнёрство хотя бы с одним центром глухих для доступа к экспертизе и данным.

Что советуют тем, кто начинает

«Не ждите идеального момента или идеальной идеи. Начните с проблемы, которая вам действительно небезразлична, и не бойтесь менять свой проект по ходу работы — именно так он становится лучше».

«Изобретать — это…»

«Изобретать — это желание менять мир, начиная с одной идеи».

В аудио-интервью команда говорит о том, о чём школьники обычно молчат, — о сравнении себя с другими:

«Даже когда мы готовились к разным конкурсам, мне казалось, что наш проект не прям такой крутой. Но победа показала обратное. Даже если вам кажется, что вы на среднем уровне или ваш проект никому не нужен — не верьте в это».