TransforNATIONКАЗАХСТАН
← библиотека кейсов

2023/Доступная среда и инклюзияфиналист

Drive Beyond

Приложение, которое началось с подслушанного разговора

Шестеро школьников из НИШ ФМН Алматы — команда Balashaqim — взяли ИИ, разработанный для совсем другой задачи, и научили его определять, насколько точно ребёнок с расстройством аутистического спектра умеет показать эмоцию. К осени 2023 года, по словам команды, с приложением Drive Beyond занимались дети в четырёх реабилитационных центрах.

Drive Beyond

Паспорт проекта

Направление
Инклюзия и доступная среда · здоровье (расстройство аутистического спектра)
Команда
Balashaqim — Ян Улан (капитан), Лейла Сидорова (дизайн), Керимбердиева Медина (исследования), Сиргалиев Алихан (разработка), Гиззат Малика (видеомонтаж/исследования), Тайсаринов Ерасы (исследования/организация); ментор — учитель физики «мистер Дэниал»
Место
Алматы, НИШ ФМН
Сезон
2023 — 3 место (бронза)
Статус сейчас
Проект приостановлен — команда учится за рубежом
ЦУР ООН
3 — здоровье и благополучие · 10 — уменьшение неравенства
Город
Алматы
Школа
НИШ ФМН г. Алматы
Результат
🥉 3 место 2023 (подтверждено СМИ и базой SfT)
Питч команды Drive Beyond▶
Питч команды

Drive Beyond · защита проекта перед жюри

YouTube ↗

Проблема, которую не всегда видно

Ребёнок с расстройством аутистического спектра может прекрасно решать задачи и запоминать факты — и не понимать, что означает нахмуренный лоб собеседника или напряжённый голос. Сложность есть и в обратную сторону: ребёнку трудно показать собственную эмоцию так, чтобы её поняли окружающие. Результат — не грубость и не замкнутость характера, а разрыв в канале, через который люди обычно понимают друг друга без слов.

По словам специалистов, с которыми говорила команда, официальный диагноз получают далеко не все такие дети — реальное их число заметно больше учтённого.

Помощь при этом получить непросто. Поговорив со специалистами и родителями, команда выяснила: центров поддержки мало, в них очереди, есть они не во всех городах и стоят недёшево. Многие дети с РАС так и остаются неуслышанными.

Что придумали

Drive Beyond — десктоп-приложение с игровыми упражнениями трёх уровней сложности: ребёнок повторяет показанную на экране эмоцию, с аудио- и видеоподсказками или без них. Главное отличие от простого тренажёра-повторюшки — в том, что стоит за оценкой. Встроенный ИИ на основе распознавания лиц смотрит на качество воспроизведения — насколько точно и естественно ребёнок показал эмоцию — и подстраивается под индивидуальную мимику, не требуя от всех одинаковой «правильной» гримасы.

Итоги занятий уходят в аналитику для специалистов и родителей: видно, какие эмоции даются сложнее. Раньше, как заметила команда, специалисты записывали это вручную. Приложению не нужен мощный компьютер — оно работает на обычном ПК.

Как это началось

«Всё началось с обычного дня в школе: я и мой друг Алихан только завершили инкубационную программу стартапов и обсуждали наш опыт между собой в школе. Наш разговор услышала Медина и рассказала нам, что наши технологии с предыдущего проекта могут сильно помочь детям с РАС и потенциально принести пользу для них. Нас очень заинтересовала перспектива социального импакта — что именно наш проект может привнести крупный вклад в общество. Именно так всё и началось, в ближайшие пару недель мы собрали команду и начали активную работу».

У истории есть и вторая сторона — её рассказывает сама Медина:

«Я люблю читать статьи на PubMed. И однажды я прочитала статью о том, как приложения по мимикрии могут помогать людям с РАС улучшать распознавание чужих эмоций».

Два рассказа складываются в одно совпадение: уже готовый ИИ для распознавания эмоций и свежепрочитанная статья о том, кому это может быть нужно, встретились в одном школьном разговоре.

Главный провал: конфликт, который чуть не разбил команду

Самым сложным, по словам капитана, оказались отношения внутри команды.

«На ранних этапах участия в Samsung Solve for Tomorrow мы столкнулись с внутренним конфликтом и сильно поругались из-за недопонимания. Я считаю, что я как капитан в моменте отреагировал слишком резко, что наоборот только усилило внутреннее напряжение. Мы уже были на грани того, чтобы переписать состав команды, однако решили обратиться к нашему учителю физики — мистеру Дэниалу, который был нашим ментором и представителем на SfT. Мистер Дэниал смог найти решение, и с помощью его мудрости мы пришли к мирному решению».

«Это научило в первую очередь мыслить спокойно и держать голову холодной в экстремальных ситуациях. Меня, как капитана, это лично научило быть более сдержанным, спокойным и, самое главное, — уметь принять чужую точку зрения, а не сразу становиться против неё».

Разбор изобретателя

Метод-этап Тестирование прототипа с реальными коррекционными центрами
Что сработало Даже отказ одного центра сотрудничать дал полезную критику, которую применили в разработке; 10–15 циклов правок с центрами, которые согласились помогать
Что не сработало Барьер недоверия к школьникам-разработчикам: часть центров соглашалась говорить только через ментора, а не напрямую с командой
→ Инструмент Части 2 Как превращать отказ в данные: что спросить у центра, который не хочет с вами работать

Где проект сейчас

Осенью 2023 года, по словам команды, приложением пользовались четыре реабилитационных центра — около 80 детей; перед внедрением команда получила рецензию университета с рекомендацией к использованию. Бизнес-модель команда описывала так: разовая покупка приложения за 10 000 ₸ и скидка вплоть до 100 % по заявке на сайте — для семей, которым эта сумма не по силам.

Сейчас, по словам команды, проект приостановлен: участники учатся в университетах в разных странах — «от Гонконга до Канады», в разных часовых поясах. Опыт пригодился в другом деле: Улан и Алихан, по словам Улана, создали ИИ-алгоритм для роста продаж и работают с компаниями, которые готовят абитуриентов к поступлению за рубеж. Разработка Drive Beyond стоит на паузе, но инженерный задел остался.

После конкурса: есть следы предпринимательской траектории (стартап-роли в публичных профилях); участники заметны в конкурсах и олимпиадах после сезона. Траектории по именам не раскрываются.

Потенциал развития

Взгляд со стороны: чем этот подход может стать за пределами школьного приложения. Это гипотеза редакции, а не заявление команды.

Самое переиспользуемое в Drive Beyond — ИИ-оценка того, насколько точно человек выражает эмоцию лицом. Интерфейс упражнений повторить несложно; труднее повторить то, что копится за месяцы работы с центрами: записи занятий, настройку оценки под детей с РАС, доверие специалистов. Такие данные и связи появляются только в практике с живыми пользователями.

Модель, которую команда описывала — разовая покупка и скидка до бесплатного доступа для тех, кому цена не по силам, — нащупывает типичное противоречие соцпроектов между устойчивостью и доступностью. Логичное развитие — чтобы платили организации: центры, фонды, школы, а ребёнок получал доступ бесплатно или со скидкой.

Направления, куда это может масштабироваться

Направление Что переиспользуется Пример применения
Другие задачи на тренировку выражения эмоций Тот же ИИ-движок оценки мимики Логопедическая работа, реабилитация после инсульта с лицевым параличом, работа с деменцией — везде, где важно не просто узнать эмоцию, а научиться её показывать
Ранний скрининг РАС Метрика точности и скорости выражения эмоции как маркер Разрыв между числом официальных диагнозов и оценками реальной распространённости — короткий тест в детском саду или школе может выявлять кандидатов на диагностику раньше, чем это происходит сейчас
Данные как исследовательский актив Размеченный датасет мимики детей с РАС в динамике Основа для дальнейших исследований или более точных диагностических алгоритмов — сегодня такие данные малочисленны и дорого собираются
Сеть коррекционных учреждений Опыт внедрения в четырёх центрах и связка «организация платит — ребёнок получает доступ бесплатно» Выход за первые четыре центра на региональную или национальную сеть коррекционных учреждений

Что нужно доказать, чтобы это состоялось. Первое — клиническую эффективность: отзывы от 4 центров есть, измеренного результата «до/после» — нет. Второе — вес «университетской рецензии»: чтобы на неё опираться, нужны название вуза и сам документ. Третье — жизнеспособность без основателей: участники учатся за рубежом, и неясно, кто отвечает за приложение, если центры продолжают им пользоваться.

Что советуют тем, кто начинает

«Мой главный совет — не бояться экспериментировать. Чтобы сделать что-то классное и полезное, нужно в первую очередь не бояться пробовать, экспериментировать, переизобретать колесо и выглядеть безумцем».

Официальное описание

Формулировка организатора с сайта конкурса solvefortomorrow.kz — приводится как есть, это не текст редакции.

Помочь детям с аутизмом вызвалась команда «Balashaqim». Из-за такого заболевания возникают трудности с социализацией, усложняет ситуацию также недоступность необходимого лечения. Ребята нашли решение: они разработали компьютерное приложение, помогающее развивать эмоциональный интеллект у «особенных людей». Система благодаря уникальному алгоритму ИИ позволяет в лёгкой форме, но при этом весьма эффективно изучать человеческие эмоции, также есть различные тесты для быстрого усваивания материала. Разработкой «Drive Beyond» уже активно пользуются в нескольких реабилитационных центрах.

Место: 3 место · Алматы, НИШ ФМН

Материалы команды

Прототип3

Drive Beyond — прототип
Drive Beyond — прототип
Drive Beyond — прототип

Команда2

Drive Beyond — команда
Drive Beyond — команда

Из презентации1

Drive Beyond — из презентации

Пресса о проекте