Живые сказки
Интерактивная книжка, которая оживает, пока взрослый читает вслух: речь распознаётся прямо на устройстве, и иллюстрации двигаются в нужный момент. Десять сказок на русском и английском; готовится приложение для iPhone, есть веб-демо.
Читал сыну книжку и подумал: а что, если картинки будут реагировать на голос? «Живые сказки» — эта идея, выросшая в продукт. Вы читаете сказку вслух, приложение следит за текстом, и как только вы доходите до ключевой строки, картинка оживает: колобок катится ровно тогда, когда вы дочитали фразу. Распознавание речи работает целиком на устройстве, голос никуда не уходит. Десять сказок на русском и английском — от «Колобка» и «Репки» до «Трёх поросят» и «Красной Шапочки»; «Колобок» бесплатный. Без микрофона тоже работает: нажимайте на подчёркнутые слова и листайте вручную.
Что умеет
- 01Анимации от голоса
- Картинка идёт за вашим чтением: каждая ключевая фраза запускает свою анимацию в момент, когда вы её произносите.
- 02Полностью на устройстве
- Речь распознаётся на устройстве (sherpa-onnx в приложении, Vosk в веб-демо); звук никуда не уходит.
- 03Словарь страницы
- Распознавание ограничено словами текущей страницы, поэтому оно заметно точнее при детском темпе чтения.
- 04Работает без микрофона
- Нажимайте подчёркнутые слова, чтобы запустить те же анимации, и листайте страницы вручную.
- 05Записи чтения
- Чтение взрослого можно сохранить на устройстве, чтобы ребёнок послушал его снова — с теми же анимациями.
Ход работы
- 01 Идея и прототип Идея родилась во время чтения с сыном; первый рабочий прототип собран за вечер.
- 02 Колобок Первая сказка: 14 иллюстрированных страниц и анимации по голосу уже доступны.
- 03 Десять сказок, два языка Десять классических сказок на русском и английском, у каждой свои иллюстрированные страницы.
- 04 Приложение для iPhone Приложение на Flutter с распознаванием на устройстве, записями чтения и покупками; готовится к App Store.