Конспект
Диктофон с расшифровкой речи в текст на русском - лекции, встречи и заметки превращаются в текст с пунктуацией, временем каждого слова и поиском по всем записям. Расшифровка идет на своих серверах в России, голос за рубеж не уходит.
Задача
«Конспект» - диктофон, который превращает русскую речь в текст: записал лекцию, встречу или заметку - и через несколько секунд читаешь ее с пунктуацией, временем каждого слова и поиском по всем записям. Для студентов, тех, кто много созванивается, и всех, кому проще сказать, чем написать.
Готовые сервисы расшифровки обычно отправляют голос в зарубежное облако, а голос - это персональные данные. Хотелось, чтобы запись никуда не уезжала: расшифровка на своей видеокарте, хранение на сервере в России.
Что сделано
- Запись и текст. Запись в браузере на телефоне или компьютере, текст с пунктуацией, заглавными и цифрами («бюджет до 9 млн руб.»).
- Время каждого слова. Нажал на слово - плеер перемотал на это место записи.
- Поиск по всем записям, причем по записи целиком: слова одной мысли находятся, даже если попали в соседние куски нарезки.
- Запись не теряется. Браузер сохраняет куски каждые пять секунд: закрылась вкладка или пропала сеть - на главной будет кнопка «Отправить». В приложении для iPhone часовая запись уходит в фоне, пока телефон в кармане.
- Звонок ставит запись на паузу и сам ее не продолжает: чужой разговор в чужой записи - худшее, что тут может случиться.
- Без регистрации. Аккаунт заводится на устройстве одним нажатием, почту и телефон не спрашиваю. Аудио удаляется по сроку, который выбирает сам человек, аккаунт удаляется целиком.
Как устроено
Три части. Веб-приложение на телефоне пишет звук и показывает текст. Сервер на FastAPI держит записи, очередь и поиск, модели на нем нет - ему место на недорогой машине в России. Воркер с моделью GigaAM v3 на видеокарте сам ходит к серверу за задачами, поэтому машина с видеокартой не открывает наружу ни одного порта, а воркеров можно добавить сколько угодно.
Длинная запись режется по тишине, в самом тихом месте окна, а не ровно по 20 секунд: на полуторачасовой лекции это сотни разрезов, и смазанное слово на каждом выглядело бы как плохая расшифровка. Куски разных записей идут в модель одной пачкой - на видеокарте это в пять раз быстрее, чем по одному. Короткие записи идут вперед, чтобы минутная заметка не ждала за чужой двухчасовой лекцией.
Проверка под нагрузкой: 100 человек одновременно, 20 часов записей - все готово за 78 секунд, без ошибок. Двухминутная запись обычно ждала около 4 секунд.
Приложение для iPhone пока в закрытом тестировании. Это гибрид: нативно сделаны только запись и фоновая отправка, остальное - тот же веб-интерфейс. Тот же движок расшифровки работает в голосовых сообщениях «Вызова» и в дневнике «Моего ежика».
Что дальше
Отправка звука прямо во время записи, конспект по шаблонам - лекция, встреча, прием врача - и версия для Android.
Коротко
Что это? Диктофон с автоматической расшифровкой русской речи в текст: пунктуация, время каждого слова и поиск по всем записям.
Для кого? Для студентов на лекциях, для встреч и созвонов, для голосовых заметок - для всех, кому проще сказать, чем написать.
Чем отличается от Otter и похожих сервисов? Расшифровка идет на моей видеокарте моделью GigaAM, сделанной для русского языка, а записи хранятся на сервере в России и не уходят сторонним сервисам.
Нужна ли регистрация? Нет: аккаунт создается на устройстве одним нажатием, без почты и телефона.