ПродуктВ работе

Конспект

Диктофон с расшифровкой речи в текст на русском - лекции, встречи и заметки превращаются в текст с пунктуацией, временем каждого слова и поиском по всем записям. Расшифровка идет на своих серверах в России, голос за рубеж не уходит.

Задача

«Конспект» - диктофон, который превращает русскую речь в текст: записал лекцию, встречу или заметку - и через несколько секунд читаешь ее с пунктуацией, временем каждого слова и поиском по всем записям. Для студентов, тех, кто много созванивается, и всех, кому проще сказать, чем написать.

Готовые сервисы расшифровки обычно отправляют голос в зарубежное облако, а голос - это персональные данные. Хотелось, чтобы запись никуда не уезжала: расшифровка на своей видеокарте, хранение на сервере в России.

Что сделано

  • Запись и текст. Запись в браузере на телефоне или компьютере, текст с пунктуацией, заглавными и цифрами («бюджет до 9 млн руб.»).
  • Время каждого слова. Нажал на слово - плеер перемотал на это место записи.
  • Поиск по всем записям, причем по записи целиком: слова одной мысли находятся, даже если попали в соседние куски нарезки.
  • Запись не теряется. Браузер сохраняет куски каждые пять секунд: закрылась вкладка или пропала сеть - на главной будет кнопка «Отправить». В приложении для iPhone часовая запись уходит в фоне, пока телефон в кармане.
  • Звонок ставит запись на паузу и сам ее не продолжает: чужой разговор в чужой записи - худшее, что тут может случиться.
  • Без регистрации. Аккаунт заводится на устройстве одним нажатием, почту и телефон не спрашиваю. Аудио удаляется по сроку, который выбирает сам человек, аккаунт удаляется целиком.

Как устроено

Три части. Веб-приложение на телефоне пишет звук и показывает текст. Сервер на FastAPI держит записи, очередь и поиск, модели на нем нет - ему место на недорогой машине в России. Воркер с моделью GigaAM v3 на видеокарте сам ходит к серверу за задачами, поэтому машина с видеокартой не открывает наружу ни одного порта, а воркеров можно добавить сколько угодно.

Длинная запись режется по тишине, в самом тихом месте окна, а не ровно по 20 секунд: на полуторачасовой лекции это сотни разрезов, и смазанное слово на каждом выглядело бы как плохая расшифровка. Куски разных записей идут в модель одной пачкой - на видеокарте это в пять раз быстрее, чем по одному. Короткие записи идут вперед, чтобы минутная заметка не ждала за чужой двухчасовой лекцией.

Проверка под нагрузкой: 100 человек одновременно, 20 часов записей - все готово за 78 секунд, без ошибок. Двухминутная запись обычно ждала около 4 секунд.

Приложение для iPhone пока в закрытом тестировании. Это гибрид: нативно сделаны только запись и фоновая отправка, остальное - тот же веб-интерфейс. Тот же движок расшифровки работает в голосовых сообщениях «Вызова» и в дневнике «Моего ежика».

Что дальше

Отправка звука прямо во время записи, конспект по шаблонам - лекция, встреча, прием врача - и версия для Android.

Коротко

Что это? Диктофон с автоматической расшифровкой русской речи в текст: пунктуация, время каждого слова и поиск по всем записям.

Для кого? Для студентов на лекциях, для встреч и созвонов, для голосовых заметок - для всех, кому проще сказать, чем написать.

Чем отличается от Otter и похожих сервисов? Расшифровка идет на моей видеокарте моделью GigaAM, сделанной для русского языка, а записи хранятся на сервере в России и не уходят сторонним сервисам.

Нужна ли регистрация? Нет: аккаунт создается на устройстве одним нажатием, без почты и телефона.

Esc

↑↓ выбор Enter открыть