Студия видеоуроков
Автоматическая запись обучающих видеоуроков по веб-интерфейсу. Голос диктора синтезируется, браузер сам ходит по админке в темпе речи, на выходе готовый mp4 - так сняты больше ста уроков для PokerBot Online и SABTRANS.
Задача
Студия видеоуроков - конвейер, который снимает обучающие ролики по моим админкам без оператора и диктора: пишу сценарий, получаю mp4. Нужна она для своих продуктов, где интерфейс меняется каждую неделю, а клиентам надо показывать, куда нажимать.
Записывать уроки руками - это микрофон, тихая комната, несколько дублей и переделка каждого ролика, как только поменялась кнопка. При частых выкатках видео устаревает быстрее, чем его успеваешь снять. Хотелось, чтобы урок пересобирался так же легко, как код.
Что сделано
- Сценарий вместо съемки. Урок - файл с шагами: реплика диктора и действия на экране - навести, нажать, набрать текст, подсветить поле, показать плашку с пояснением.
- Голос. Реплики читает синтез речи на своем сервере с видеокартой: урок озвучивается за минуты. Числа и сокращения пишутся словами, неверные ударения правятся словарем. После правки текста переозвучиваются только измененные реплики.
- Браузер сам ходит по интерфейсу. Каждый шаг на экране длится не меньше своей реплики, поэтому курсор и голос идут в одном темпе.
- Проверка дикции. Готовый голос прогоняется через распознавание речи: если распознанное не совпало с репликой, слово проглочено или прочитано не так.
- Демо-данные в кадре. Снимается локальный стенд с выдуманными клиентами, а то, чего на стенде нет (например, ответ 1С), подменяется на лету.
- Уроки в продуктах. Для PokerBot Online - сотня уроков по админке клуба, для SABTRANS - уроки по финансам, складу, сервису и связке с 1С. Студия переехала и в КиВи.
Как устроено
Сначала синтезируется голос - длительности реплик нужны записи. Затем Playwright открывает интерфейс в браузере без окна, проходит шаги сценария и снимает кадры. Сборщик на Python сводит кадры и реплики в mp4 через ffmpeg.
Тонкое место - синхронность. Под нагрузкой браузер отдает кадры вперемешку, и в одном прогоне картинка к концу ролика отстала от голоса на 24 секунды. Теперь кадры сортируются по времени, а после сборки снимаются контрольные кадры, чтобы проверить ролик глазами за пару секунд.
Студия родилась в покере и потом переехала в другие проекты: меняются только вход в админку, подмены и сценарии.
Коротко
Что это? Инструмент, который сам снимает обучающие видеоуроки по веб-интерфейсу: синтезирует голос, водит браузер по экрану и собирает mp4.
Для кого? Для продуктов с админкой, где интерфейс часто меняется, а пользователям нужны короткие уроки «как это сделать».
Чем отличается от записи экрана в Loom или OBS? Там нужен человек, микрофон и новый дубль после каждой правки. Здесь урок - текстовый сценарий: поменялась кнопка - поправил шаг и пересобрал ролик.
Сколько времени занимает урок? Голос синтезируется за минуты на видеокарте, запись идет в темпе речи диктора.