Два ИИ-инфлюэнсера за вечер: лицо, голос с картавостью и первый говорящий ролик

8 октября я пришёл к нейросети с двумя идеями: сделать ИИ-инфлюэнсеров и заработать на них. Про «заработать» пока рано, а про «сделать» уже есть что рассказать. Первая статья серии про ИИ-инфлюэнсеров.

Ниша

Я хотел три ниши сразу: здоровье, красота и разработка с нейросетями. Нейросеть посоветовала начать с разработки, и аргумент был простой: персонаж, которого «сделала нейронка», и рассказывает про то, как нейронка делает приложения. Крючок и тема совпадают. Красота без «отзывов о результате» от несуществующего лица, здоровье только про привычки и фитнес. Мы договорились на разработке, по-русски, с открытой пометкой «я нейросеть».

Девять кандидатов

Сначала нейросеть сгенерировала лист: девять лиц, по три на каждый типаж. Расслабленный парень в худи с котом, фронтендерша с каре, удалёнщик у моря.

Я выбрал двоих для сравнения: Тёму с котом и Нику. Для Ники попросил фигуру поэффектнее, без откровенности. Это важно запомнить, потому что через два дня именно фигура начнёт «гулять» от кадра к кадру, и мы введём канон.

Чтобы лицо не менялось

Главная проблема виртуальных блогеров: в каждом новом ролике немного другой человек. Решается обучением.

1. Один фронтальный портрет персонажа, эталон.
2. Десять кадров по эталону в разных ракурсах и при разном свете.
3. Обучение модели лица на этих десяти кадрах. Около 25 кредитов и час в очереди.
4. Дальше в любой генерации ссылаемся на обученное лицо.

Работает, но с оговоркой, которую мы узнали позже: модель держит лицо, а не причёску. Без описания стрижки в запросе у Ники отрастали длинные волосы, и это был уже другой человек. С тех пор строка с причёской и фигурой вставляется в каждый запрос слово в слово.

Голос

У блогера должен быть один голос навсегда, иначе зритель не узнаёт его с закрытыми глазами. Нейросеть сделала по четыре пробы на каждого, я выбрал. Нике досталась Ксения. Для Тёмы у меня было требование: лёгкая картавость, чтобы запоминался. Оказалось, что одни голосовые модели понимают инструкцию «грассирующее р», другие нет. Подобрали ту, что понимает.

Цена вопроса: доли кредита за фразу. Голос самое дешёвое во всей этой истории.

Первый говорящий ролик

Кадр персонажа плюс дорожка голоса, на выходе видео, где он это говорит. Казалось бы, всё. Вот что было на самом деле.

• Падение на 19-й секунде. Видео с голосом длиннее 19–20 секунд модель просто не делает: задача падает без объяснений, кредиты возвращаются. Правило: с голосом не длиннее 12 секунд, длинную речь резать по паузам на куски и склеивать.
• Голос опаздывает в начале и догоняет в конце. Я заметил это на глаз. Модель вставляет свои паузы между фразами, и один общий сдвиг звука не помогает. Нейросеть написала скрипт, который сравнивает огибающую звука из видео с чистым голосом кусками по полсекунды и двигает каждую фразу отдельно.
• Лишняя реплика. Ника в одном ролике помотала головой и произнесла что-то своё, чего в нашем звуке не было. Теперь такие куски ищутся автоматически: где в звуке видео есть речь, которой нет в нашем голосе, там вырез с лёгким наездом кадра.
• Инструмент монтажа врёт. Популярный консольный монтажёр на Mac падал с ошибкой «нет места на диске» при пустом диске, если резать, склеивать и сводить одной командой. Собираем по шагам.

Итог вечера: два ролика по 10 секунд, в каждом персонаж говорит своим голосом, с попаданием в губы.

Почему Тёма на паузе

Посмотрев оба ролика, я поставил Тёму на паузу, а Нику повёл дальше: зал, бар, лестница, теннис. О том, что из этого вышло коряво и почему, в следующей записи серии.

Сколько это стоило

На двоих персонажей с первыми роликами ушло примерно 150 кредитов из 1 200 месячных на тарифе, который стоит около 59 долларов. Подробная таблица цен по всем моделям будет в отдельной статье серии.

Вопросы и ответы