Первый и последний кадр
Сразу уберём путаницу, из-за которой этот приём трудно нагуглить по-русски. Речь не про интерполяцию кадров ради FPS — не про то, как из 24 кадров в секунду делают 60. Речь про режим генерации, где вы даёте модели две картинки — начало и конец плана, — а она сама сочиняет движение между ними. Это разные вещи, и вторая гораздо интереснее.
Именно на ней держится любой клип, который не разваливается на склейках.
Три способа попросить у модели план
Текст → видео. Вы описываете план, модель придумывает всё, включая ту композицию, которая была у вас в голове и которую вы не получили. Дешевле всего написать, дороже всего итерировать: каждая отбраковка — это полная генерация видео.
Картинка → видео (только первый кадр). Вы рисуете открывающий кадр, модель уводит движение от него. Уже сильно лучше: под контролем композиция, персонаж, палитра. Но под контролем только отправление. Куда план приедет — решает модель, и каждый прогон решает по-новому.
Первый и последний кадр. Вы даёте оба конца. Модель генерирует движение между ними и обязана прийти во вторую картинку. Технически референсы кодируются, и модель строит временно-согласованный путь из состояния A в состояние B. Практически — у плана появляется точка прибытия.
Наш конвейер построен на третьем режиме, и поэтому у каждой сцены в студии на карточке два кадра, а не один.
Почему точка прибытия решает всё именно в клипе
Одиночному ролику достаточно хорошо выглядеть. Клипу нужно 30 планов, которые ведут себя так, будто их снял один человек в один день. Отсюда прямо следуют четыре вещи.
1. Склейка попадает туда, куда хочет песня. Вы можете поставить конец плана на долю, просто нарисовав кадр, который должен быть на этой доле. При генерации по одному кадру план кончается там, где у модели кончились секунды, и вы монтируете под модель, а не под музыку.
2. Сквозная связность достаётся бесплатно. Если седьмая сцена кончается лицом в камеру, восьмая может с него начаться. Оба кадра нарисованы с одного референса персонажа, поэтому стык читается как склейка, а не как прыжок. Сцепите так весь трек — и набор роликов станет клипом.
3. Движение становится решением, а не лотереей. «Камера наезжает через дверной проём» — это промт, и модель может его взять, а может нет. Кадр A — общий план у двери, кадр B — крупный план лица внутри — это техзадание. Наезд произойдёт, потому что другого способа попасть из A в B нет.
4. Отбраковка дешевеет. Если не тот кадр прибытия, вы перегенерируете одну картинку, а не видео. В наших ценах это $0.09 вместо $1.98 — и это самый сильный рычаг на стоимости доведения клипа (полный разбор цен).
Чего приём не умеет
Здесь обзоры обычно перепродают, поэтому прямо: это интерполяция, а не телепортация.
Модель строит правдоподобный путь между двумя картинками. Если такой путь существует — вы получаете красивое управляемое движение. Если нет — вы получаете кашу: морф, в котором объект протекает сквозь невозможное промежуточное состояние.
Правило, которое выводится из работы на объёме: меняйте одну вещь за сцену.
| Дельта между кадрами | Результат |
|---|---|
| Камера едет, объект стоит | Отлично — самые чистые наезды, панорамы и отъезды |
| Объект двигается, камера стоит | Очень хорошо — поворот, шаг, подъём головы, поднятая рука |
| Меняется свет или погода | Хорошо — включилась лампа, село солнце, пошёл дождь |
| Меняется и объект, и камера, и локация | Каша. Это две сцены, а не одна |
| В кадре B другой персонаж | Каша. Всегда |
Если вы ловите себя на том, что второй кадр — это уже новая идея, значит вы нашли склейку. Разбейте на две сцены. Шесть секунд хватает ровно на одну мысль — что, вообще-то, верно про монтаж в целом и было верно задолго до всего этого.
Какие движки это поддерживают
Не все, и те, что поддерживают, подключают это по-разному.
| Движок | Последний кадр | Как принимает |
|---|---|---|
| Seedance 2 Mini / 2.0 / 2.5 | да | first_frame_url + last_frame_url |
| MiniMax H3 | да | first_frame_url + last_frame_url |
| Kling 3.0 / 3.0 Pro | да | массив ссылок, первый и последний по порядку |
| Grok (наш бесплатный шлюз) | нет | оживляет только первый кадр |
Практическое следствие для бесплатного тарифа лучше сказать сразу, а не сноской: на Grok получается настоящий клип, но планы уводит от вашего кадра, а не ведёт к заданному концу. Склейки свободнее, движение предложено, а не задано. Это правильный инструмент, чтобы проверить идею, — и ровно за этим бесплатный тариф и существует (сравнение движков).
Рабочий метод
Вот цикл, который крутит студия. Он работает так же, если вы собираете всё руками из отдельных инструментов.
Раскадровка раньше пикселей. Сначала режем трек на сцены с таймкодами. План, забракованный на листе эскизов, стоит ноль; план, забракованный после оживления, — полную генерацию. Наш второй шаг рисует всю раскадровку одним листом именно поэтому: видно, держится ли история, до того как на неё что-то потрачено.
Персонаж фиксируется один раз. Лицо, которому предстоит пережить 30 сцен, нельзя описывать текстом 30 раз — оно уплывёт. Оно должно прийти референсами: разворот в нескольких ракурсах плюс отдельные атрибуты (шлем, очки, куртка), которые подтягиваются по имени только там, где нужны. Современные модели картинок принимают до восьми отдельных референсов, и именно это делает двадцать седьмую сцену узнаваемой после третьей.
Оба кадра — с одного референса. Кадр A и кадр B — это один и тот же персонаж в том же месте, на мгновение позже. Генерируйте их с одних референсов и в одном стиле, и интерполяции будет почти не с чем бороться.
Маленькая дельта, потом оживление. Одно изменение. Потом смотрим результат и, если он не тот, спрашиваем, какой из двух кадров виноват. Обычно B, и обычно потому, что B слишком амбициозен.
Сцепляйте концы. Когда две сцены должны читаться непрерывно, берите последний кадр одной как отправную точку следующей.
Попробуйте на настоящей песне
Каждая сцена в студии — это карточка с первым кадром, последним кадром, кнопкой перерисовки на каждом и ценой действия в очках до нажатия. Бесплатный тариф даёт полный трёхминутный клип — 30 сцен — без регистрации и без карты. Этого достаточно, чтобы почувствовать разницу между планом, у которого есть точка прибытия, и планом, у которого её нет.
Открыть студию → · Как устроены четыре шага · Тарифы
Читайте дальше: Сколько стоит клип нейросетью · Seedance, Kling или Grok · Клип на свой трек бесплатно