AISVIT / AI Video / Зображення у відео

DreamActor M2.0 — Зображення у відео

Зображення у відео with DreamActor M2.0 in AISVIT. Анімуйте статичні зображення у динамічні відео. Додавайте рух камери, рух об'єктів і кінематографічні переходи з одного кадру.

Коротко про модель

Модель для керованої анімації персонажа з одного зображення та driving-відео, яка переносить міміку, жести й рух тіла у короткий ролик.

У яких випадках ця модель буде корисною?

DreamActor M2.0 найкраще працює тоді, коли у вас уже є статичний герой і окреме референсне відео з потрібним рухом, мімікою або перформансом.

Для яких задач підходить найкраще

  • Оживлення портретів, фото, ілюстрацій, аватарів, mascot-персонажів і мультгероїв.
  • Перенесення міміки, жестів, танцю, ходи або акторської подачі з одного відео на іншого персонажа.
  • Створення character-driven роликів для соцмереж, тизерів, реакцій, мем-контенту та коротких performance-сцен.
  • Анімація тварин або не-гуманоїдних персонажів, де звичайний pose tracking часто дає слабший результат.

Основні переваги

  • Модель працює не лише з реалістичними людьми, а й з малюнками, мультперсонажами та тваринами.
  • Вона добре зберігає зовнішність, стиль і впізнаваність героя, поки переносить рух із driving-відео.
  • Підходить і для крупних планів з мімікою, і для повноростових кадрів із рухом у сцені.
  • Workflow дуже простий: одне зображення плюс одне відео, без рігу, keyframe-анімації або складного монтажу.

Які є обмеження

  • Це не text-to-video модель: вона не вигадує сцену з нуля і потребує як зображення персонажа, так і driving-відео.
  • Найкраще працює, коли головний персонаж чітко видимий; натовп, сильні перекриття або хаотична камера можуть погіршити результат.
  • Вхідне зображення має містити персонажа або людину, а вхідне відео в цій інтеграції обмежене 30 секундами.
  • Якщо ракурс, масштаб або кількість персонажів сильно не збігаються між зображенням і driving-відео, анімація може виглядати менш природно.

Як використовувати цю модель?

У DreamActor M2.0 ви не описуєте рух словами. Замість цього показуєте моделі, як саме має рухатися герой, через окреме driving-відео.

Простий сценарій роботи

  1. Завантажте зображення персонажа. Найкраще працює кадр, де герой добре видимий, не обрізаний випадково і не надто розмитий.
  2. Додайте driving-відео, тобто ролик, з якого модель візьме міміку, жести, рух голови та тіла.
  3. Якщо не хочете бачити стартовий перехід у готовому ролику, залиште увімкненим параметр Cut first second.
  4. Перевірте тривалість driving-відео перед запуском: вона впливає і на очікуваний результат, і на вартість генерації.
  5. Згенеруйте ролик і, якщо рух виглядає занадто шумним, спробуйте коротше або чистіше референсне відео з більш читабельною дією.

Які вхідні дані підтримуються

  • Обов'язково: одне зображення персонажа у форматі JPEG, JPG або PNG, до 4.7 MB і в діапазоні від 480x480 до 1920x1080.
  • Обов'язково: одне driving-відео у форматі MP4, MOV або WebM, до 30 секунд і з роздільною здатністю від 200x200 до 2048x1440.
  • Найкращий результат зазвичай дають кадри, де персонаж добре освітлений, не перекритий сторонніми об'єктами і займає зрозуміле місце в кадрі.
  • Якщо у сцені кілька героїв, бажано, щоб кількість і композиція персонажів у зображенні та референсному відео були схожими.

Що ви отримаєте на виході

  • Згенерований MP4-відеофайл.
  • Рух, міміка та подача, перенесені з driving-відео на вашого персонажа.
  • Короткий character-animation ролик, який підходить для соцмереж, тизерів, презентацій персонажа або тестування сцен.
  • За ввімкненого Cut first second - результат без стартової секунди переходу, якщо модель її сформувала.

Інші workflow для цієї моделі

Інші моделі у режимі Зображення у відео

Тарифікація в AISVIT

  • Фіксована ставка: 5 кредитів за секунду.
  • Коротше driving-відео = нижча вартість, довше driving-відео = вища вартість.
  • Тип персонажа, стиль зображення і параметр Cut first second самі по собі не змінюють ставку.