Обычно, когда вы редактируете видео – меняете фон, подставляете другой объект или корректируете освещение – процесс выглядит так: внесли изменения, нажали кнопку, подождали. Иногда минуту, иногда час. Это называется рендеринг, и он неизбежен, если вы работаете со сложными эффектами.
Команда Decart AI выпустила Lucy 2.0 – модель, которая выполняет эту работу в реальном времени. Проще говоря, вы видите результат сразу, пока вносите правки. Никакого ожидания.
Что такое модель трансформации мира (world transformation model)
Lucy 2.0 называют моделью трансформации мира. Звучит абстрактно, но суть проста: модель умеет менять содержимое видео, сохраняя его структуру и движение.
Например, вы снимаете человека на камеру. Lucy может заменить его на другого персонажа, изменить одежду, окружение или даже стиль картинки – и всё это без остановки видеопотока. Модель не просто накладывает фильтр. Она понимает, что происходит в кадре, и перестраивает изображение с учётом движения, света и перспективы.
Раньше подобные задачи требовали мощного оборудования и времени. Теперь это можно делать вживую.
Зачем это нужно
Первое, что приходит в голову, – видеоредакторы и стримеры. Возможность менять фон, объекты или внешность персонажа в прямом эфире – это удобно и открывает новые форматы контента.
Но есть и менее очевидные применения. Например, в робототехнике. Когда вы обучаете робота действовать в реальном мире, ему нужно много данных: разные условия освещения, объекты, текстуры. Lucy 2.0 может генерировать эти варианты на лету, превращая одну сцену в десятки разных. Это называется аугментацией данных, и в реальном времени она работает гораздо быстрее.
Ещё один сценарий – симуляция. Если вам нужно протестировать, как система компьютерного зрения поведёт себя в разных ситуациях, Lucy может создавать эти ситуации прямо в процессе работы.
И, конечно, продакт-плейсмент. Представьте, что вы можете заменить товар в уже снятом видео – без пересъёмки и постобработки. Это экономит время и деньги.
Как это работает
Точные технические детали Decart AI пока не раскрывает полностью, но общий принцип понятен. Lucy 2.0 использует подход, похожий на диффузионные модели – те самые, что лежат в основе генераторов изображений вроде Stable Diffusion или Midjourney.
Только здесь всё заточено под скорость. Модель обрабатывает каждый кадр с учётом предыдущего, сохраняя непрерывность движения и структуры сцены. Это позволяет избежать мерцания и артефактов, которые обычно появляются при покадровой генерации.
Ключевое слово здесь – высокая точность. Decart AI называет Lucy 2.0 SOTA (state of the art), то есть лучшей на данный момент в своём классе.
Что ещё важно знать
Lucy 2.0 – это не первая версия. Была Lucy 1.0, но о ней известно меньше. Судя по всему, вторая версия – это серьёзный шаг вперёд именно в плане скорости и качества одновременно.
Пока неясно, насколько доступной будет модель для обычных пользователей. Обычно такие технологии сначала появляются в виде API или закрытого инструмента для компаний. Но сам факт, что это работает в реальном времени, уже меняет планку ожиданий.
Ещё один открытый вопрос – требования к оборудованию. Реальное время – это хорошо, но на каком оборудовании? Если для этого нужна топовая видеокарта, массовое применение будет ограничено. Если модель оптимизирована так, что работает на средних конфигурациях, – это уже другая история.
Что дальше
Lucy 2.0 показывает, куда движется видеогенерация. Раньше мы привыкли ждать результата. Теперь модели учатся работать вместе с нами, в том же темпе, в котором мы думаем и действуем.
Это касается не только видео. Похожая логика применима к 3D, к симуляциям, к интерактивному контенту. Граница между созданием и редактированием стирается. Вы больше не готовите материал заранее – вы формируете его прямо в процессе.
Посмотрим, как быстро эта технология выйдет за пределы лабораторий и студий. Но направление уже задано.