Как научить ИИ красить чёрно-белые фото – и не перепутать небо с травой

Представьте, что вы смотрите старую чёрно-белую фотографию своей бабушки и хотите понять, какого цвета было её платье. Или вы дизайнер, который нашёл идеальную композицию в старом журнале, но нужны именно те оттенки, что на современном снимке. Именно для таких задач создаются алгоритмы колоризации на основе примера – они берут цвета с одного изображения и переносят на другое, но не абы как, а с умом.

Проблема: когда ИИ путает кота с собакой

Обычные методы колоризации работают как ребёнок с набором красок – они понимают, что трава обычно зелёная, а небо синее, но что делать с конкретным платьем на конкретной фотографии? Тут начинается путаница.

Классические подходы используют готовые признаки изображений – что-то вроде «найди углы, текстуры, линии». Это как пытаться описать человека только по росту и цвету волос. Работает, но очень грубо. Более современные методы обучают нейросети с нуля специально для колоризации, но это требует огромных вычислительных ресурсов и времени.

А что если взять уже обученную модель, которая «видела» миллиарды изображений и научилась понимать, где что находится? Именно это и предлагают исследователи.

Решение: используем «Энциклопедию» из мира ИИ

Помните Энциклопедию из «Пиратов Карибского моря»? Она содержала всё знание мира. Современные диффузионные модели вроде Stable Diffusion – это примерно то же самое для изображений. Они обучены на миллиардах картинок и научились понимать, что к чему относится.

Главная фишка нового метода – использовать механизм внимания из уже обученной модели. Внимание в нейросетях работает как умный прожектор: оно подсвечивает важные части изображения и говорит: «Эй, вот эта область на чёрно-белом фото похожа на вот эту область на цветном эталоне!»

Как это работает: двойное внимание

Представьте, что вы сравниваете две фотографии через кальку. Сначала вы накладываете чёрно-белое изображение на чёрно-белую версию эталона и отмечаете похожие области. Потом делаете то же самое, но уже с цветными версиями. Именно так работает «двойное внимание»:

Первый этап: Модель сравнивает серое входное изображение с серой версией эталона. Это помогает найти структурные соответствия – где находятся объекты, их формы и границы.

Второй этап: Система сравнивает уже частично окрашенный результат с цветным эталоном. Это уточняет цветовые соответствия.

Комбинируя эти два типа внимания, алгоритм понимает не только «где что находится», но и «какой цвет куда должен попасть».

Усиление без учителя

Второй трюк называется «руководство без классификатора». Звучит сложно, но принцип простой. Представьте, что вы рисуете картину и делаете два варианта – один обычный, другой с более яркими цветами. Потом вы сравниваете их и усиливаете различия в цвете, оставляя структуру неизменной.

Алгоритм делает два прохода: один с переносом цвета, другой без него. Затем он «вычитает» второй из первого и усиливает разность. Получается более насыщенная и точная колоризация.

Результаты: когда числа говорят сами за себя

Исследователи протестировали метод на разных наборах данных и получили впечатляющие результаты. Например, на 335 парах изображений система показала FID 95.27 – это метрика качества изображений, где чем меньше, тем лучше. Для сравнения, многие существующие методы показывают результаты в два-три раза хуже.

Но самое интересное – кросс-доменные эксперименты. Алгоритм успешно переносил цвета с современных фотографий на исторические картины. Это как научить систему понимать, что платье на портрете XVIII века может быть того же цвета, что джинсы на современном снимке, если их текстуры похожи.

Где это можно использовать

Реставрация истории: Представьте, как заиграют новыми красками старые семейные фотографии или исторические кадры.

Помощь дизайнерам: Вместо долгого ручного подбора цветов можно показать референс и получить готовый результат.

Медицинские приложения: Улучшение визуализации для людей с нарушениями цветового зрения.

Обучение ИИ: Создание цветных версий чёрно-белых изображений для пополнения обучающих наборов данных.

Ограничения: где метод даёт сбой

Как и любая технология, этот подход имеет свои границы. Если семантического соответствия между изображениями нет – например, вы пытаетесь покрасить портрет человека, используя как эталон пейзаж – результат будет странным.

Также метод работает медленнее обычных алгоритмов из-за многократного прохода через диффузионную модель. Это как использовать микроскоп для рассматривания картин – точно, но не быстро.

Что дальше

Этот подход показывает интересную тенденцию в ИИ: вместо создания новых специализированных моделей мы учимся использовать уже существующие гигантские модели для новых задач. Это как использовать швейцарский нож – один инструмент, множество применений.

ИИ – как ребёнок: он повторяет наши ошибки, но учится быстрее. В данном случае он научился не просто раскрашивать картинки, а понимать связи между объектами на разных изображениях. И это открывает двери для множества новых применений.

Так что в следующий раз, когда будете смотреть на чёрно-белую фотографию и гадать, какого цвета было то красивое платье, помните – ИИ уже научился отвечать на этот вопрос. Нужно только показать ему похожее цветное изображение в качестве подсказки.