STARFLOW: Scaling Latent Normalizing Flows for High-resolution Image Synthesis

Описание

В этой статье представлен STARFlow, масштабируемая генеративная модель, основанная на нормализующих потоках и предназначенная для синтеза изображений высокого разрешения. Опираясь на архитектуру Transformer Autoregressive Flow (TARFlow), STARFlow стремится расширить границы генерации изображений на основе потоков. Авторы сначала устанавливают теоретическую универсальность стекированных авторегрессионных потоков для моделирования непрерывных распределений. Ключевое нововведение — архитектура "глубокий-мелкий" (deep-shallow), где большая часть емкости модели сосредоточена в глубоком блоке, за которым следуют вычислительно более дешевые мелкие блоки. Еще одна важная техника — обучение в латентном пространстве предобученных автокодировщиков, что оказывается намного эффективнее прямого моделирования пикселей для высоких разрешений. STARFlow также включает новый алгоритм управления (guidance), переосмысленный с точки зрения функции оценки (score function), который значительно улучшает качество сэмплов, особенно при генерации изображений по тексту. Модель представляет собой сквозной (end-to-end) нормализующий поток, что позволяет проводить точное обучение методом максимального правдоподобия в непрерывном пространстве без ограничений дискретизации. Экспериментальные результаты показывают, что STARFlow достигает конкурентоспособных результатов на бенчмарках генерации изображений, обусловленной классом и текстом, приближаясь по качеству к передовым диффузионным моделям. Модель успешно генерирует изображения высокого разрешения с переменным соотношением сторон и поддерживает такие приложения, как инпейнтинг (inpainting) и редактирование. STARFlow представляет собой первую успешную демонстрацию нормализующих потоков, эффективно работающих в таком масштабе и разрешении, предлагая масштабируемую альтернативу диффузионным и авторегрессионным методам, несмотря на некоторые текущие ограничения.


статья - https://arxiv.org/pdf/2506.06276v1
подписаться - https://t.me/arxivdotorg
создано с помощью NotebookLM

Автор

Paper debate