Diffuse and Disperse: Image Generation with Representation Regularization

Описание

Распространение и Рассеивание: Генерация Изображений с Регуляризацией Представлений


Развитие диффузионных генеративных моделей в значительной степени происходило независимо от достижений в обучении представлений. Эти модели обычно основаны на регрессионных целевых функциях и не имеют явной регуляризации на обучаемых представлениях. В этой работе предлагается Dispersive Loss, простой подключаемый регуляризатор для улучшения диффузионных моделей. Dispersive Loss стимулирует рассеивание внутренних представлений в скрытом пространстве, аналогично контрастному обучению, но без необходимости в положительных парах. Такой дизайн позволяет применять его к одному батчу без дополнительных представлений, аугментации или параметров, легко интегрируясь со стандартной диффузионной функцией потерь. Концепция Dispersive Loss может быть получена из различных контрастных функций потерь путем удаления положительных членов. Эксперименты на ImageNet с моделями DiT и SiT различного масштаба показывают стабильное улучшение производительности по сравнению с сильными базовыми моделями. Показано, что эффект регуляризации устойчив к выбору гиперпараметров и конкретному слою, к которому он применяется. Dispersive Loss также улучшает одношаговые генеративные модели, такие как MeanFlow, достигая современных результатов. В отличие от методов, основанных на внешнем предварительном обучении, таких как REPA, Dispersive Loss является полностью самодостаточным.


документ - https://arxiv.org/pdf/2506.09027v1
подписаться - https://t.me/arxivdotorg
создано с помощью NotebookLM

Автор

Paper debate