Яндекс и НИУ ВШЭ разработали метод ускорения нейросетей для генерации изображенийКоманда исследователей из Yandex Research и НИУ ВШЭ разработала метод SwD (Scale-wise Distillation of Diffusion Models), который ускоряет генерацию изображений в диффузионных моделях, снижая вычислительные затраты без ущерба для качества. Как рассказали разработчики, обычно процесс требует множества шагов с вычислениями в высоком разрешении, что замедляет генерацию. SwD решает эту проблему, начиная генерацию с низкого разрешения и постепенно уточняя изображение по мере снижения шума.
Метод также использует дистилляцию уже обученных моделей, таких как FLUX и Stable Diffusion 3.5, где более простая модель-студент воспроизводит результат сложной, сокращая число шагов генерации с десятков до 4–6. Для обучения применяется новая функция потерь — Maximum Mean Discrepancy (MMD), которая сравнивает внутренние представления изображений у модели-учителя и студента. Это упрощает и ускоряет обучение, сокращая время одной итерации в 7 раз.
SwD позволяет получать изображения за 0,3–0,4 секунды, сохраняя визуальное качество. Это делает современные диффузионные модели быстрее и дешевле в использовании, расширяя их функциональность для практического применения. Статья о разработке принята на конференцию ICLR 2026.
источник -
здесь
