面对扩散模子推理速率慢、老本高的问题，HKUST& 北航 & 商汤提议了全新缓存加快决策—— HarmoniCa：锻练 - 推理协同的特征缓存加快框架，突破 DiT 架构在部署端的速率瓶颈，奏效结束高性能无损加快。

△HarmoniCa 合座压缩框架

由于现存计算并不成统统反应图像恶果优劣，因此该团队连系东谈主员提供了多量可视化恶果对比图，更多对比请看原论文。

△PIXART- 图像生成恶果图

该责任已被 ICML 2025 吸收为 Poster，并开源面貌代码。

Diffusion 加快难在哪？

Diffusion Transformer（DiT）行动高辨认率图像生成主力架构，在推理阶段仍濒临「肖似预备多」「耗时严重」的执行瓶颈。举例，使用 PIXART- α 生成一张 2048 × 2048 图像即需 14 秒，严重影响落地服从。

近期「特征缓存（Feature Caching）」成为加快新想路，但已有步地宽绰存在两大关节问题：

前序时刻步无感知：锻练阶段忽略缓存历史，推理时则高度依赖先前舍弃，二者逻辑断裂；

锻练认识错位：锻练瞄准中间噪声误差，推理关怀最终图像质地，优化标的以火去蛾；

这两大错配，导致已有缓存学习步地加快有限、图像失真显然。缓存机制的基本责任旨趣如下：

△缓存机制 HarmoniCa 缓存学习框架

一句话考究：认识一致、旅途同步，锻练与推理信得过协同优化

该责任提议的 HarmoniCa 框架通过两个关节机制，从根柢上不息了以往学习型特征缓存步地中的锻练 - 推理脱节问题：

一、Step-Wise Denoising Training（SDT）

渐渐去噪锻练，模拟推理全历程，误差不再层层积存。

传统步地在锻练时仅采样某个时刻步，缓存是空的，统统跳过了"历史缓存影响"，而推理时，缓存是重新累积的，锻练和推理根柢不是一趟事。

进而该责任提议 SDT 来碎裂这一不一致：

1）构建完竣的 T 步去噪过程，与推理一致；

2）西宾 - 学生结构：学生使用缓存进行去噪，西宾不使用缓存行动"设想输出"；3）每一时刻步的 Router 都被独处更新，显式对都多轮缓存旅途下的输出误差；4）学生模子每步将我方的输出行动下一个输入，使得误差传播机制靠近果然推理轨迹。

恶果：SDT 显赫责难了时刻步间误差积存，栽培最终图像明晰度与踏实性。

△SDT 有用扼制误差膨胀（红色为旧步地，蓝色为 SDT）二、Image Error Proxy Objective（IEPO）

一句话考究：不是"中间好"，而是"临了图像好"，优化认识即是甩抄自身。

以往步地锻练时只对都每一步的噪声误差，而推理的认识是最终图像质地，两者认识严重错配，导致缓存 Router 学出来"看似合理"但恶果很差。

该责任提议 IEPO 机制，中枢想想是：

通过代理项 λ ( t ) 来估算"使用缓存 vs 不使用缓存"在时刻步 t 对最终图像 x ₀ 的影响；

越关节的时刻步，其 λ ( t ) 越大，拓荒 Router 减少该步缓存复用，保留精度；

每隔些许轮从腾达成一批图像，动态更新 λ ( t ) ，保证认识永远贴合锻练情状。

IEPO 的优化认识为：

即在"图像质地"与"加快率"之间结束可控量度。

实验舍弃

该责任在两个典型任务场景中考据了 HarmoniCa 的有用性：

分类条款生成（DiT-XL/2@ImageNet）

文本生成图像（PIXART- α @COCO，多辨认率）

对譬如式包括现时最好的缓存学习步地 Learning-to-Cache ( LTC ) 、启发式缓存步地 FORA / ∆ -DiT，以及多种加快器诞生（DDIM 步数缩减、量化剪枝等）。

分类条款生成（DiT-XL/2 256 × 256）

重心论断：

在高压缩率场景（10 步推理）下，HarmoniCa 保握图像质地上风，FID 比 LTC 更低、IS 更高

同期达成更高缓存期骗率，栽培 内容加快恶果

文本生成图像（PIXART- α 256 × 256）

即使在 2K 高辨认率下，HarmoniCa 仍保握 1.69 × 内容加快

在 CLIP 语义匹配、FID 等主流计算上均跳动 FORA

量化 / 剪枝 VS HarmoniCa

除了与主流缓存步地的对比，该责任也评估了 HarmoniCa 比较剪枝和量化等压缩期间的推崇。在息争的 20 步采样诞生下，传统决策如 PTQ4DiT、EfficientDM 等诚然模子更小，但内容加快依赖硬件支握，特别是一些定制 CUDA 内核在 H800 等新架构上推崇并不踏实。更热切的是，量化模子在小步数采样频频时精度下跌严重，PTQ4DiT 就出现了显然的性能下滑。而 HarmoniCa 不依赖底层魔改，无需专用硬件，在多样主流采样器和确立上都能踏实提速，保握图像质地，是现时更通用、更稳当的部署选拔。

△与量化 / 剪枝步地的比较

与量化合股

该责任还考据了 HarmoniCa 与模子量化期间的高度兼容性。在 PIXART- α 256 × 256 场景下，将 HarmoniCa 应用于 4bit 量化模子（EfficientDM），推理速率从 1.18 × 栽培至1.85 ×，FID 仅略增 0.12，简直无感知各异。诠释 HarmoniCa 不仅可独处提速，也能行动"加快插件"叠加于量化模子之上，进一步开释性能后劲。改日，该责任也计算探索其与剪枝、蒸馏等期间的组合才略，为 DiT 模子的轻量部署开辟更多可能。

△HarmoniCa 和量化步地的组合支出分析

除了推理提速和质地栽培，HarmoniCa 在锻练与推理支出上也展现出极强上风，是信得过能用、敢用、易部署的工业级决策。

△锻练支出对比

锻练侧：

HarmoniCa 接管无需图像的锻练政策，仅基于模子和噪声即可完成优化，不依赖任何绝顶数据。在同等锻练轮次下，其锻练时刻比主流决策 LTC 裁汰约 25%，显存占用临近，可在单卡踏实驱动，合乎闭源模子加快和快速迭代。

推理侧：

推理端新增 Router 极其轻量，参数仅占 0.03%，预备支出低于总 FLOPs 的 0.001%，简直不影响糊涂。合作特征缓存，HarmoniCa 在 PIXART- α 上可结束表面加快比 2.07 ×、实测加快 1.69 ×，具备优胜的部署服从与工程可行性。

考究：缓存加快的新范式，锻练推理协同才是正解！

现时 Diffusion 加快旅途中，缓存机制正逐步成为主流决策，但传统作念法要么依赖手工规定、要么锻练认识错位，无法在果然部署中兼顾性能、服从、顺应性。

该责任提议的 HarmoniCa 框架，初次通过：

SDT ——果然模拟推理轨迹，让缓存举止"可锻练"；

IEPO ——从舍弃启程优化认识，兼顾图像质地与加快比；

无图像锻练 / 多模子适配 / 高辨认率通用，让部署更应对；

在 PIXART、DiT、LFM 等多个模子上，HarmoniCa 都结束了更快的推理、更高的质地、更低的锻练门槛，为缓存加快期间注入"可落地"的关节相沿。

论文地址：https://arxiv.org/abs/2410.01723  

代码地址：https://github.com/ModelTC/HarmoniCa

一键三连「点赞」「转发」「留心心」

宽贷在洽商区留住你的想法！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见体育游戏app平台