基于时间特征维护的扩散模型量化

主讲人:黄雨石 | 北京航空航天大学本科生

  • 开课时间

    2024.05.07 19:55

  • 课程时长

    58分钟

  • 学习人数

    2000人次学习

立即学习
添加助教进群领取课件&论文

立即学习

基于时间特征维护的扩散模型量化

扩散模型是一个流行的图像生成框架,由于其较长的推理时间和大量的内存需求,面临着广泛应用的重大挑战。高效的训练后量化(PTQ)对于传统模型的优化至关重要。与传统模型不同,扩散模型在多轮去噪过程中严重依赖时间步骤。通常,来自有限集合的时间步长数据 {1,...,T} 无论样本数据如何,都由几个模块编码为时间特征。然而,现有的PTQ方法并没有单独优化这些模块。它们采用不适当的重建目标和复杂的校准方法,导致时间特征和去噪轨迹的严重扰动,以及低压缩效率。为了解决这些问题,我们提出了一个基于时间信息块的时间特征维护量化(TFMQ)框架,该块仅与时间步骤相关,与采样数据无关。通过这种创新的块设计,我们设计了时间信息感知重建(TIAR)和有限集校准(FSC),以在有限的时间内对齐全精度时间特征。配备了这个框架,我们可以保持最多的时间信息并确保端到端的生成质量。在各种数据集和扩散模型上的广泛实验证明了我们的技术达到了SOTA的结果。

 

扩散模型是一个流行的图像生成框架,由于其较长的推理时间和大量的内存需求,面临着广泛应用的重大挑战。高效的训练后量化(PTQ)对于传统模型的优化至关重要。与传统模型不同,扩散模型在多轮去噪过程中严重依赖时间步骤。通常,来自有限集合的时间步长数据 {1,...,T} 无论样本数据如何,都由几个模块编码为时间特征。然而,现有的PTQ方法并没有单独优化这些模块。它们采用不适当的重建目标和复杂的校准方法,导致时间特征和去噪轨迹的严重扰动,以及低压缩效率。为了解决这些问题,我们提出了一个基于时间信息块的时间特征维护量化(TFMQ)框架,该块仅与时间步骤相关,与采样数据无关。通过这种创新的块设计,我们设计了时间信息感知重建(TIAR)和有限集校准(FSC),以在有限的时间内对齐全精度时间特征。配备了这个框架,我们可以保持最多的时间信息并确保端到端的生成质量。在各种数据集和扩散模型上的广泛实验证明了我们的技术达到了SOTA的结果。

 

模型压缩与部署 模型压缩与部署 基础
模型压缩与部署 模型压缩与部署 进阶
模型压缩与部署 模型压缩与部署 进阶
模型压缩与部署 模型压缩与部署 基础