深度神经网络模型压缩

本章节介绍了模型压缩的相关背景和基础概念。深度神经网络在实际部署落地的过程中，由于延迟功耗等要求，往往要对模型进行压缩。模型压缩可以让模型的推理速度会更快，在自动驾驶等场景，可以提升安全性，在手机等移动端场景， 可以增强用户体验。

本章节介绍了离线量化(PTQ)的基础概念，工业界常见的量化难点，常见的PTQ算法包括BRECQ、Qdrop等，最后介绍了离线量化工具Dipoorlet。离线量化因其简易性和低开销，是最常见的模型量化或模型压缩手段，使用合适离线量化算法和工具可以帮助用户快速部署一个压缩后的，同时精度得到保障的深度学习模型。

本章节介绍了支持多后端的离线量化工具Dipoorlet的实现，包括其核心的算法Adaround、BRECQ和QDrop，以及各种校准算法的实现。同时Dipoorlet支持多种推理后端的部署，包括TRT，TI，Snpe等。其使用起来非常简单，仅仅需要一句命令行，课程最后会向大家介绍如何用Dipoorlet在TRT推理后端量化部署一个CV模型。

本章节介绍了在线量化算法和MQBench在线量化工具。在线量化在模型的训练过程中，模拟量化的行为，从而能够在训练时感知到量化的误差。通过约束模型的损失函数，在线量化在训练结束之后，即可生产出更适合量化的模型。

本章介绍了在线量化工具MQBench的实现原理和细节，MQBench基于torch.fx，实现了在线量化的各个流程，包括QAT Module的替换，BN Fuse的模拟，量化参数的初始化，不同算法的伪量化，onnx导出等。本章通过代码的讲解，巩固加深对在线量化的理解和熟悉工具的使用。

本章介绍了三种常见的AI推理后端，包括TRT, QNN，Openvino，同时也简易介绍了推理后端自带的量化框架。同时展开介绍了TRT后端的模型优化手段。最后向介绍了如何使用离线量化工具Dipoorlet在TRT, QNN后端部署Yolov8模型，以及如何编写量化训练的代码和注意事项。

本章介绍了模型压缩中常见的稀疏剪枝方法，按稀疏粒度分，分别介绍了结构化稀疏、非结构化稀疏、半结构化稀疏(n:m)。同时介绍了一些学术界的稀疏剪枝算法，和我们的稀疏工具MSBench，最后向大家介绍了如何用Msbench结构化剪枝一个ResNet模型，实现加速，以及如何在TRT后端部署半结构化稀疏的模型。

本章介绍了大模型（LLM）的量化背景，常见的大模型量化算法，以及大模型量化工具LLMC。大模型的推理成本较高，耗时压力很大，为了加速大模型的推理，大模型量化是必要的技术。本章同样会从从算法和工具的角度带大家入门并掌握大模型量化的常见技术手段。