内容简介
《大模型轻量化:模型压缩与训练加速》围绕大模型轻量化这一主题，系统地阐述大模型轻量化的基本理论与实现方法，旨在提升模型的部署效率和计算性能。全书分为3部分，共10章。第1部分（第1～5章），介绍大模型的背景与面临的问题，以及Transformer和MoE架构的基本原理；重点讲解模型压缩、训练加速和推理优化等核心技术，包括量化、蒸馏和剪枝等，并通过实际案例验证其效果。第2部分（第6、7章），重点介绍端侧学习与计算引擎优化策略，尤其是动态Batch和异构执行的工程实现。第3部分（第8～10章），针对高性能算子库与手工算子开发，分别以cuDNN、NEON、CUDA等为代表，揭示算子优化的细节，最后，以国产开源模型DeepSeek-V3为例，展现从训练到推理的综合优化方案。
《大模型轻量化:模型压缩与训练加速》提供全面实用的轻量化方法论，结合丰富代码示例与实践案例，适合从事大模型开发与优化的工程师，也为研究人员提供深入探讨的素材与视角，助力解决大模型训练与推理中的实际问题。
目录
目 录
第 1 部分 大模型概述与核心优化技术
第 1 章 大模型基本概念 3
1.1 大模型的兴起与发展 3
1.1.1 大规模神经网络 4
1.1.2 Transformer编码器－解码器 5
1.1.3 MoE架构 7
1.2 计算资源与性能瓶颈 9
1.2.1 GPU简介 10
1.2.2 TPU简介 12
1.2.3 网络带宽约束与分布式训练 13
1.2.4 大模型的训练时间与计算资源消耗问题 14
1.3 数据与隐私问题 16
1.3.1 急剧增加的数据量 16
1.3.2 数据隐私保护与合规性 19
1.4 模型部署与运维 20
1.4.1 模型部署基本概念 20
1.4.2 云计算与边缘计算 25
1.4.3 端侧部署 29
1.4.4 大模型运行与维护 30
1.5 本章小结 34
1.6 思考题 34
第 2 章 模型压缩、训练与推理 36
2.1 模型压缩概述 36
2.1.1 模型压缩简介 36
2.1.2 常见的模型压缩方法分类 37
2.2 训练加速基础 38
2.2.1 数据并行与模型并行 39
2.2.2 混合精度训练 40
2.2.3 分布式训练框架：Horovod 44
2.3 推理加速基础 49
2.3.1 硬件加速与推理引擎 49
2.3.2 低延迟与高吞吐量平衡 55
2.3.3 推理优化实战：批量推理 58
2.4 性能评估指标 62
2.4.1 计算复杂度与性能指标 62
2.4.2 延迟、吞吐量与精度之间的权衡 63
2.4.3 评估工具与基准测试 67
2.5 本章小结 74
2.6 思考题 75
第 3 章 模型格式转换 76
3.1 模型格式的定义与转换 76
3.1.1 常见的模型格式：ONNX、TensorFlow的SavedModel 76
3.1.2 模型格式转换实现 81
3.1.3 模型的兼容性问题 86
3.2 跨框架模型转换 90
3.2.1 TensorFlow到PyTorch的模型转换 90
3.2.2 ONNX与TensorFlow、PyTorch的兼容性 93
3.2.3 转换时的精度损失问题 99
3.3 硬件相关的格式转换 105
3.3.1 从PyTorch到TensorRT 106
3.3.2 ONNX模型与NVIDIA TensorRT的兼容性 112
3.3.3 模型格式与硬件加速的关系 113
3.4 模型格式转换的工具与库 114
3.4.1 使用ONNX进行跨平台转换 115
3.4.2 TensorFlow Lite与Edge模型优化 117
3.5 本章小结 122
3.6 思考题 123
第 4 章 图优化 124
4.1 算子融合技术 124
4.1.1 算子融合的原理 124
4.1.2 典型算子融合算法的实现 126
4.1.3 实验：算子融合对推理性能的提升 129
4.2 布局转换与优化 133
4.2.1 张量布局的原理 133
4.2.2 内存访问优化与布局选择 135
4.3 算子替换技术 137
4.3.1 用低开销算子替换高开销算子 137
4.3.2 常见的算子替换策略 139
4.4 显存优化 142
4.4.1 显存占用分析与优化 142
4.4.2 梯度检查点与显存共享 145
4.4.3 动态显存分配与内存池管理 148
4.5 本章小结 152
4.6 思考题 152
第 5 章 模型压缩 154
5.1 量化 154
5.1.1 定点量化与浮点量化的区别 154
5.1.2 量化算法与工具：TensorFlow Lite 157
5.1.3 量化带来的精度损失问题 160
5.2 知识蒸馏 163
5.2.1 知识蒸馏的基本概念与应用场景 163
5.2.2 知识蒸馏的损失函数与训练过程 164
5.2.3 如何选择蒸馏－教师网络模型 167
5.3 剪枝 169
5.3.1 网络剪枝基本原理 169
5.3.2 基于权重剪枝与结构化剪枝 171
5.3.3 剪枝后的精度恢复方案 177
5.4 二值化与极端压缩 183
5.4.1 二值化网络的构建与训练 183
5.4.2 二值化对计算与存储的影响 186
5.5 本章小结 189
5.6 思考题 189
第 2 部分 端侧学习与高效计算引擎优化
第 6 章 端侧学习、端侧推理及计算引擎优化 193
6.1 联邦学习概述 193
6.1.1 联邦学习的基本概
前言/序言
在人工智能迅猛发展的浪潮中，大规模神经网络模型凭借其卓越性能，已然成为自然语言处理、计算机视觉等诸多领域的核心竞争力。然而，大模型复杂度与资源需求的急剧膨胀，让如何在确保精度的同时，大幅削减计算成本、提升部署效率，成为了产业界与学术界共同瞩目的焦点。
本书的创作灵感，正是源自业界对于大模型轻量化愈发迫切的需求。近年来，Transformer 和 Mixture of Experts（MoE）等前沿架构引领了深度学习的革新潮流，但也带来了对计算资源的巨额消耗。在此背景下，模型压缩技术如量化、剪枝和蒸馏应运而生，为破解资源瓶颈提供了有力武器，而工程优化策略则进一步夯实了其实践基础。本书紧紧围绕这一主题，全面探讨大模型轻量化技术，包括模型压缩、训练与推理加速、端侧学习与计算引擎优化，结合实际案例与工程实现，助力提升大模型的部署效率与计算性能。
本书共分为3部分：
第1部分（第1~5章），主要阐述了大模型轻量化的基本理论。第1章概述了大模型的兴起背景与技术挑战，以Transformer与MoE架构为例，分析其在性能与计算复杂度上的权衡。第2~5章从理论和实践出发，探讨模型压缩的多种技术路径，通过实际案例说明其在提升效率与降低存储需求方面的具体应用。为帮助读者深入理解，书中附有精心设计的代码示例和测试数据，验证模型轻量化的实际效果。
第2部分（第6、7章），基于第1部分的理论沉淀，深入拓展模型轻量化理论，并以代码实践加以诠释。在第6章介绍了端侧学习、计算引擎优化和资源分配等领域的关键技术。端侧学习章节特别关注联邦学习及其在隐私保护中的应用；计算引擎优化部分则涵盖动态Batch和多副本并行调度等核心技术，解析其在实际部署中的工程难点。第7章则重点介绍高性能算子库，为后续算子开发做好准备。
第3部分（第8~10章），重点介绍高性能算子库及手工算子的开发，分别以cuDNN、CUDA、Vulkan等为代表，从理论基础到实际实现层层深入，阐明算子优化的工程细节。算子的优化在大规模训练和推理任务中具有决定性作用。最后，以国产开源力作DeepSeek-V3模型为例，完整呈现从模型训练至推理的轻量化全过程。
本书适合从事大模型开发与优化的工程师和研究人员，尤其是对模型压缩、计算引擎优化和高效部署有需求的读者，旨在为他们提供深入的理论分析与实用的技术实现，帮助其应对大模型应用中的计算瓶颈和资源挑战。
在本书的撰写征程中，承蒙众多同行、专家以及学者的慷慨相助与鼎力扶持，在此向每一位提供宝贵意见与鼓励的朋友致以最崇高的敬意与诚挚的感激。同时，对参与本书内容研讨与案例验证工作的工程师和团队表示由衷的感谢。是他们的不懈努力与智慧交融，使本书实现了理论精华与实践智慧的完美融合，搭建起一座通向大模型轻量化核心技术深处的坚实桥梁。
期望本书能够为广大读者提供有价值的知识与实践指导，帮助大家在大模型领域取得更大的进展。无论您是冲锋在大模型开发一线的工程师，还是深耕于学术研究领域的学者，都希望本书能够成为您成长与突破的得力助手，助您在AI技术的快速发展中不断探索与创新。
本书提供配套源码，读者用微信扫描下面的二维码即可获取。
著 者
2025年1月
