内容简介

本书以打造行业智能助手为主线，全面介绍大模型的理论与实践。本书在内容上侧重于实践，兼顾理论的系统性。全书共4部分: 第1部分为大模型导论（第1章），介绍大模型的相关概念以及大模型的过去、现在与未来；第2部分为理论知识（第2、3章），介绍大模型基础知识和大语言模型分布式训练；第3部分为实践（第4～7章），介绍大模型的继续预训练、对齐、推理与部署，通过实际案例详细介绍如何打造行业智能助手并将其部署到生产环境中；第4部分为高级主题（第8、9章），介绍多模态大模型、AI智能体的最新进展。

本书可以作为大模型领域技术人员的参考书，同时也可以供有志于从事大模型工作的高校相关专业本科生以及从搜索、自然语言处理等方向转向大模型的专业人员自学。

目录

第1章大模型导论1

1.1大模型概念1

1.1.1预训练2

1.1.2有监督微调2

1.1.3偏好对齐2

1.2大模型的过去、现在与未来2

1.2.1大模型简史2

1.2.2大模型的现状4

1.2.3大模型未来展望8

1.3本书的读者对象与内容11

参考文献12

第2章大模型基础知识13

2.1分词13

2.1.1粒度13

2.1.2子词拆分算法13

2.1.3实现14

2.2位置编码15

2.2.1RoPE15

2.2.2ALiBi16

2.3网络结构17

2.3.1Transformer架构17

2.3.2大模型的Transformer架构20

2.3.3MoE模型22

2.4长上下文25

2.4.1采用RoPE位置编码的长上下文扩展25

2.4.2注意力操作优化27

参考文献31

第3章大语言模型分布式训练33

3.1大语言模型高效训练技术要点33

3.2并行模式34

3.2.1数据并行化35

3.2.2流水线并行化35

3.2.3张量并行化37

3.3集合通信38

3.3.1allreduce操作的分解39

3.3.2allreduce操作的高效实现39

3.4DeepSpeed训练加速框架40

3.4.1ZeRO技术41

3.4.2ZeRO技术与流水线并行化结合43

3.4.3ZeRO技术与张量并行化结合43

3.5DeepSpeed训练方案建议44

参考文献45

第4章继续预训练46

4.1继续预训练的必要性46

4.2数据预处理47

4.2.1低质数据过滤48

4.2.2去重48

4.3实战: 行业大模型的继续预训练49

4.3.1数据准备49

4.3.2数据处理50

4.3.3模型训练50

参考文献59

第5章对齐(上)——指令微调60

5.1指令微调的必要性60

5.2微调方法61

5.2.1全参微调61

5.2.2部分参数微调61

5.3指令集的自动构造64

5.3.1指令的大规模自动生成64

5.3.2指令集的进化66

5.3.3拒绝采样66

5.4实战: 打造具有多轮对话能力的行业智能助手66

5.4.1数据准备67

5.4.2数据处理67

5.4.3模型训练69

5.4.4评测74

参考文献75

第6章对齐(下)——强化学习微调76

6.1强化学习微调的必要性76

6.2人类偏好对齐的强化学习建模77

6.3RLHF78

6.3.1RLHF技术基本流程78

6.3.2奖励模型78

6.3.3PPO算法79

6.4RLAIF81

6.4.1偏好标注81

6.4.2微调技术路线83

6.4.3评估83

6.5实战: DeepSpeedChat代码解析84

6.5.1训练奖励模型84

6.5.2PPO训练85

6.6DPO算法90

6.6.1DPO算法目标函数推导91

6.6.2Online DPO算法92

参考文献94

第7章推理与部署95

7.1推理加速95

7.1.1常规工程化手段95

7.1.2自注意力计算访存优化97

7.1.3推测解码97

7.2量化102

7.2.1量化感知训练103

7.2.2训练后量化104

7.3部署109

7.3.1TensorRTLLM109

7.3.2vLLM111

7.3.3DeepSpeed Inference111

7.3.4SGLang112

7.3.5平台选型建议112

7.4实战: 使用FastChat部署Qwen 14B113

7.4.1准备工作113

7.4.2部署113

参考文献115

第8章多模态大模型116

8.1多模态技术路线116

8.2桥接多模态大模型120

8.2.1Flamingo121

8.2.2BLIP系列124

8.2.3LLaVA128

8.2.4OneLLM129

8.3原生多模态大模型131

8.3.1Gemini132

8.3.2GPT4o133

8.3.3Chameleon133

参考文献136

第9章AI智能体137

9.1AI智能体架构138

9.1.1感知139

9.1.2规划139

9.1.3记忆143

9.1.4行动147

9.2开发框架149

9.2.1LangChain149

9.2.2AutoGen150

9.2.3AGENTS151

9.2.4MetaGPT153

参考文献154

前言/序言

这一次的大模型浪潮可谓汹涌澎湃，业界一致认为它将成为自互联网时代以来最大的一次生产力变革。ChatGPT发布已两年多，大模型在业务场景的落地并不尽如人意，出现了很多看衰大模型前景的声音。事实上，历史上任何一项革命性技术都经历过类似的阶段，大模型也不例外。不同于以往的任何一项技术，大模型是非常令人惊艳的，它在人类历史上第一次展示出人工智能(AI)可以理解人类语言。大模型首先以聊天机器人ChatGPT的产品形态展示了能力，任何人都可以通过跟它对话来测试它的能力。因此，任何人都可以参与讨论大模型的能力。然而，实际上大多数非专业人士对大模型背后的技术却并不了解，尤其不了解大模型技术的局限性。因此，在初期，大众很容易对大模型抱有过高的期望。随着时间的流逝，当人们的新鲜感过去，大模型在聊天中暴露出越来越多的问题，特别是幻觉问题，大模型被人们普遍认为是AI的又一个巨大的泡沫。

作为一个在互联网一线长期深耕的技术人员，我对大模型技术一直是持短期谨慎、长期坚信的态度。因此，在2023年年初，我毫不犹豫地全力投入大模型领域，当时我有幸作为主要负责人参与打造医疗大模型。今年，我又有机会在智能汽车领域参与AI智能体的开发。在这个过程中，我得到了不少教训，也快速积累了一些一手经验。鉴于大模型的变革性前景，我认为未来几年我国将需要大量的大模型人才。目前市面上缺乏一本既重视实践又不忽视理论的技术图书。因此，从2023年9月起，我就有意地对自己的经验加以总结，通过实际案例帮助读者快速学会如何打造一款支持多轮对话的行业智能助手，进一步从实践出发，揭示关键技术背后的原理，从而让读者有能力持续改进实践效果。希望本书能够帮助那些有志于从事大模型工作的应届毕业生以及想从其他方向(特别是搜索、自然语言处理方向)转向大模型方向的从业人员，快速掌握大模型技术。不过，由于工作繁忙，我写了几个月以后中断了一段时间。在此期间，大模型技术，包括多模态大模型(GPT4o)、AI智能体、文生视频(Sora)等，又有了很多新的进展，我也将这些进展包含到本书里。当我完成本书的写作时，OpenAI发布了o1大模型。强化学习作为最近20年人工智能领域与深度学习几乎同等重要的技术，在o1大模型中发挥了主要的作用，将大模型的能力提升带入新的方向。实际上我一直在期待这一突破的到来。只是限于时间和精力，暂未将这一新技术的内容纳入本书。此外，增强大模型对物理世界的感知和理解也是我非常看好的一个未来方向，希望以后能够有机会跟大家分享相关的技术。

如图1所示，本书内容分为4部分: 大模型导论、理论知识、实践、高级主题。

图1本书的内容结构

第1部分为大模型导论，包括第1章，介绍大模型的相关概念以及大模型的过去、现在与未来。

第2部分为理论知识，包括第2、3章，介绍大模型基础知识和大语言模型分布式训练。

第3部分为实践，包括第4～7章，介绍大模型的继续预训练、对齐、推理与部署，通过实际案例详细介绍如何打造行业智能助手并将其部署到生产环境中。

第4部分为高级主题，包括第8、9章，介绍多模态大模型、AI智能体的最新进展。

感谢我的家人。在我写作期间，妻子承担了几乎所有的家务与照看孩子的事情。女儿经常好奇地询问我的写作进度。家人的支持与理解使我能够安下心来，顺利完成本书的写作。

感谢我的导师将我引荐给清华大学出版社。

限于作者的水平，书中不足之处在所难免，敬请专家与读者批评指正。

作者2025年2月