内容简介
《大模型应用开发》系统梳理大模型应用开发的全链条知识，详解大模型应用开发过程中涉及的理论、技术、方法、过程、工具和分析案例，为开发者搭建从理论到实践的桥梁，助力解决技术落地中的实际问题，推动大模型在工业、科研、服务等领域的规模化应用，配套示例源码、PPT课件、配图PDF文件、读者微信交流群。《大模型应用开发》共分12章，内容包括大模型基础、大模型架构、多模态大模型、提示词工程、大模型微调、检索增强生成、AI智能体、大模型应用、大模型应用架构、大模型开发框架、法律咨询智能助手、代码修复智能助手。《大模型应用开发》既适合大模型应用开发初学者、大模型应用开发工程师、大模型应用开发研究人员、行业AI解决方案提供商，也适合高等院校及高职高专院校学习大模型应用开发的学生。
目录
目 录
第1章 大模型基础 1
1.1 语言模型基础 1
1.1.1 基于统计方法的语言模型 2
1.1.2 基于循环神经网络的语言模型 5
1.1.3 基于Transformer架构的语言模型 10
1.2 大模型发展历史 14
1.2.1 统计语言模型奠基期 14
1.2.2 神经网络语言模型探索期 15
1.2.3 Transformer架构革命期 15
1.2.4 大模型爆发增长期 15
1.3 大模型的特点 18
1.3.1 大模型的快思慢考 18
1.3.2 大模型的优势与不足 20
1.4 大模型行业应用场景中的优势与挑战 21
1.4.1 教育领域：智能教育的革新与困境 21
1.4.2 医疗领域：精准医疗的希望与隐忧 22
1.4.3 金融领域：智能金融的变革与挑战 22
1.4.4 电商领域：智能营销的机遇与难题 23
1.5 本章小结 23
1.6 参考文献 24
第2章 大模型架构 28
2.1 Encoder-Only架构 28
2.1.1 BERT模型 29
2.1.2 RoBERTa模型 33
2.1.3 ALBERT模型 34
2.1.4 ELECTRA语言模型 34
2.2 Decoder-Only架构 35
2.2.1 GPT系列语言模型 36
2.2.2 LLaMA模型 38
2.2.3 PaLM模型 39
2.3 Encoder-Decoder架构 40
2.3.1 T5模型 41
2.3.2 BART语言模型 43
2.3.3 GLM模型 45
2.3.4 Switch Transformer 46
2.4 编码器、解码器、编解码器架构对比 47
2.5 本章小结 49
2.6 参考文献 49
第3章 多模态大模型 53
3.1 多模态大模型基础 53
3.1.1 多模态大模型的定义与特征 54
3.1.2 多模态学习与单模态学习的区别 55
3.1.3 多模态大模型的基本架构 57
3.1.4 多模态对齐与融合技术简述 61
3.2 多模态大模型的发展历程 63
3.2.1 特征拼接与浅层交互模型阶段 63
3.2.2 融合与对齐阶段 64
3.2.3 大规模预训练阶段 64
3.2.4 通用多模态大模型阶段 65
3.3 多模态大模型介绍 66
3.3.1 CLIP 66
3.3.2 ALIGN 67
3.3.3 Flamingo 68
3.3.4 PaLI 69
3.3.5 BLIP2 70
3.3.6 LLaVA 71
3.3.7 VisCPM 72
3.3.8 ChatGPT-4V和GPT-4o 73
3.3.9 Qwen-VL和Qwen-VL-Max 74
3.3.10 Gemini+2.5 75
3.4 多模态大模型的应用场景 76
3.4.1 智能问答与对话系统 76
3.4.2 智能推荐与搜索 76
3.4.3 医疗影像与辅助诊断 77
3.4.4 内容生成与编辑 77
3.5 本章小结 77
3.6 参考文献 77
第4章 提示词工程 81
4.1 技术介绍 81
4.1.1 提示词工程的概念和作用 81
4.1.2 提示词应用示例 83
4.2 研究进展 85
4.2.1 零样本提示 86
4.2.2 少样本提示——以例示教的智慧 89
4.2.3 思维链提示 91
4.2.4 思维树——多路径探索的高级推理 93
4.2.5 检索增强生成——知识外挂的智能问答 95
4.2.6 ReAct框架——推理与行动的协同范式 98
4.3 框架对比 101
4.3.1 开源框架 101
4.3.2 商用框架 105
4.3.3 框架对比全景表 106
4.3.4 小结与展望 106
4.4 本章小结 107
4.5 参考文献 107
第5章 大模型微调 109
5.1 大模型微调基础 109
5.1.1 微调定义 109
5.1.2 微调分类 110
5.1.3 微调技术历史沿革 111
5.2 微调流程 113
5.2.1 数据集准备 114
5.2.2 模型初始化 114
5.2.3 训练环境配置 114
5.2.4 模型微调 115
5.2.5 评估验证 115
5.2.6 部署上线 116
5.2.7 监控维护 116
5.3 微调的主流平台和框架 116
5.3.1 Hugging Face Transformers 116
5.3.2 LLaMA-Factory 117
5.3.3 Unsloth 118
5.3.4 MS-SWIFT 119
5.3.5 百度千帆平台 120
5.3.6 阿里云PAI 121
5.3.7 讯飞星辰 122
5.3.8 对比分析 123
5.4 本章小结 126
5.5 参考文献 126
第6章 检索增强生成 129
6.1 概念与内涵剖析 129
6.1.1 RAG定义 130
6.1.2 关键组件与工作原理 130
6.1.3 与传统生成模型的区别与优势 132
6.1.4 应用领域与实际案例 133
6.2 技术演进与研究进展 134
6.3 相关商用与开源框架对比 140
6.3.1 LangFlow 141
6.3.2 LlamaIndex 142
6.3.3 Haystack 144
6.3.4 LangChain 145
6.3.5 Amazon Kendra 146
6.3.6 Google Cloud Search 148
6.3.7 框架优缺点对比 149
6.3.8 RAG框架总结 150
6.4 本章小结 150
6.5 参考文献 152
第7章 AI智能体 155
7.1 AI智能体的概念与内涵 156
7.1.1 AI智能体时代的开启 156
7.1.2 AI智能体的核心概念与特征 158
7.2 AI智能体核心技术与发展 161
7.2.1 智能体的构建：核心模块与基本架构 162
7.2.2 单智能体系统研究进展 167
7.2.3 多智能体系统研
前言/序言
前 言
随着大语言模型从实验室突破走向产业实践，其技术复杂度与应用广度持续攀升，已成为推动人工智能落地的核心引擎。大模型技术的爆发式发展正深刻重塑全社会的智能化发展进程，成为各行业数字化发展智能化转型的核心驱动力。在此浪潮下，大模型应用开发是连接技术创新与产业价值的关键纽带，其涵盖架构设计、多模态融合、提示词工程、微调优化等多维度技术，直接决定大模型在实际场景中的效能释放。
然而，当前大模型应用开发面临显著壁垒：一方面，技术迭代迅猛，从Transformer架构到多模态融合、从提示词工程到AI智能体，知识体系日益庞杂；另一方面，工程实践碎片化，开发者常陷入架构选型、微调策略、部署优化等具体问题的困境。在此背景下，系统掌握大模型应用开发的全流程知识，成为打通技术与产业的关键。
经过作者调研，由于大模型这一概念刚刚出现，社会上缺乏面向大模型应用开发的研究者和实践者，针对大模型应用开发构建方法、过程和工具进行介绍的专业书籍。因此，作者策划了本书的写作，它是作者多年的大模型应用开发方法和实际工作经验的总结与提炼，旨在为读者梳理大模型应用的相关概念与基础知识，介绍大模型应用开发方法与过程，总结开发大模型应用过程中常用的工具和实践经验。
本书内容
本书将从4个部分对大模型应用开发方法与技术进行讲解。第一部分是大模型基础（第1~3章），对大模型发展历史、大模型相关技术和大模型应用场景等进行介绍。第二部分是大模型应用开发技术（第4~7章），主要讲解大模型应用开发过程中的相关技术，包括提示词工程、模型微调、检索增强生成、AI智能体等。第三部分是大模型应用开发方法（第8~10章），主要介绍大模型应用开发过程中涉及的所有活动，包括大模型应用、大模型应用架构、大模型开发框架等。第四部分是大模型应用开发案例（第11章和第12章），主要介绍具体项目的需求分析、系统架构、关键技术与实现方法，包括法律咨询智能助手和代码修复智能助手两个开发案例。
配套资源下载
本书配套示例源码、PPT课件、配图PDF文件、读者微信交流群，读者使用微信扫描右侧的二维码即可获取。如果在阅读过程中发现问题或有任何建议，请下载资源中提供的相关电子邮箱或微信进行联系。
本书读者
大模型应用开发初学者。
大模型应用开发工程师。
大模型应用开发研究人员。
行业AI解决方案提供商。
高等院校及高职高专院校学习大模型应用开发的学生。
作者与鸣谢
本书作者为西安电子科技大学教授、博导鲍亮和西安交通大学教授、博导李倩。本书在撰写过程中还得到了西安电子科技大学数据智能实验室的博士生和硕士生们的大力支持，他们是李宇飞（小飞）、赵凯博、李宇飞（大飞）、苏旭、张珂、袁嘉翔、董昌杰、张璐、樊瑞祥、王嘉欣、林星、王宇、李济阳、郑浩伟，在此一并表示感谢。
本书的顺利出版离不开清华大学出版社老师们的帮助，在此表示衷心的感谢。
作 者
2025年8月
