内容简介
大模型在众多领域得到了广泛应用,促进了AI技术的整合和创新。然而,在实际应用过程中,直接将大模型应用于特定行业常常难以达到预期效果。本书详细阐述如何在游戏经营分析场景中利用大模型实现数据体系的建设。
本书分为6个部分,共16章。第1部分主要介绍大模型技术的发展与应用,从大模型的发展现状展开,重点介绍大模型与数据体系的相关知识。第2部分主要介绍大模型下的关键基础设施,涵盖湖仓一体引擎、湖仓的关键技术、实时数据写入和高效数据分析等内容。第3部分主要介绍大模型下的数据资产,围绕数据资产重塑、数据资产标准、数据资产建设、数据资产运营展开。第4部分主要介绍自研领域大模型的技术原理,涵盖领域大模型的基础、需求理解算法、需求匹配算法、需求转译算法等内容。第5部分主要介绍大模型的工程化原理,涉及工程化的基础、技术筹备、建设要点、安全策略等内容。第6部分介绍大模型在游戏领域的应用,通过游戏领域的经营分析案例,系统地阐述如何实现业务需求。
本书适合致力于大模型技术应用的数据工程师阅读,也适合寻求AI自动化编程解决方案的软件开发者阅读,还适合希望利用AI提升业务效率的企业决策者阅读。
目录
第 1部分 大模型技术的发展与应用
第 1章 大模型的发展现状 2
1.1 大模型的发展历程 2
1.2 大模型的市场规模 6
1.3 大模型技术的应用现状 8
1.3.1 通用大模型技术的应用 8
1.3.2 领域大模型技术的应用 10
1.4 小结 14
第 2章 大模型与数据体系 15
2.1 业务对数据体系的需求 15
2.2 经典数据中台解决方案 19
2.2.1 技术平台 19
2.2.2 数据建模 21
2.2.3 数据治理 26
2.3 大模型带来的新机会 27
2.3.1 大模型的优势与不足 27
2.3.2 大模型与经典数据中台 30
2.3.3 大模型的新思路 32
2.4 全新的大模型解决方案 35
2.4.1 建设目标 35
2.4.2 关键技术 36
2.4.3 方案架构 37
2.5 小结 38
第 2部分 大模型下的关键基础设施
第3章 大模型下的新基建 40
3.1 湖仓一体引擎 40
3.1.1 数据技术的发展 41
3.1.2 湖仓一体架构 47
3.2 DeltaLH湖仓的关键技术 51
3.2.1 存储计算分离 51
3.2.2 数据冷热分层 53
3.2.3 湖仓一体化 55
3.3 实时数据写入 57
3.3.1 实时数据链路 58
3.3.2 全链路监控 62
3.3.3 数据预构建 64
3.4 高效数据分析 67
3.4.1 查询引擎优化 67
3.4.2 物化透明加速 72
3.5 小结 74
第3部分 大模型下的数据资产
第4章 数据资产重塑 76
4.1 数据资产方案的现状 76
4.2 面临的核心挑战 80
4.2.1 缺失非结构化标准 80
4.2.2 建设和治理成本高 81
4.2.3 运营目标不一致 82
4.3 重塑数据资产的思路 83
4.4 小结 85
第5章 数据资产标准 86
5.1 需求资产标准 86
5.1.1 结构化需求 87
5.1.2 行业知识资产 87
5.1.3 AI可理解需求 89
5.2 特征资产标准 90
5.2.1 个人特征资产 90
5.2.2 公共特征资产 91
5.3 库表资产标准 92
5.3.1 粒度参数 93
5.3.2 热度参数 94
5.3.3 速度参数 95
5.4 小结 96
第6章 数据资产建设 97
6.1 AI助力资产初始化 98
6.1.1 特征资产初始化 99
6.1.2 库表资产初始化 100
6.2 AI辅助需求资产建设 101
6.2.1 结构化需求资产建设 101
6.2.2 行业知识资产建设 102
6.2.3 AI可理解的需求资产建设 106
6.3 AI辅助特征资产建设 109
6.3.1 个人特征资产建设 109
6.3.2 公共特征资产建设 112
6.4 AI辅助库表资产建设 113
6.4.1 成本模型训练 114
6.4.2 物化视图候选集生成 115
6.4.3 物化视图推荐 115
6.5 小结 116
第7章 数据资产运营 117
7.1 数据资产运营的目标 117
7.2 需求资产运营 118
7.2.1 需求质量评估模型 119
7.2.2 需求质量达标率 119
7.3 特征资产运营 120
7.3.1 公共特征转化率 121
7.3.2 特征资产复用率 122
7.4 库表资产运营 123
7.4.1 库表资产成本优化 123
7.4.2 库表资产覆盖率 125
7.5 小结 126
第4部分 自研领域大模型的技术原理
第8章 领域大模型的基础 128
8.1 领域大模型的背景 128
8.1.1 通用大模型的局限性 128
8.1.2 领域大模型的优势 130
8.2 领域大模型方案 131
8.2.1 3种构建方案 131
8.2.2 检索增强生成 132
8.2.3 参数高效微调 137
8.2.4 模型选型 143
8.3 领域大模型架构 144
8.4 小结 145
第9章 需求理解算法 146
9.1 从模糊需求到清晰需求 146
9.1.1 必要性 146
9.1.2 面临的挑战 148
9.2 常见的需求