内容简介

近年来，深度神经架构搜索技术得到了飞速发展，特别是以谷歌公司和华为公司为代表的研究机构将神经网络架构搜索方法成功应用于图像分类、目标检测和自然语言处理等领域。与此同时，许多国内外研究学者也将深度强化学习算法与神经网络架构搜索相结合开展了诸多有益的研究工作。

目录

目录
第1 章绪论 1
1.1 神经网络架构搜索研究的背景与意义 1
1.2 神经网络架构搜索研究的现状 2
1.2.1 搜索空间 2
1.2.2 搜索策略 6
1.2.3 性能评估 10
1.3 未来发展趋势与展望 11
第2 章深度学习网络结构基础 15
2.1 引言 15
2.2 研究现状 16
2.2.1 卷积神经网络 16
2.2.2 张量环网络 20
2.2.3 视觉Transformer 神经网络 22
2.2.4 宽度学习系统 25
2.3 数据集 26
2.3.1 图像分类数据集 26
2.3.2 目标检测数据集 28
第3 章基于模块化的神经网络架构搜索 29
3.1 引言 29
3.2 问题描述与研究内容 30
3.3 基于模块化神经网络架构搜索框架 30
3.3.1 知识库 31
3.3.2 结构编码 32
3.3.3 module 的连接 32
3.4 性能评估 33
3.5 实验与分析 33
3.5.1 CIFAR-10 的结果 34
3.5.2 CIFAR-100 的结果 35
3.5.3 ImageNet 的对比结果 36
3.5.4 消融实验 36
3.6 本章小结 39
第4 章基于宽度卷积神经网络的宽度神经网络架构搜索 40
4.1 引言 40
4.2 问题描述与研究内容 40
4.3 宽度卷积神经网络 41
4.3.1 卷积模块 42
4.3.2 增强模块 43
4.3.3 多尺度特征融合 43
4.3.4 知识嵌入 43
4.3.5 万能逼近能力 44
4.3.6 比较: 宽度卷积神经网络与宽度学习系统 46
4.4 宽度卷积神经网络变种 46
4.4.1 变种1：BCNN-CCLE 47
4.4.2 变种2：BCNN-CCE 47
4.5 基于强化学习的搜索算法 48
4.6 实验与分析 49
4.6.1 BCNN 的超参数确定 49
4.6.2 CIFAR-10 图像分类 51
4.6.3 ImageNet 图像分类 53
4.6.4 结果分析 54
4.6.5 搜索效率 54
4.7 本章小结 55
第5 章可微分的宽度神经网络架构搜索 56
5.1 引言 56
5.2 问题描述与研究内容 57
5.2.1 不公平训练问题 57
5.2.2 性能崩塌问题 58
5.3 可微分的宽度搜索空间 59
5.4 性能崩塌问题的两种解决方案 60
5.4.1 置信学习率 60
5.4.2 部分通道连接 61
5.5 基于梯度下降的搜索算法 62
5.5.1 BNAS-v2-CLR 62
5.5.2 BNAS-v2-PC 63
5.6 实验与分析 63
5.6.1 数据集与实验细节 63
5.6.2 置信因子确定 65
5.6.3 CIFAR-10 图像分类 66
5.6.4 ImageNet 图像分类 70
5.6.5 其他数据集图像分类 73
5.6.6 消融实验 73
5.7 本章小结 77
第6 章堆叠式宽度神经架构搜索 78
6.1 引言 78
6.2 问题描述与研究内容 79
6.2.1 尺度信息多样性丢失 79
6.2.2 知识嵌入设计耗时 79
6.3 堆叠式宽度卷积神经网络 80
6.3.1 基本模块 80
6.3.2 与BCNN 之间的区别 80
6.3.3 信息流表示 81
6.3.4 通道流图 81
6.3.5 万能逼近能力 82
6.4 知识嵌入搜索 83
6.4.1 过参数化知识嵌入模块 83
6.4.2 学习策略 83
6.5 优化方法 84
6.5.1 连续松弛 84
6.5.2 部分通道连接 84
6.5.3 提前停止策略 85
6.6 实验与分析 86
6.6.1 数据集与实验细节 86
6.6.2 CIFAR-10 图像分类 86
6.6.3 ImageNet 图像分类 90
6.6.4 其他数据集图像分类 92
6.6.5 消融实验 92
6.7 本章小结 94
第7 章基于自适应演化的宽度视觉Transformer 神经网络架构搜索 95
7.1 引言 95
7.1.1 结构设计 95
7.1.2 结构优化 95
7.2 结构设计问题描述 96
7.3 宽度视觉Transformer 设计 97
7.3.1 骨干网络 97
7.3.2 宽度注意力 98
7.4 结构优化问题描述 100
7.5 自适应搜索宽度视觉Transformer 架构算法 102
7.5.1 宽度搜索空间 102
7.5.2 自适应演化 104
7.6 实验与分析 106
7.6.1 宽度视觉Transformer 实验结果 106
7.6.2 自适应搜索宽度视觉Transformer 实验结果 114
7.7 本章小结 120
第8 章基于渐进式演化的张量环网络架构搜索 122
8.1 引言 122
8.2 问题描述 123
8.2.1 张量环卷积神经网络 123
8.2.2 张量环长短期记忆网络 124
8.3 渐进式搜索张量环网络 125
8.3.1 张量秩搜索空间设计 125
8.3.2 渐进式演化 126
8.3.3 权重继承 128
8.4 实验与分析 129
8.4.1 合成实验 129
8.4.2 MNIST 与FashionMNIST 图像分类 131
8.4.3 CIFAR-10 与CIFAR-100 图像分类 133
8.4.4 HMDB51 与UCF11 动作识别 137
8.5 本章小结 139
第9 章基于强化学习搜索的网络自动剪枝算法 140
9.1 引言 140
9.2 问题定义与描述 140
9.3 基于多层次权重衰减的剪枝方法 141
9.3.1 YOLOv3 模型的模块级与通道级剪枝 141
9.3.2 残差模块-卷积通道迭代剪枝框架 142
9.4 基

前言/序言

神经网络架构搜索
陈亚冉 李楠楠 丁子祥 赵冬斌 著
内 容 简 介
近年来，深度神经架构搜索技术得到了飞速发展，特别是以谷歌公司和华为公司为代表的研究机构将神经网络架构搜索方法成功应用于图像分类、目标检测和自然语言处理等领域。与此同时，许多国内外研究学者也将深度强化学习算法与神经网络架构搜索相结合开展了诸多有益的研究工作。
本书主要介绍神经网络架构搜索的相关研究工作，共包括9章内容。其中，第1部分介绍了神经网络架构搜索方法及深度神经网络架构，包括第1章和第2章；第2部分主要介绍了卷积架构的神经网络搜索算法，涉及神经网络搜索空间、搜索算法和评估算法，包括第3～6章；第3部分介绍了Transformer架构和张量环架构的搜索算法，包括第7章和第8章；第4部分介绍了神经架构搜索在实际场景中的应用，涉及目标检测的自适应自动剪枝算法，包括第9章。
本书适合具有人工智能与深度神经网络相关专业背景，及希望了解和学习神经网络架构搜索技术的读者参考使用，希望借此推动深度神经网络的进一步发展。
版权所有，侵权必究。举报：010-62782989，beiqinquan@tup.tsinghua.edu.cn。
图书在版编目（CIP）数据
神经网络架构搜索 / 陈亚冉等著. -- 北京 : 清华大学出版社, 2025. 8.
ISBN 978-7-302-70046-3
Ⅰ. TP183；TP391.3
中国国家版本馆CIP数据核字第2025UM5970号
责任编辑：冯 昕 龚文方
封面设计：傅瑞学
责任校对：薄军霞
责任印制：刘 菲
出版发行：清华大学出版社
网 址：https://www.tup.com.cn, https://www.wqxuetang.com
地 址：北京清华大学学研大厦A座 邮 编：100084
社 总 机：010-83470000 邮 购：010-62786544
投稿与读者服务：010-62776969, c-service@tup.tsinghua.edu.cn
质量反馈：010-62772015, zhiliang@tup.tsinghua.edu.cn
印装者：河北鹏润印刷有限公司
经 销：全国新华书店
开 本：185mm×260mm 印 张：11 字 数：278千字
版 次：2025年9 月第1版 印 次：2025年9 月第1次印刷
定 价：48.00元

产品编号：105919-01

前言
作为人工智能领域中的一个重要方向，计算机视觉可以帮助计算机理解并处理图像、视频
等视觉输入，在自动驾驶、游戏、医学影像诊断等领域都有着广泛的应用。近几年，随着大规
模数据集的应用及计算资源的发展，深度学习已经成为计算机视觉领域中最具有影响力且广泛
应用的技术之一。深度神经网络通过多层非线性变换，能够有效地从高维输入空间提取有效特
征，同时具有较强的泛化能力和鲁棒性。这种特征提取自动化能力使得深度神经网络在图像分
类、目标检测、语义分割、动作识别等视觉任务中取得了令人瞩目的成果。在深度学习发展过
程中，深度神经网络的结构设计至关重要。目前大多数性能较好的深度神经网络模型均由人类
专家手动设计得到，需要大量的专业知识与反复试验，成本极高，且得到的网络结构复杂、参
数量大，限制了其在实际场景中的应用。由此，神经网络架构搜索(neural architecture search,
NAS) 应运而生，它是通过一定的搜索方法在定义的搜索空间自动搜索，从而得到性能最优的
神经网络架构。
NAS 的提出极大地推进了计算机视觉领域中深度神经网络的优化研究，所学习到的神经网
络在视觉任务中取得了不可忽视的进展，然而，关于神经网络架构搜索技术方面的著作屈指可
数。鉴于此，笔者整理了团队近几年在神经网络架构搜索方面的研究工作分享给大家，借以抛
砖引玉。全书共包括9 章内容，第1 章介绍了神经网络架构搜索的背景和意义、研究现状与发
展趋势，第2 章介绍了目前学术界和工业界常用到的深度神经网络架构，第3 章之后是团队的
具体研究工作，其中第3 章介绍了基于模块化卷积架构的搜索方法，第4～6 章介绍了结合宽度
学习系统和卷积神经网络架构的搜索方法，第7 章介绍了视觉Transformer 神经网络架构的搜
索方法，第8 章介绍了张量环网络架构搜索的方法，第9 章介绍了在城市交通场景移动端资源
受限的情况下，目标检测网络自动剪枝方法。
本书素材包括团队毕业生的博士学位论文、团队成员发表的国内外期刊及会议文章等。同
时本书给出了部分章节的相关开源代码，包括神经网络架构搜索方法、目标检测自适应剪枝算
法等。由于神经网络架构搜索的成果日新月异，本书主要是团队研究工作成果分享，写作的内
容和风格难以满足不同读者的需求，相关开源代码也可能会出现各种不足和错误，欢迎读者提
出宝贵意见，以督促我们不断迭代改进。下面列出本书各章的主要贡献人:
第1 章由陈亚冉等撰写，第2 章由李楠楠、陈亚冉等撰写，第3 章由陈亚冉等撰写，第4～6
章由丁子祥、李楠楠等撰写，第7、8 章由李楠楠等撰写