内容简介
本书提供了关于如何在数据治理中建立和运行数据认责工作的适用且可操作的信息和说明,旨在为新任数据专员或数据治理经理提供在数据认责方面所需的知识,以确保其工作有效和高效。本书分为11章,包括:数据认责和数据治理:二者如何结合;了解数据认责的类型;认责管理的角色和职责;实施数据认责;培训业务型数据专员;数据认责实践;数据专员的重要角色;衡量数据认责进度:指标;数据认责成熟度评估;大数据和数据湖认责;基于数据域开展数据治理和认责。
本书内容丰富,理论和实践相结合,易读性和可操作性强,可以作为数据质量管理的入门和进阶用书,还可作为数据治理、信息技术、数据分析等领域人员的参考用书,尤其适合对数据认责感兴趣的读者和负责组织以及运行数据认责工作的人员阅读。
目录
目录
本书翻译组
关于作者
致谢
绪论 1
第1章 数据认责和数据治理:二者如何结合 6
1.1 什么是数据治理 6
1.2 驱动数据治理的一些最佳实践 7
1.3 什么是数据认责 7
1.4 数据认责的总体目标 8
1.5 将数据转变至受控状态 9
1.6 三个P:政策、流程和规程 11
1.7 数据认责如何与数据治理相结合 12
1.7.1 高层领导小组 13
1.7.2 数据治理委员会 15
1.7.3 数据认责专委会 18
1.7.4 通过技术型数据专员提供IT支持 18
1.7.5 数据治理办公室 19
1.8 整体数据治理组织 20
1.9 小结 21
第2章 了解数据认责的类型 22
2.1 业务型数据专员 23
2.1.1 选择合适的业务型数据专员 23
2.1.2 成功的业务型数据专员所具备的特征 24
2.1.3 业务型数据专员与数据 25
2.1.4 业务型数据专员的关键角色 27
2.2 技术型数据专员 28
2.3 项目型数据专员 29
2.4 操作型数据专员 30
2.5 小结 30
第3章 认责管理的角色与职责 31
3.1 数据认责专委会 31
3.1.1 什么是数据认责专委会 31
3.1.2 数据认责专委会成员 31
3.1.3 数据认责专委会职责 33
3.2 数据治理经理 35
3.3 企业级数据专员 35
3.4 业务型数据专员 37
3.5 项目型数据专员 41
3.6 技术型数据专员 44
3.7 操作型数据专员 44
3.8 数据认责RACI职能矩阵 46
3.9 小结 47
第4章 实施数据认责 48
4.1 倡导与沟通数据认责 49
4.1.1 数据认责沟通信息 49
4.1.2 准备数据认责沟通 51
4.2 获取高层与基层的支持 52
4.3 加强对组织的理解 53
4.3.1 组织架构 53
4.3.2 组织文化 57
4.4 组织数据专员 58
4.5 厘清出发点 59
4.5.1 厘清已拥有什么:数据 59
4.5.2 厘清已拥有什么:元数据 61
4.5.3 厘清已拥有什么:数据质量 64
4.5.4 厘清已拥有什么:流程 66
4.5.5 厘清已拥有什么:工具 66
4.6 小结 67
第5章 培训业务型数据专员 68
5.1 业务型数据专员培训课程 70
5.2 关键业务数据元素的元数据 71
5.3 数据的使用 71
5.3.1 信息生产者与消费者 72
5.3.2 使用SIPOC了解数据使用 73
5.4 数据认责流程介绍 73
5.5 认责支撑工具 74
5.6 提升数据质量的培训 75
5.7 小结 76
第6章 数据认责实践 77
6.1 基础知识 77
6.1.1 选择关键业务数据元素 78
6.1.2 分配负责的业务型数据专员 80
6.1.3 业务数据元素的命名 81
6.1.4 创建良好的业务定义 82
6.1.5 定义业务数据元素的创建和使用规则 83
6.1.6 定义派生规则 84
6.2 设置可复用流程 84
6.3 界定数据认责制度实施的范围 87
6.4 理解业务型数据专员如何与数据治理办公室互动 88
6.4.1 与数据专员定期举行会议 88
6.4.2 使用互动式讨论组 89
6.4.3 成立工作组 90
6.4.4 项目型数据专员如何与业务型数据专员协作共事 91
6.5 使用问题日志完成日常工作 92
6.5.1 什么是问题日志 92
6.5.2 管理问题日志 92
6.5.3 理解问题日志流程 93
6.6 文件记录和沟通:沟通计划 95
6.6.1 什么是必须沟通的? 95
6.6.2 沟通计划必须包含什么? 95
6.6.3 定向沟通的重要性 97
6.7 在项目方法论中增加数据治理工作 98
6.7.1 把数据认责任务增加到项目中的好处 98
6.7.2 为项目提供支持的数据认责角色 98
6.7.3 数据认责任务和模板 99
6.7.4 培训项目经理 101
6.8 构建并遵循数据治理或数据认责路线图 101
6.9 确定数据认责工具 104
6.9.1 数据认责门户 104
6.9.2 数据认责维基百
前言/序言
绪论
概述
当前,企业越来越重视数据管理,包括提高数据质量、理解数据的含义、利用数据获得竞争优势以及将数据视为企业应有的资产。但要做好数据管理工作,就需要责任制,也就是说,业务职能必须对其拥有和使用的数据负责。通过适当的架构、组织和资源来管理数据,被称为数据治理。数据认责是在数据治理体系之内的。各种类型的数据专员(在本书后面详细介绍)与其他主题专家和利益相关者密切合作,以实现数据治理工作制定的目标和交付成果。数据认责工作应由数据治理办公室管理和协调,并应得到公司高级领导的支持。本书提供了关于如何在数据治理中建立和运行数据认责工作的适用且可操作的信息和说明。本书旨在为新任数据专员或数据治理经理提供在数据认责方面所需的知识,以确保其工作有效和高效。本书还提供了承担数据专员职责的人员所需的详细信息。
问题陈述
使用数据过程中一定会面临挑战,包括:
> 数据无法解释自身。必须有人对数据进行解释,包括数据的含义、如何正确使用数据以及如何评估数据质量是否良好。
> 数据被许多人共享和使用,用于许多不同的目的。那么,谁拥有它?当数据出现“错误”时,谁对此做出决定并负责?
> 许多使用数据的流程都依赖于流程上游的人员对数据的“正确处理”,但谁来说什么是“正确”?当“出错”的时候,是由谁来判定?
> 软件开发生命周期需要在需求、分析、设计、构建和数据使用之间进行多次切换。在很多场合,切换可能会破坏数据并危及数据质量。
> 负责数据实现的技术人员不熟悉数据的含义或如何使用数据。
> 我们这些数据圈的人在容忍歧义方面有着悠久的历史和习惯,无论是在数据含义还是在数据内容方面。
所有这些因素都会导致人们对数据的理解不足,并导致人们认为数据质量差。这些因素还导致数据管理不善。
解决这些挑战的办法是积极有效地管理数据。但许多公司用来汇集元数据的相当随意的“方法论”并不是真实或有效的数据管理。一些失败的方法包括:
> 数据定义。这些定义通常是由项目工作人员匆忙编写的,并且定义在整个企业中没有合理化,导致同一术语的多个定义,通常使用不同的业务数据元素名称。
> 数据质量。通常没有制定明确的数据质量规则,也很少衡量质量本身。即使明确了规则,规则的上下文背景(规则适用的数据用途)也经常被忽略。所有这些都会导致人们对所需的数据质量以及所实现的数据质量感到困惑。
> 文档。包含元数据的文档很少被正式发布,而且经常丢失、藏在书架上或存档文件中。该文档知者甚少且不易获得,也没有一个强大的搜索引擎来让感兴趣的用户找到他们需要的东西。
> 创建和使用业务规则。通常对可以或应该创建实体(如客户或产品)的条件以及应该如何使用数据缺乏了解。这种缺乏了解的情况导致收集到的关于该实体的信息不完整或不准确,以及数据被用于并未设想过的目的。最终的结果是,基于数据的业务决策可能会导致非最优结果。
作为数据治理工作的一部分,数据认责对于企业管理数据和实现解决方案以应对以上挑战至关重要。通过数据认责,组织可以开始将数据视为资产。与其他资产一样,数据需要被盘点、拥有、明智地使用、管理和理解。这需要使用与物理资产不同的数据技术,但需求是相同的。对于数据资产,通常结合元数据存储库,以正式发布的业务术语表的形式来盘点及理解数据。
建立所有权需要了解数据是如何收集的以及谁使用数据,然后确定谁最能对数据元素的内容和质量负责。最后,确保数据得到合理的使用意味着了解和管理数据是如何创建的,创建数据的目的是什么,以及它是否适合在可能出现的新情况下使用,甚至是否适合在当前使用的情况下使用。
数据专员在数据管理中的职责
已被正确管理的数据使企业能够在较少的失误和更少浪费人力物力的情况下获得成功。业务型数据专员在数据管理工作中发挥着重要作用,他们决定了以下内容。
(1)在数据仓库中
> 需要什么维度以及它们的含义。
> 需要什么事实以及它们所依赖的维度。
> 如何定义事实以及派生规则和聚合规则。
> 统一维度或事实提出的不同术语(实际上是相同的)。
> 谁必须对构成维度和事实的数据元素负责。
> 如何转换数据以及在数据仓库中使用它。
(2)在主数据管理中
> 应管理哪些数据实体(客户、产品、供应商等),以何种优先级管理,以及这些实体的含义(例如,什么是客户?)。
> 需要哪些特征属性(具有良好的质量)来实现实体解析。
> 确定实体唯一性的敏感度是什么(对假阳性和假阴性的敏感度)。
> 枚举属性的适当参考数据值是什么,以