内容简介

《Doris实时数据仓库理论与实战》系统地介绍了Doris的核心概念、架构原理和各项功能。全书共7章。第1章对Doris做了初步介绍。第2章重点介绍了Doris的数据表设计。第3章聚焦于Doris的数据导入。第4章介绍了Doris的数据导出和数据管理。第5章讨论了Doris中的数据更新和删除操作。第6章将读者带入Doris的进阶使用领域。第7章展示了Doris的生态扩展。通过《Doris实时数据仓库理论与实战》的学习，读者可以全面而深入地了解运用Doris构建高效、可扩展、实时数据仓库系统的方法,从理论到实践，从基础到进阶。

《Doris实时数据仓库理论与实战》适用于Doris开发人员和数据工程师，或有志从事数据仓库开发的技术人员。

目录

第 1 章   初识 Doris

1.1     Doris 概述

1.2     Doris 的应用场景

1.2.1    报表分析

1.2.2    即席查询(Ad-Hoc Query) 

1.2.3    统一数仓构建

1.2.4    数据湖联邦查询

1.3      Doris 的架构原理

1.4      Doris 的特点

1.4.1    支持标准 SQL 接口

1.4.2    列式存储引擎

1.4.3    支持丰富的索引结构

1.4.4    支持多种存储模型

1.4.5    支持物化视图

1.4.6    MPP 架构设计

1.4.7     支持向量化查询引擎

1.4.8    动态调整执行计划

1.4.9    采用CBO 和 RBO 查询优化器

1.5      Doris 部署

1.5.1    开发测试环境/生产配置建议

1.5.2    Broker 部署介绍

1.5.3    操作系统安装要求

1.5.4    网络需求

1.6     Doris 分布式部署

1.6.1    Doris 下载

1.6.2    节点划分

1.6.3    节点配置

1.6.4    FE部署及启动

1.6.5    FE扩缩容

1.6.6    BE部署及启动

1.6.7    BE扩缩容

1.6.8    Broker 部署(可选)

1.6.9    Doris 集群启停脚本

第 2 章   Doris 数据表设计

2.1     Doris 简单使用

2.1.1     创建用户

2.1.2     创建数据库

2.1.3     账户赋权

2.1.4     创建数据表

2.1.5     查询数据表

2.2      Doris 基础

2.2.1     建表语法及参数解释

2.2.2     数据类型

2.3      数据存储模型基础

2.3.1    Aggregate 数据存储模型

2.3.2    Unique 数据存储模型

2.3.3    Duplicate 数据存储模型

2.3.4     聚合模型的局限性

2.3.5     数据模型的选择建议

2.4      列定义建议

2.5      分区和分桶基础

2.5.1     分区

2.5.2     分桶

2.5.3     复合分区使用场景

2.6     Properties 配置项

2.7      关于 ENGINE

2.8      Doris 索引

2.8.1     前缀索引

2.8.2     Bitmap 索引

2.8.3    Bloom Filter 索引

2.9     Rollup 物化索引

2.9.1    Rollup 物化索引的创建与操作

2.9.2    Rollup 物化索引的作用

第 3 章   Doris 数据导入

3.1    Insert   Into

3.1.1    语法及参数

3.1.2    案例

3.2    Binlog Load

3.2.1    基本原理

3.2.2    canal 原理及配置

3.2.3    Doris 同步MySQL 数据案例

3.2.4    注意事项

3.3     Broker Load

3.3.1    基本原理

3.3.2    Broker Load 语法

3.3.3    案例

3.3.4    注意事项

3.4     HDFS Load

3.5     Spark Load

3.5.1   基本原理

3.5.2   Spark 集群搭建

3.5.3    Doris 配置 Spark 与 Yarn

3.5.4    Doris 创建 Spark Resource

3.5.5    Spark Load 语法和结果

3.5.6    Spark Load 导入 HDFS 数据

3.5.7    使用 Spark Load 导入Hive 数据

3.5.8    注意事项

3.6     Routine  Load

3.6.1   Routine Load 语法

3.6.2    严格模式

3.6.3  &nb

前言/序言

本书是一本面向数据工程师、开发人员和数据仓库构建者的实用指南，旨在帮助读者深入理解和 应用Apache Doris 这个强大的实时数据仓库解决方案。

随着大数据时代的到来，企业和组织面临着海量数据的挑战，构建高效、可扩展、实时的数据仓 库系统成为一个迫切的需求。Doris 作为一个快速、可靠且易于使用的开源数据仓库系统，凭借其卓越的性能和灵活的架构，已经在业界取得了广泛的认可和应用。

本书系统地介绍了 Doris 的核心概念、架构原理和各项功能。无论是初次接触 Doris,  还是已经具 有一定经验，读者都能从本书获得宝贵指南。本书从初识 Doris 开始，逐步深入，带领读者掌握 Doris 的各个方面。

本书内容

第1章是 Doris 的概述，内容包括 Doris 的背景、特点和使用场景。读者将了解为什么选择 Doris 以及它与传统数据仓库系统的不同之处。本章还解析了Doris 的架构原理，帮助读者理解其内部工作机制。

第2章重点关注 Doris 的数据表设计。本章向读者展示如何设计和优化 Doris 的表结构，包括数据 存储模型、列定义建议和索引选择等内容。读者将学习如何根据业务需求和性能考虑来设计高效的数据表。

第3章内容引导读者深入了解Doris的数据导入方法。从常见的Insert语句到更高级的 Binlog Load、 HDFS Load 和 Spark Load 等方式，读者将学习多种数据导入的技巧和最佳实践。

第4章介绍 Doris 的数据导出和数据管理。读者将了解如何将数据从 Doris 导出，并学习备份、恢 复和删除恢复数据的方法。这将帮助读者有效管理和保护 Doris 中的数据。

第5章深入探讨 Doris 中的数据更新和删除操作。读者将学习如何使用Update 和 Delete 语句来更 新和删除数据，并了解处理 Sequence 列和批量删除的技术。

第6章将带读者进入Doris 的进阶使用领域。读者将学习如何进行表结构变更、动态分区、数据缓 存和使用DorisJoin 等高级技术。这些内容将帮助读者更好地利用 Doris 的强大功能和性能优势。

第7章探索 Doris 的生态扩展。读者将了解 Spark、Flink 和 DataX 等生态系统的连接器，以及 JDBC Catalog 和 Doris 优化的相关内容。这将为读者提供更多与 Doris 集成和优化的机会。

本书旨在以简洁清晰的方式向读者传递 Doris 的核心知识和实践经验，将结合理论和实战，提供丰 富的示例和最佳实践，帮助读者快速上手并在实际项目中应用Doris。

学习资源

本书为读者准备了丰富的学习资源，读者可以扫描下方二维码获取。

我们衷心希望本书能够为读者构建实时数据仓库的旅程提供指导和帮助。无论是初学者还是有经 验的专业人士，我们相信本书都能提供有价值的内容。无论是正在考虑采用 Doris 作为数据仓库解决方案，还是已经在使用Doris 并希望深入了解其更多功能和技术细节，本书都将会是良师益友。

我们要感谢所有为本书提供支持和帮助的人们，特别是Doris 社区的开发人员和贡献者。没有他们 的辛勤工作和无私奉献，本书的编写将无法顺利进行。

最后，我们希望本书能够激发读者对 Doris 的兴趣，并帮助读者在实际应用中取得成功。无论读者 是从零开始学习，还是希望加深对 Doris 的理解，本书都将成为不可或缺的参考资源。愿本书能够为读者的数据仓库建设之路增添一份助力，祝阅读愉快，收获满满!