关于apache-doris:基于Apache-doris怎么构建数据中台二数据中台建设内容

11次阅读

共计 1175 个字符，预计需要花费 3 分钟才能阅读完成。

这次次要是将基于 Doris 的数据中台建设内容及零碎架构设计
围绕着上次将的咱们要解决的五个问题：找数，了解数据，问题评估，取数及数据可视化，给出一个概要的设计及框架

数据标准对立：采纳维度事实建模实践进行严格的，规范化、标准化的定义，保障数据品质，防止数据指标的二义性。
一站式研发体验：从数据接入、建模、研发、运维、数据查找及探查等过程提供高效一站式对立的研发立案率。
系统化构建数据体系：以规范的技术框架，系统地构建标准可读的业务化数据体系，造成数据资产，不便业务查找及利用。
可视化数据资产：系统化构建业务数据资产大图，还原业务零碎，提取业务知识，疾速提取业务关键环节及业务。
数据应用简略可依赖：定义及服务，研发构建的业务主题式数据逻辑表可被间接，疾速查问及拜访，简化查问代码。

对用户来说，Doris 的长处是功能强大，易用性好。功能强大指能够满足咱们用户的需要，易用性好次要指兼容 Mysql 协定和语法，以及 Online Schema Change。兼容 Mysql 协定和语法让用户的学习老本和开发成本很低，Online Schema Change 也是一个很吸引人的 feature，因为在业务疾速倒退和频繁迭代的状况下，Schema 变更会是一个高频的操作。

对平台侧来说，Doris 的长处是易运维，易扩大和高可用：

易运维指 Doris 无内部零碎依赖，部署和配置都很简略。
易扩大指 Doris 能够一键加减节点，并主动平衡数据。
高可用值 Dors 的 FE 和 BE 都能够容忍多数节点挂掉。
所以这里数仓是应用 Doris 作为外围组件来构建

数仓整体以 Doris 为外围构建公司企业级数据仓库，（前期会依据理论须要还可能会引进 Hive、ClickHouse 等其余组件）
通过对立的数据采集零碎，多种数据采集伎俩，包含 Mysql binlog 解析（Cannal），日志采集 Flume（Doris 审计日志）、埋点接口等实现多种异构数据的采集，针对 Mysql，Kafka 数据源咱们封装了零代码入仓，可视化实现
将采集的数据对立通过音讯队列（Kafka）实现高并发的数据吞吐，同时实现数仓及计算引擎的解耦
Flink 计算引擎实现数据的 ETL 解决及实时数据的统计，并将数据推送到 Kafka 及 Doris（Stream Load）
对外通过 doris 和音讯队列对外提供数据服务
数据品质治理是实现对从数据采集到数据 ETL 解决，数据存储及数据服务全生命周期的数据管理，包含元数据，数据品质，数据标准、数据安全
血缘关系的构建是基于 Doris 的审计日志，这块我会在前面数据资产的元数据管理里解说
零碎架构数据管理及数据流向