关于实时计算:基于-Flink-x-TiDB智慧芽打造实时分析新方案

摘要：本文整顿自智慧芽数据仓库架构师曲明星在 Flink Forward Asia 2021 实时数仓专场的分享。本篇内容次要分为三个局部：

1. 产品架构
2. 技术架构
3. 将来打算

点击查看直播回放 & 演讲 PPT

一、产品架构

上图是智慧芽 APP 的产品架构图，包含后盾管理系统、AI、内容引擎、帮忙核心，为客户提供知识产权信息化服务和科技翻新情报系统。

二、技术架构

2.1 原实时剖析计划

上图是原来的实时剖析计划。流程大抵是客户检索一个条件，通过剖析 API 把客户检索的相干条件发送到不同的搜索引擎。这种计划会产生 4 个问题：

• 对检索性能产生影响；
• 简单剖析须要开发插件反对；
• 跨多个搜索引擎剖析复杂度高；
• 不同维度的数据无奈存储。

在建设实时数仓前，收集了业务要求实时数仓特点：

• 秒级响应；
• 准实时数据更新；
• 能反对一定量的并发能力；
• 与搜索引擎数据保持一致；
• 反对简单剖析的能力；
• 反对对立应用形式及支流个性；
• 反对与搜索引擎交互；
• 反对存储容量横向扩大的能力。

上图是数据平台概览。从下往上看：

• 最上层是数据底座，包含数据存储和数据计算，其中数据计算层由 Spark、Kafka、Flink 组成；
• 中间层是数据平台，包含数据开发、数据分类、数据管理和数据服务；
• 下层是数据利用，次要有数据业务、内部剖析服务和外部剖析业务形成。

2.2 新实时剖析计划

新的技术选型次要基于 TiDB，次要包含数据存储、数仓服务两个局部。数仓服务分为安全检查、驱动表治理、缓存治理、集群负载查看以及执行器等局部。

抉择 TiDB 是因为它是云原生并且社区沉闷、满足 TP 及 AP 业务场景、丰盛的生态工具及多平台以及其应用简略，兼容 MySQL 以及大数据能力。

抉择 Flink 也是因为它是一个开源的大数据计算引擎，并且有沉闷的云原生社区，可能满足对数据的及时性要求，一致性方面有 exactly-once 语义，同时具备低提早高吞吐量。

在线业务数据写入流程：把源头的数据变更放到音讯队列中去，通过索引程序将数据散发到不同的搜索引擎，同时搜索引擎也会给索引程序发送音讯。

离线剖析技术体系：整个离线剖析技术体系比拟依赖于 oss。将每日的增量数据离线放到 oss 里，对全量的数据进行一些比较复杂的剖析。

离线业务数据写入流程：数据变更会触发长久流化至 oss，oss 同时会和历史流进行合并在 oss 放一份全量数据。

2.3 原用户行为剖析计划

原用户行为剖析计划是非常复杂的计划，这个计划在前端有 JS 和 Java 的 API，JS 会将用户的埋点数据搁置到 Segment 中去，同时有 Gainsight 和 AMPLITUDE 两个合成化引擎。

2.4 新用户行为剖析计划

新的用户行为剖析计划绝对比拟简洁。首先收集用户的行为数据，通过 Kinesis 以流的形式接到到 Flink，再进行一些实时指标的计算，并将计算结果寄存于不同的表中，给咱们提供了可视化的开发。

2.5 Flink + Iceberge 摸索

在 Flink + Iceberge 的摸索中，将几百 G 左右的表以流的形式放到 Kafka 中，再推送到 oss 中。目前，市面上不足成熟的解决方案，所以没有把这个形式利用到生产环境上。

三、将来打算

• 云原生数据库架构迁徙；
• 提供更欠缺的指标和取数零碎；
• 建设数据生产的全链路监控和预警；
• 供撑持公司数据生产和服务能力；
• 在线实时剖析数仓及其数据处理管道的持续演进；
• 打造云原生数据技术体系和新一代大数据平台；
• 提供数据网关入口，提供对立的数据进口、进步数据利用效率。

Patsnap 是一家科技翻新情报 SaaS 服务商。通过机器学习、计算机视觉、自然语言解决（NLP）等人工智能技术为寰球当先的科技公司、高校和科研机构、金融机构等提供大数据情报服务。

点击查看直播回放 & 演讲 PPT

2022 第四届 实时计算 FLINK 挑战赛

49 万奖金等你来拿！

连续“激励师打算”，赢取丰富礼品！

点击进入赛事官网报名参赛 **

更多 Flink 相干技术问题，可扫码退出社区钉钉交换群
第一工夫获取最新技术文章和社区动静，请关注公众号～

流动举荐

阿里云基于 Apache Flink 构建的企业级产品 - 实时计算 Flink 版现开启流动：
99 元试用 实时计算 Flink 版（包年包月、10CU）即有机会取得 Flink 独家定制卫衣；另包 3 个月及以上还有 85 折优惠！
理解流动详情：https://www.aliyun.com/produc…