乐趣区

关于大数据:连载阿里巴巴大数据实践数据服务

jiezi

简介： 服务架构的每次降级，均在性能、稳定性、扩展性等方面有所晋升，从而能更好地服务于用户

前言：
- 更多对于数智化转型、数据中台内容请退出 阿里云数据中台交换群—数智俱乐部 和关注官网微信公总号（文末扫描二维码或点此退出）

- 阿里云数据中台官网 https://dp.alibaba.com/index

起源：数智化转型俱乐部

数据部门产出的海量数据，如何能不便高效地凋谢进来，是咱们始终想要解决的难题。在没有数据服务的年代，数据凋谢的形式简略、粗犷，个别是间接将数据导出给对方。这种形式不仅低效，还带来了安全隐患等诸多问题。

为此，咱们在数据服务这个方向上一直摸索和实际。最早的数据服务雏形诞生于 2010 年，至今已有 7 个年头。在这期间，随着咱们对业务的了解一直加深，同时也得益于新技术的继续涌现，对数据服务架构也进行了屡次降级革新。服务架构的每次降级，均在性能、稳定性、扩展性等方面有所晋升，从而能更好地服务于用户。

1．服务架构的演进

阿里数据服务架构演进过程如图 6.1 所示。基于性能、扩展性和稳定性等方面的要求，咱们一直降级数据服务的架构，顺次经验了外部代号为 DWSOA、OpenAPI、SmartDQ 和 OneService 的四个阶段。

阿里数据服务架构演进过程

其中，第四个阶段是对立的数据服务层（即 OneService）。大家心里可能会有疑难：SQL 并不能解决简单的业务逻辑啊。的确，SmartDQ 其实只满足了简略的查问服务需要。咱们遇到的场景还有这么几类：个性化的垂直业务场景、实时数据推送服务、定时工作服务。所以 OneService 次要是提供多种服务类型来满足用户需要，别离是 OneService-SmartDQ、OneService-Lego、OneService-iPush、OneService-uTiming。

在 OneService 阶段，开始真正走向平台化。咱们提供数据服务的外围引擎、开发配置平台以及门户网站。数据生产者将数据入库之后，服务提供者能够依据标准规范疾速创立服务、公布服务、监控服务、下线服务，服务调用者能够在门户网站中疾速检索服务，申请权限和调用服务。

2．技术架构

  • SmartDQ

SmartDQ 的元数据模型架构示意图

SmartDQ 的元数据模型，简略来说，就是逻辑表到物理表的映射。自底向上别离是：

（1）数据源：SmartDQ 反对跨数据源查问，底层反对接入多种数据源，比方 MySQL、HBase、OpenSearch 等。

（2）物理表：物理表是具体某个数据源中的一张表。每张物理表都须要指明主键由哪些列组成，主键确定后即可得悉该表的统计粒度。

（3）逻辑表：逻辑表能够了解为数据库中的视图，是一张虚构表，也能够看作是由若干主键雷同的物理表形成的大宽表。SmartDQ 对用户展示的只是逻辑表，从而屏蔽了底层物理表的存储细节。

（4）主题：逻辑表个别会挂载在某个主题下，以便进行治理与查找。

  • iPush

iPush 利用架构示意图

iPush 利用产品是一个面向 TT、MetaQ 等不同音讯源，通过定制过滤规定，向 Web、无线等终端推送音讯的中间件平台。iPush 外围服务器端基于高性能异步事件驱动模型的网络通信框架 Netty 4 实现，联合应用 Guava 缓存实现本地注册信息的存储，Filter 与 Server 之间的通信采纳 Thrift 异步调用高效服务实现，音讯基于 Disruptor 高性能的异步解决框架（能够认为是最快的音讯框架）的音讯队列，在服务器运行中 Zookeeper 实时监控服务器状态，以及通过 Diamond 作为对立的管制触发核心。

  • Lego

Lego 被设计成一个面向中度和高度定制化数据查问需要、反对插件机制的服务容器。它自身只提供日志、服务注册、Diamond 配置监听、鉴权、数据源治理等一系列基础设施，具体的数据服务则由服务插件提供。基于 Lego 的插件框架能够疾速实现个性化需要并公布上线。

Lego 采纳轻量级的 Node.JS 技术栈实现，适宜解决高并发、低提早的 IO 密集型场景，目前次要撑持用户辨认发码、用户辨认、用户画像、人群透视和人群圈选等在线服务。底层依据需要特点别离选用 Tair、HBase、ADS 存储数据。

uTiming

uTiming 是基于在云端的任务调度利用，提供批量数据处理服务。uTiming-scheduler 负责调度执行 SQL 或特定配置的离线工作，但并不间接对用户裸露任务调度接口。用户应用数据超市工具或 Lego API 建设工作。注：本书中呈现的局部专有名词、专业术语、产品名称、软件项目名称、工具名称等，是淘宝（中国）软件有限公司外部我的项目的习用词语，如与第三方名称雷同，实属偶合。

节选自《大数据之路：阿里巴巴大数据实际》已受版权保护，未经受权不得转载

连载：阿里巴巴大数据实际—数据开发平台 >>
连载：阿里巴巴大数据实际—实时技术 >>
连载：阿里巴巴大数据实际—数据服务 >>

数据中台是企业数智化的新基建，阿里巴巴认为数据中台是集方法论、工具、组织于一体的，“快”、“准”、“全”、“统”、“通”的智能大数据体系。目前正通过阿里云数据中台解决方案对外输入，包含批发、金融、互联网、政务等畛域，其中外围产品有：

  • Dataphin，一站式、智能化的数据构建及治理平台；
  • Quick BI，随时随地 智能决策；
  • Quick Audience，全方位洞察、全域营销、智能增长；
  • Quick A+，跨多端全域利用体验剖析及洞察的一站式数据化经营平台；

官方站点：
数据中台官网 https://dp.alibaba.com

退出移动版