关于数据:数栈产品分享简析数据中台如何通过DataAPI实现数据共享

数栈是云原生—站式数据中台 PaaS，咱们在 github 和 gitee 上有一个乏味的开源我的项目：FlinkX，FlinkX 是一个基于 Flink 的批流对立的数据同步工具，既能够采集动态的数据，也能够采集实时变动的数据，是全域、异构、批流一体的数据同步引擎。大家喜爱的话请给咱们点个 star！star！star！

github 开源我的项目：https://github.com/DTStack/fl…

gitee 开源我的项目：https://gitee.com/dtstack_dev…

如果把企业数字化转型比作一辆自行车，那么技术与数据便是这辆车的两个轮子，骑在车上的则是企业策略、文化以及各种资源，它们决定了转型将走向哪个方向。不论数字化转型之路如许正确、战术如何高超，其最终后果还是要通过这两个轮子落地。

DT 时代，“大数据”不是强调量大，是指数据起源多、维度多。当初很多零碎的数据没法给第三方用，只有突破这种壁垒，才会产生新的价值。在数智化转型过程中，实现数据凋谢共享，是企业在 DT 时代实现弯道超车的前提。

一、什么是数据共享服务

数据共享服务可简略概括为将数据中台的数据共享给其余零碎，或将某组织的数据共享给其余组织，提供数据的形式也非常多样，如数据库读取、文件传输、API 接口服务等。

如何通过数据 API，对外提供数据服务，进行数据共享呢？

数据 API，通过 RestfulAPI 的模式对外提供数据服务，实用于数据库不间接对外开放，通过接口提供高并发快返回的数据服务场景，如企业外部将数据中台加工的后果数据，通过数据 API 的形式，提供给下层数据利用、数据门户，可视化大屏等；证券公司将股票、债券等行情数据通过数据 API 的形式提供给内部客户；新媒体企业将资讯通过 API 的形式提供给内部客户等，次要解决数据对外疾速共享的场景。

二、怎么生成数据服务

依照传统形式，生成 API 接口，往往须要后端开发人员通过 Java 或 Python 等语言进行编写。从开始生成到对外公布，两头再做一些鉴权、限流等，整个流程较长，且一个接口开发实现后，须要测试人员再进行测试验证，整个过程下来，投入老本较高。

以下是传统形式生成数据 API 的流程：

近几年，在数据中台的浪潮中，大数据平台产品供给也越来越俱全。国内局部优良的大数据产品供应商，也有标准化的数据共享服务产品，其将数据服务能力进行封装，大部分性能在平台产品外部实现，面向用户的性能只是连贯数据源、编写查问逻辑，大幅度缩短 API 流程，并升高开发成本。

利用标准化产品，个别开发流程如下：

在 API 生成中，通过以下步骤：

• API 生成：平台会封装 API 创立能力，用户只需在 WEB 界面上选库选表，设定申请参数、返回参数即可；对于简单的 API 查问逻辑，有的平台也会提供自定义 SQL 写查问逻辑的模式，满足用户不同场景。
• API 公布：平台会集成 API 网关，无需用户本人写网关逻辑，API 公布后，会间接公布在 API 网关上，造成 API 市场，对外提供数据服务。
• API 申请：有须要的用户可间接在 API 申请已公布的 API，管理员进行审批，审批通过后，申请者可拿到 API 的调用地址和申请示例。
• API 受权：对 API 申请者的申请进行审批；
• API 治理：对企业来讲，一款标准化的产品提供了一个企业级数据服务对立治理平台与企业级的 API 市场。

在 API 调用流程中，API 网关能够进行鉴权、限流、数据解密等工作。

（一）较于传统化的生成形式，标准化产品能带来什么？

1. 开发效率的晋升：将数据 API 开发流程缩短，一个 API 生成只需 3 分钟
2. 人力老本的升高：传统形式须要后端开发写接口，当初只需更相熟数据的开发，通过写 SQL，就可实现数据 API 的开发。
3. API 接口服务更多的场景：除了用户原有需要外，标准化的产品可带来更多附加性能，如 API、用户限流，API 调用监控等。
4. 企业级 API 市场：实现企业 API 对立治理，对立的 API 市场凋谢数据服务。

（二）数栈 DTinsight 的 DataAPI 产品正是面向以上场景，提供数据 API 的共享服务。

DataAPI，通过双模式可视化配置生成与注册 API，疾速构建 Oneservice 数据服务，造成企业级的 API 市场和 API 服务治理平台，进步数据凋谢与共享效率。

三、DataAPI 能够做什么

DataAPI 除以上介绍可解决的场景外，还在第三方数据服务、服务监控、数据服务平安深耕较多，提供给客户一个优良的数据服务产品。

• 双模式生成 API

通过向导模式、自定义 SQL 模式双模式生成 API 服务，3 分钟可视化实现 API 创立。

• 第三方服务注册

除在平台上生成 API 服务，反对将原有的 API 服务注册至 DataAPI，进行对立治理、公布至 API 市场，企业所有的 API 服务对立治理。

• API 调用监控

平台从 API 管理者、API 申请者视角别离提供 API 调用次数、调用日志、谬误日志的监控。

• API 应用权限管制

可管制单个 API 的用户应用权限，调用次数是多少，调用周期是多长。

四、数据服务平安

数据对外服务过程中，数据安全是十分重要的一部分，DataAPI 保障数据安全，次要有三方面：

• API 调用

API 调用中提供 2 种加密形式，可对用户信息、API 信息、数据信息进行加密，实用于不同安全级别的场景。

• API 限流

针对 API 单秒调用次数、用户对 API 的调用次数可进行限流，保障数据服务的平安稳定性。

• 黑白名单 IP 管制

通过设置黑白名单，从 IP 级别管制 IP 的拜访。