数栈是云原生—站式数据中台PaaS,咱们在github和gitee上有一个乏味的开源我的项目:FlinkX,FlinkX是一个基于Flink的批流对立的数据同步工具,既能够采集动态的数据,也能够采集实时变动的数据,是全域、异构、批流一体的数据同步引擎。大家喜爱的话请给咱们点个star!star!star!
github开源我的项目:https://github.com/DTStack/fl...
gitee开源我的项目:https://gitee.com/dtstack_dev...
如果把企业数字化转型比作一辆自行车,那么技术与数据便是这辆车的两个轮子,骑在车上的则是企业策略、文化以及各种资源,它们决定了转型将走向哪个方向。不论数字化转型之路如许正确、战术如何高超,其最终后果还是要通过这两个轮子落地。
DT时代,“大数据”不是强调量大,是指数据起源多、维度多。当初很多零碎的数据没法给第三方用,只有突破这种壁垒,才会产生新的价值。在数智化转型过程中,实现数据凋谢共享,是企业在DT时代实现弯道超车的前提。
一、什么是数据共享服务
数据共享服务可简略概括为将数据中台的数据共享给其余零碎,或将某组织的数据共享给其余组织,提供数据的形式也非常多样,如数据库读取、文件传输、API接口服务等。
如何通过数据API,对外提供数据服务,进行数据共享呢?
数据API,通过RestfulAPI的模式对外提供数据服务,实用于数据库不间接对外开放,通过接口提供高并发快返回的数据服务场景,如企业外部将数据中台加工的后果数据,通过数据API的形式,提供给下层数据利用、数据门户,可视化大屏等;证券公司将股票、债券等行情数据通过数据API的形式提供给内部客户;新媒体企业将资讯通过API的形式提供给内部客户等,次要解决数据对外疾速共享的场景。
二、怎么生成数据服务
依照传统形式,生成API接口,往往须要后端开发人员通过Java或Python等语言进行编写。从开始生成到对外公布,两头再做一些鉴权、限流等,整个流程较长,且一个接口开发实现后,须要测试人员再进行测试验证,整个过程下来,投入老本较高。
以下是传统形式生成数据API的流程:
近几年,在数据中台的浪潮中,大数据平台产品供给也越来越俱全。国内局部优良的大数据产品供应商,也有标准化的数据共享服务产品,其将数据服务能力进行封装,大部分性能在平台产品外部实现,面向用户的性能只是连贯数据源、编写查问逻辑,大幅度缩短API流程,并升高开发成本。
利用标准化产品,个别开发流程如下:
在API生成中,通过以下步骤:
- API生成:平台会封装API创立能力,用户只需在WEB界面上选库选表,设定申请参数、返回参数即可;对于简单的API查问逻辑,有的平台也会提供自定义SQL写查问逻辑的模式,满足用户不同场景。
- API公布:平台会集成API网关,无需用户本人写网关逻辑,API公布后,会间接公布在API网关上,造成API市场,对外提供数据服务。
- API申请:有须要的用户可间接在API申请已公布的API,管理员进行审批,审批通过后,申请者可拿到API的调用地址和申请示例。
- API受权:对API申请者的申请进行审批;
- API治理:对企业来讲,一款标准化的产品提供了一个企业级数据服务对立治理平台与企业级的API市场。
在API调用流程中,API网关能够进行鉴权、限流、数据解密等工作。
(一)较于传统化的生成形式,标准化产品能带来什么?
- 开发效率的晋升:将数据API开发流程缩短,一个API生成只需3分钟
- 人力老本的升高:传统形式须要后端开发写接口,当初只需更相熟数据的开发,通过写SQL,就可实现数据API的开发。
- API接口服务更多的场景:除了用户原有需要外,标准化的产品可带来更多附加性能,如API、用户限流,API调用监控等。
- 企业级API市场:实现企业API对立治理,对立的API市场凋谢数据服务。
(二)数栈DTinsight 的DataAPI产品正是面向以上场景,提供数据API的共享服务。
DataAPI,通过双模式可视化配置生成与注册API,疾速构建Oneservice数据服务,造成企业级的API市场和API服务治理平台,进步数据凋谢与共享效率。
三、DataAPI能够做什么
DataAPI除以上介绍可解决的场景外,还在第三方数据服务、服务监控、数据服务平安深耕较多,提供给客户一个优良的数据服务产品。
- 双模式生成API
通过向导模式、自定义SQL模式双模式生成API服务,3分钟可视化实现API创立。
- 第三方服务注册
除在平台上生成API服务,反对将原有的API服务注册至DataAPI,进行对立治理、公布至API市场,企业所有的API服务对立治理。
- API调用监控
平台从API管理者、API申请者视角别离提供API调用次数、调用日志、谬误日志的监控。
- API应用权限管制
可管制单个API的用户应用权限,调用次数是多少,调用周期是多长。
四、数据服务平安
数据对外服务过程中,数据安全是十分重要的一部分,DataAPI保障数据安全,次要有三方面:
- API调用
API调用中提供2种加密形式,可对用户信息、API信息、数据信息进行加密,实用于不同安全级别的场景。
- API限流
针对API单秒调用次数、用户对API的调用次数可进行限流,保障数据服务的平安稳定性。
- 黑白名单IP管制
通过设置黑白名单,从IP级别管制IP的拜访。