关于大数据:走好数据中台最后一公里为什么说数据服务API是数据中台的标配

43次阅读

共计 1858 个字符,预计需要花费 5 分钟才能阅读完成。

原文链接:走好数据中台最初一公里,数据服务 API 是数据中台的标配

视频回顾:点击这里

课件获取:点击这里

一、数据服务 API 建设背景

在数字化转型的时代背景下,新需要的大量增长、新技术的一直迭代,“互联网化、数字化”过程的不断深入,越来越多的业务被迁徙到互联网上,产生大量的业务交互和对外服务需要,对 API 接口的需要一劳永逸,如何疾速晋升企业数据凋谢共享能力,是企业面临数字化转型的要害命题。

传统的形式如后端开发人员通过 Java 或 Python 等语言进行编写来生成 API 接口,开发周期过长,运维老本太高,曾经不能满足企业的需要。企业在数字化转型过程往往面临诸多难题:

为了更多的解决这些问题,咱们在企业凋谢、共享数据过程中须要确定以下指标:

  • 疾速构建 API
  • 零碎稳固、数据安全
  • 易于集成应用
  • 受权交付
  • 低成本运维

二、数据服务平台建设方法论

在分享数据服务平台建设方法论之前,咱们先理解一下常见的数据中台利用架构:

数据服务层作为数据中台整体利用架构中处于两头位置,将数据计算层的后果通过数据 API 的模式对外共享给数据应用层。数据服务层次要有 3 个作用:

1、当数据已被整合和计算好之后,须要提供给产品和利用进行数据生产;

2、为了有更好的性能和体验,构建数据服务层,通过接口服务化形式对外提供数据服务;

3、满足利用各种简单的数据服务需要(简略数据查问服务、简单数据查问服务、实时数据推送)

而在数据服务层对外提供服务的过程中,经验了从 “DWSOA”“OneService”的演变过程。

从“OneService”数据服务自身来说,次要是解决异构数据源、反复建设、审计运维艰难、了解艰难这 4 个问题,通过“OneService”服务,实现主题式数据服务、对立且多样化数据服务、跨源数据服务的服务指标。

因而,若想构建一个残缺的数据服务平台,须要具备以下 6 个因素:

  • 便捷开发,具备低代码化的开发能力
  • 易于治理,API 治理操作可视化查问 API
  • 易于应用,具备规范化的文档形容信息
  • 平安稳固,服务调用追踪监控、服务应用审计、鉴权等
  • 易于运维,测试、纠查、问题规定配置
  • 性能,负载平衡、高并发

三、基于 OneService 构建数据体系

理解完“OneService”实践,接下来为大家分享如何基于 OneService 构建数据体系,次要遵循以下步骤:

● 第一步:API 定义

API 的定义包含:疾速配置参数、抉择排序字段、API 类型多样性、数据预览、复制字段等方面。

API 的类型又包含生成 API、注册 API、服务分组及服务编排这 4 个方面。

● 第二步:API 公布

API 的公布包含测试、提交至 API 网关、公布至 API 市场、版本治理这几个方面。

● 第三步:API 调用

API 调用包含数据预览、API 申请、审批、下载接口文档、正式调用这几个方面。

● 第四步:调用监控

业务上:对 API 调用的统计数据进行深刻的剖析,进而得出要害信息;

技术上:通过 API 调用的统计图表进行剖析能够发现,哪些 API 最受欢迎;而哪些简直无人问津,应该被淘汰;

平安上:对调用 IP、调用次数进行监控,对调用者进行溯源。

● 第五步:数据安全

数据安全包含:对立认证鉴权、传输加密、平安组、角色调配、行级权限、调用审批等。

上述的数据服务 API 的建设过程,其实正是袋鼠云自研的数栈数据服务 EasyAPI 产品的落地实际过程。

数据服务(EasyAPI),高效的企业级数据服务产品,通过双模式可视化配置生成与注册 API,疾速构建 OneService 数据共享服务,造成企业级的 API 市场和 API 服务治理平台,进步数据凋谢与共享效率。

同时产品具备以下特点:

  • 疾速构建

配置即开发,反对 0 代码、低代码疾速构建 API

  • 安全性高

用户认证、监控、传输加密、API 级别安全策略、行级权限、角色调配、调用申请审批、调用周期次数的限度、黑白名单

  • 灵便度高

“服务编排“可对不同的 API 进行组合,反对集成 python 进行数据处理、反对“条件判断”节点,抉择符合条件的分支

  • 配置灵便

横向拓展 API 网关、缓存

  • 低成本运维

采纳 Serverless 架构,只需关注 API 自身的业务逻辑,很少思考运行环境等基础设施

四、API 施行落地案例

接下来咱们分享三个应用客户的理论案例,为大家介绍 EasyAPI 如何切实的帮忙客户解决问题。

● 金融:某证券公司利用数据服务

● 学校:某大学利用数据服务

● 批发:某网络公司利用数据服务

袋鼠云开源框架钉钉技术交换 qun(30537511),欢送对大数据开源我的项目有趣味的同学退出交换最新技术信息,开源我的项目库地址:https://github.com/DTStack

正文完
 0