关于数据处理:Tapdata-实时数据融合平台解决方案五落地

36次阅读

共计 3585 个字符,预计需要花费 9 分钟才能阅读完成。

作者介绍:TJ,唐建法,Tapdata 钛铂数据 CTO,MongoDB 中文社区主席,原 MongoDB 大中华区首席架构师,极客工夫 MongoDB 视频课程讲师。

通过后面几篇文章,咱们从企业数据整合与分享的痛点,以及对数据中台的定义、技术需要以及技术产品的选项,都别离做了具体的论述。

有了这么多解决方案,咱们来看一下,如果是基于一个 MongoDB 的计划会是怎么样?咱们方才只是讲的数据平台在做一些抉择,然而做一个欠缺的数据中台的话还须要很多其余模块,所以这外面是用到了另一个产品,就是 Tapdata DaaS。通过 MongoDB 和 Tapdata DaaS 这样一个组合,一起来做这个中台的解决方案。

这本章节里,咱们具体来介绍一下 tapdata DaaS 基于 MongoDB 的数据中台落地计划。

为什么抉择 MongoDB 作为中台架构的数据平台

咱们先来看 MongoDB 作为中台架构的平台劣势。

MongoDB 是一个多模数据库。所谓多模数据就是他一套零碎外面一套分布式集群,外面能够做很多的不同的事件,有的时候你能够把它作为一个内存数据库,能够把它作为一个目录数据库,也能够把它作为一个 IOT 的数据模型。就是说它的多模性个性是比拟有专长的,而且它的主动扩大能力也是非常适合这种中台的对立平台的需要。多模多态,对汇聚性也是十分重要,因为咱们须要撑持不同构造、半结构化、非结构化、甚至一些图片文件可能来做到这一些。

另外,就是 MongoDB 的 API 敌对能力,采纳 JSON 作为传输格局。咱们晓得当初都是微服务,都是通过 Data API 的形式交付数据中台的数据。后面业务中台往往都是用微服务,也是通过这种 RESTful API, 那 MongoDB 的这种 JSON 模型对新一代的这种架构式有得天独厚的劣势,你会发现你花很少的工夫就能够把这个 API 构建好。另外,MongoDB 也原生提供这种 Streaming API 帮忙来做一些流解决的事件。所以 MongoDB 作为一个中台的对立平台数据库,其实是有十分得天独厚的条件。

当然,除了他的多表关联是可能是缺点。

MongoDB 另外一个劣势就是它的对象模型。咱们的 JSON 模型就是十分靠近于咱们开发的对象,Json 也好,或者是 Java 里边的 Object,python 外面的 Dictionary。

一个传统的数仓,或者是当初的数据中台的数据对立平台,要做很多的数据治理。比方要做一系列的建模的工作有概念建模、逻辑建模、物理建模。而且物理建模就是咱们所谓的物理层,那就波及到关系模型。治理一个逻辑对象,怎么样转化成五张表,十张表,20 张表听从第三方批示,这外面其实是很简单,也会很花工夫。你要设计一个很好的模型,怎么样来撑持将来的业务,这也是为什么传统数仓会花那么多的落地我的项目代价来做这个事件。

而 MongoDB 的解决方案能轻松地解决这方面的事件,这就是为什么 MongoDB 会受很多开发者的喜爱:MongoDB 在建模方面是一个十分独特的模式,它的模型是基于相似于这种逻辑模型的对象模型。你能够把它了解为差不多是一对一。业务人员个别都会明确这个概念,比方建模、逻辑建模,这些模型他们心里都无数。他们就是可能不懂那种种 DBA 说进去的的 Oracle 的这种建模形式,然而对于 MongoDB 来说,其实你只须要达到逻辑建模层的话,你就能够把这事件做了。而且这个模型建完了当前,间接能够用 REST API 的形式交付进来。从这一点上来说,它是有一个技术上是十分独到的一个先天性的劣势,尤其对咱们想做这种基于 API 的这种服务中台来说。

MongoDB 的读写拆散,HTAP 反对全渠道业务需要。有一些开发者会说是 HTAP(Hybrid Transaction and Analytical Process),就是说又能够做剖析业务,也能够做的交易型的业务。在 MongoDB 外面,咱们怎么样来做这种事件呢?比如说一个集群外面,一个 cluster,一个复制集,咱们有五个节点,四个 Secondary,一个 primary。右边的 primary 节点能够用来间接。间接跟咱们的手机或者是网页端的利用进行交互收集,采集数据,用户数据。那 MongDB 主动同步把的数据从 primary 同步到 secondary 外面。

而后咱们还能够除去右边三个,作为失常的高可用集群来说,咱们还能够拿出两个节点专门用来做剖析,你看他这个 use=analytics。就是一个标签,就比如说这两个节点是只是用来做于剖析型的,那这个时候咱们就能够用它来下面。加上咱们的 BI connector,或者是间接用咱们的 MongoDB charts 和 compass,间接能够对接 MongoDB 数据库做一些展现:kpi,dashboard 等等。咱们也能够通过一些大数据接口,比如说 spark connector 来做一些大型的 machine learning 或者是 AI 都是,有很多的这种利用场景,那这些都能够最实时的,在你最陈腐的数据上通过一个读写拆散的架构上来实现,你不须要再 ETL。在 MongoDB 外面,这个 ETL 的需求量是十分非常少的,因为能够通过原生的这种同步来提供数据的汇聚,数据放到这个剖析集群外面。

MongoDB 还有一个触发器的 API 也是比拟实用的。就是大家如果不是太理解的话从 3.6 开始有个 change stream,你能够用来订阅数据库的更新事件。比方从 IOT 设施过去,有一个灯亮了,有一个设施进入一个天文围栏外面发个报警。你都能够通过一个非常简单的订阅形式获取这些事件,而后做一些实时的,响应式的解决,不论是在 dashboard 下面显示个正告,或者是把它推送到一个 Message Queue、Kafka 之类的都能够,间接就用 MongoDB 的原生的性能来实现。

Tapdata DaaS 是什么?

Tapdata DaaS 是钛铂数据为古代企业减速数字化转型设计的数据平台,通过提供采集、存储、组织和加强等一揽子解决方案,从而失去更加不便和敌对的数据服务。
Tapdata DaaS 提供了 4 个次要的功能模块,数据采集和同步、数据转换和治理、元数据管理、和数据服务。

Tapdata: 为 MongoDB 量身定做的中台构建工具集

Tapdata DaaS 能够看做是 MongoDB 生态上一个工具集。要做一个数据中台,要同步、要治理、要建模、还要做 API 公布,这些都不是 MongoDB 做的事件,MongoDB 次要是做数据库为它的外围的次要的性能,其余的相应的性能就能够通过一些外围的工具。而 Tapdata DaaS 能够疾速的来实现这些不须要用代码的形式疾速把数据的同步,建模和治理,以及公布给疾速的做进去,这个大略就是一个整体,Tapdata DaaS 加 MongoDB 的架构。下图中的蓝色的局部就是中台的几个其余局部, 绿色的就是 MongoDB 的数据平台。

  • 数据同步及解决能力:

联合 MongoDB,Tapdata DaaS 这套计划是能够疾速落地,能够最快的工夫对接上数据进行建模、同步,而后拉到中台外面并进行把它公布进去。举一些例子,比如说能够从 Oracle database 外面把它的表的数据拖到 Tapdata DaaS 的指标的中台库外面,而后对数据进行 JSON 建模,或者是一对一建模。在这个过程中,还能够是进行实时的同步,基于日志的同步。Tapdata DaaS 数据源能够反对 SQL server、Oracle、Sybase、MongoDB、DB2、MySQL、Redis、Elasticsearch 等等,也反对文件,比方 excel、CSV。

  • 数据建模能力:

基于这种内嵌的模型 Embedded 的模型,把一对一,一对多的关系,甚至多对一的关系就间接就合并到外面去。这个会对客户数据合并、产品数据合并、订单数据合并有十分好的效率的晋升。Tapdata DaaS 提供一个可视化的建模见面,就能够很容易实现这种合并工作。

  • 数据治理能力:
    数据进到库外面,进到中台外面。有来自于不同的数据库,几十套,上百套都有可能,每一套库外面有几百张表在外面必须有一个十分好的分类,十分好的组织能力。依照不同的目标、不同的角色、不同的规定或者数据体系给它分门别类建好在这外面,把这数据打好标签,这样的话能够疾速的让大家高效的来应用到这些数据。
  • 数据 API 公布能力:
    能够通过 RESTful API 疾速的交付进来。提供图形化低代码开发工具,只须要几分钟的工夫就能够简略的公布数据给其余应用方调用。兼容 Open API,也能够反对行级列级的过滤。同时也会有一些 API 文档的测试能力,权限管控等等,这个是中台必不可少的能力之一。

Tapdata 钛铂数据

  • 新一代实时数据交融平台产品和解决方案提供商
  • 行业当先的同异构数据库实时同步解决方案提供商
    分割咱们获取企业版 Demo:team@tapdata.io
    立刻体验线上异构数据库同步服务:cloud.tapdata.net
正文完
 0