关于数据库:Tapdata-重磅更新已就绪全托管云服务上线应用场景再扩展

继 5 月举办的「连贯 1 次孤岛，服务 N 个场景」主题产品发布会后，Tapdata Live Data Platform 现已实现性能个性的全面降级，并基于本身产品能力积极探索在利用场景层面的落地实际及有限可能。
援用
在去年 6 月的 Tapdata 2.0 发布会上，自带 ETL 的实时数据平台 Tapdata LDP 带着最新的开源打算同大家见面。尔后近一年的工夫里，Tapdata 团队在 2.0 版本的根底上继续优化，不断改进与欠缺，以满足一直变动的用户需要和市场竞争的挑战。终于迎来了此次产品能力更加齐备，性能体现更加优良的新版本。置信它将为大家带来更好的应用体验和更加欠缺的服务，在将来的新一阶段为数据利用发明新的惊喜。

点击这里即可观看残缺回放

企业信息化倒退 30 余年，带来的不仅有效率降级等经营优化，还有越来越无奈疏忽的数据孤岛难题。

在这三十年间，企业投入了大量资金和人力等资源老本，构建了各种各样的信息化零碎来辅助企业倒退经营。据统计，均匀每家大型企业所领有的业务零碎数量大概为 463 套，小型企业和中型企业也是从几十套到上百套不等。这些业务零碎大多独立为营，非但不能为明天的数字化需要提供帮忙，还会造成新的麻烦和困扰，也就是 如何让企业本身的数据真正能为企业所用的问题。

听起来是个如“唾手可得”般简略的需要，但哪怕只是想要基于业务经营、生产销售、或是客户反馈等信息进行洞察，从而制订相应的干涉措施，晋升客户体验，也远非易事，因为你会发现这些这些数据其实都来自于不同的业务零碎，很难站到一个整体的视角来总结法则，或是从中发现问题的答案。这时往往就须要技术团队出手，来反对这些业务层面的诉求。

一、新十年的数据架构

想要把数据用起来，常见的形式次要有两种，一是大数据平台，二是近年来较为支流的古代数据栈，但二者解决问题的思路十分不同。

大象团队大数据：Go for Big

前者从建设一个大数据平台或大型数据中台的雄伟打算登程，一步步立项、做后期调研，收集尽可能多的业务需要后，再着手建设，过程中可能还须要招聘相应人才部署施行，一番筹备工作之下，数月也只是弹指一挥间。而一个残缺的大数据我的项目往往须要破费 1-2 年的工夫，投入数百乃至千万级的总成本，才有可能真正落地并施展功效。

事实上，孕育自互联网大厂的大数据解决方案，无论是价值点还是痛点都十分明确，一方面它的确在过来十年以业余的形象满足了咱们普遍存在的数据需要；另一方面，随着咱们对数据价值与外延的了解日益粗浅，也暴露出较为惨重、部署简单、运维老本高、须要大量计算资源等问题，它对业务问题的响应较慢，无论是开发还是查问数据都是如此，获取洞察的周期也十分长。除此之外，大数据平台次要负责收集历史数据，与新产生的数据相比价值无疑要小得多。因而，会给企业带来 90% 的数据只能发明 10% 的业务价值这样的后果。

小兔团队走麻利：Go for Quick

后者古代数据栈走的则是麻利路线。首先，明确须要依赖数据解答的几个问题，再将这些问题围绕数据这条主线，拆分出要害的细分需要。例如最终目标是基于数据做洞察，第一步，须要将藏着答案的这部分数据收集上来；第二步，将数据存入数仓，按需进行剖析等解决；第三步，可能须要用 BI 来展现第二步中失去的数据后果。此时，咱们就能够轻松地依据每一步的需要，调研并别离抉择最适宜本身理论状况的工具和产品，对应地实现各个分步。

如果在选型时再能无意识地在云上做抉择，只消数日就能够实现初步搭建，顺利对接零碎，并开始尝试做一些根底的数据分析；数周就能够落地晚期我的项目原型，后期投入大略在数千或数万元，尽管间隔残缺、成体系的数字化平台还有肯定间隔，但这样一个好的结尾将给予企业更多持续投入的信息，而这个我的项目也得以一直迭代上来。

这便是古代数据栈的实质——因为云数仓衰亡而呈现的一系列数据工具生态系统。这些工具将整个数字化建设过程拆分成了各个模块，让企业可能从眼下的问题登程，依据业务需要进行选型再组合，而不是像过来那样，一口气建设一个大一统的数据平台或数据中台。因此具备如下特点：

• 云原生、可托管：极速搭建，低估算开始，可疾速扩大
• 可组合、可插拔：抉择多，无锁定，企业能够依据本身特定需要，在不同模块下抉择最适宜产品，打出现实的组合牌
• 自助服务：流程短，易迭代，见效快，无需供应商侧或技术人员的染指或从旁反对，即可自助上手

综合来看，古代数据栈对于企业想要降本增效实现数字化而言具备非常明显的先天劣势。

二、Tapdata Live Data Platform：古代数据栈理念践行者

作为行业首个基于毫秒级实时同步能力，实现 DaaS（数据即服务）架构的数据集成及服务平台，Tapdata 便是这一理念很好的践行者，其在古代数据栈架构中的定位是数据采集、解决和筹备阶段，也就是在数据源和数据业务指标之间，负责将数据采集过去后进行加工解决，并在抽象化后实现建模，供上游应用。

上图展现了基于 Tapdata LDP 的古代数据栈架构，Tapdata 在其中扮演着位于数据源和数据分析、数据利用两头的一个数据筹备平台的角色。与一般的数据集成工具相比，Tapdata 多了一些缓存和共享服务的能力，目标是可能让它更高效地对一些罕用共享数据进行屡次复用，从而为企业带来降本增效的成果。

Tapdata 能够在阿里云、华为云等云上应用，接下来咱们也将推动其在 AWS、微软 Azure，以及 GCP 等之上的部署。同时咱们始终会联合国内环境，反对通过 PaaS 的形式在用户的数据中心进行部署，并承当起高效、可复用的数据筹备工作。

理念开花：连贯 1 次孤岛，服务 N 个场景

首先，数据集成的必要性毋庸置疑，但真正高效的集成形式，应该是每一次买通的数据都可能积淀下来。一次连贯企业的数据库或 SaaS 零碎后，将须要的数据复制到 DaaS 地方缓存，并在 DaaS 间接公布 API，或推送给数仓、Kafka、AI 等。这样无论上游新增怎么的业务场景，都能够间接从这个地方化数据平台来取数，无需再诉诸源头成十上百的业务零碎，单是效率上就有显著晋升。具体利用场景包含：

① 实时数据同步

这是最简略的一类场景。Tapdata 已对接企业的各个数据源，采集到这些数据后，即可依照数据秦阿姨、数据入仓、新业务库等不同需要实现数据 1:1 的复制和实时同步。

② 搭建客户、商品、库存 360 视图

这是在批发或服务等行业都较为高发的场景，因为企业外部往往运行着多套 CRM 或销售平台零碎。以电商为例，因为销售平台笼罩淘宝、天猫、亚马逊、Shopify 等多个平台，间接导致客户数据、商品数据、订单信息、库存信息散落在各个系统中，Tapdata 能够将这些多源数据会集过去，建设一个多渠道的订单库存和商品模型，可依据库存治理、客户 360 等需要自在调用。

③ 疾速搭建 BI 看板

BI 需要是咱们在服务客户的过程中，发现的一个最高频，也是最常见的业务场景。在实现数据分析后，惯常以 Dashboard 或报表的形式来出现洞察后果，在前两个场景中，咱们曾经展示了 Tapdata 在数据的对接、存储，模型的构建与 API 的公布方面的本身能力，如果这时再与 BI 产品实现对接，就又能够用作一个十分疾速易用的 BI 数据筹备平台，咱们能够间接从曾经整顿好的模型中获取数据，即便是须要新的数据，也能够再到 LDP 中进行加工，为 BI 服务。

④ 翻新场景拓展：为企业公有大模型供数

自 ChatGPT 公布以来，无论是底层大模型、训练框架、利用框架还是 GPT 插件等等各种新构想和产品层出不穷，为各行各业带来了粗浅的改革和前所未有的时机。而对于很多中大型企业而言，如果想用大模型为本人的业务提供更强的能力，或是心愿实现智能客服优化等细节需要，这些开放式的 AI 往往并不实用，而是须要更多依赖企业公有大模型的部署，这就须要大量用到企业外部的数据资源。而 Tapdata 恰好能够一键创立数据链路，为大模型供数，可用于反对模型训练、算法微调、Prompt Engineering 等需要。

产品后果：自带缓存的数据集成 + 服务平台 LDP

正是基于这样的理念和场景需要，Tapdata 自研推出了自带缓存的数据集成和服务平台 Live Data Platform（简称 LDP）。

为了更不便对接零碎，咱们提供了 60 多种数据源的主动对接，仅需简略配置即可实现数据的采集买通。

此外，思考到如果想要反对实时交互式业务，数据就必须陈腐且放弃随时更新，Tapdata 也非常重视数据在传输过程中的时效性，所以 LDP 采纳了全链路实时的技术，首先以亚秒级的提早从源头获取数据，并选用 MongoDB 作为存储，借由 MongoDB 对实时高并发更新的反对，来保障平台内数据与源头数据高度一致。

同时在这个过程中，LDP 在产品层面提供了低代码利落拽操作的能力，无需破费工夫与代码纠缠，仅需利落拽就能实现数十种上游场景的无缝对接，疾速服务于多个场景。

三、Tapdata 迈入 3.0：更多数据源、更多场景、更多功能与性能优化

企业对更翻新、更麻利、更有弹性的数字化零碎和技术底座的谋求，推动着数据工具的一直进化，继而副作用于企业的数字化转型之路的思维转变与效率降级。Tapdata 也在这样的浪潮中不断更新迭代本身的产品力，终于于本月迎来了最新降级的 Tapdata 3.0 版本，本次更新为企业版与云版同步公布，两个版本的用户都能够在第一工夫享受到 Tapdata LDP 提供的最新能力。

What’s New in Tapdata 3.0

这些能力大抵可分为以下几类：

① 更残缺的数据连贯反对：60+ 数据源，40+ 数据指标

对于一个数据集成和服务平台而言，对接的数据源和指标的丰盛度尤为重要。在过来一年中，Tapdata 继续新增数据源头和指标十余个，累积反对数量已逾 100+。

在达成常见数据库简直全笼罩的小指标后，开始正式反对 SaaS 数据源，首先以支流的电商零碎和、CRM 零碎等为终点，像是一键对接 Salesforce、Zoho、销售易等 CRM，拉取客户数据，实现客户 360，助力企业疾速剖析决策；抑或是一键对接 Amazon、Shopify 等电商，实现商品库存买通……逐渐将成千盈百的 SaaS 零碎纳入 Tapdata 的数据连贯库。

同时，Tapdata 还开辟了一些 云数仓作为新的指标，其中包含常见的 BigQuery、阿里云的 Tablestore，以及国内新秀 SelectDB 等，真正为企业疾速搭建本人的古代数据栈提供工具生态层面的帮忙。

此外，Tapdata 正在关注的第三类数据源类型是具备国家特色背景的 国产信创数据库，例如达梦、南大通用、人大金仓、Oceanbase 等。国产化浪潮之下，根底软件自主可控火烧眉毛，越来越多的国内企业开始从 Oracle、MySQL 这一类海内数据库向国产数据库迁徙，Tapdata 的能力恰好满足企业疾速、无痛实现迁徙的需要，无效推动信创行业国产化建设更进一步。

最初值得一提的是，尽管 Tapdata 已内置 100+ 数据连接器，但市场需求的步调永远更快一步。为此，Tapdata 早在去年 4 月，就曾经将本身的数据接口技术抽象化并凋谢了进去。眼下通过一年的打磨，Tapdata 开源的数据源插件开发框架 PDK 曾经十分成熟。如果需要中的数据源或指标还未能失去 Tapdata 官网反对，开发者们通过十分欠缺的 API 框架和咱们的向导，再借用一点本人的研发能力，就能够很快实现对接。如果是 API，基于 Postman Template 疾速构建，1-2 天即可实现一套 SaaS 零碎或是自研业务零碎的对接；如果是 Database，状况会绝对简单一些，大概须要消耗 3-5 天来实现一个数据库残缺的实时对接能力。

② 更牢靠的实时数据链路

作为 Tapdata 的底层外围能力，实时数据链路是撑持整个实时数据平台的基石。因而，为了让这一能力更加牢靠和稳固，Tapdata 团队也始终在一直投入大量精力进行继续保护。

首先是在性能上的跃升，应用 裸日志技术 能够帮忙 Oracle 等数据库的日志解析或同步性能达到 10 倍优化；其次是用户常会关注的实时数据同步的提早问题，既然提早不可避免，那么不如在监测能力上多下功夫，为此，Tapdata 设计了 毫秒级精准的提早检测 ；同时提供了 20+ 指标的可观测性，帮忙用户在排查问题的过程中更加清晰、精准地理解链路状态；此外，为了保障对数据状况的继续检测，Tapdata 还装备了 实时校验的能力。

③ 更易用的应用体验

3.0 版本下的另一大重磅更新点，是上线了全新的数据控制台，也就是 数据面板 性能，这是在本来的 Tapdata 可视化、易用性根底上的一个更加直观的数据应用形式。

该数据面板出现为蕴含 4 个泳道的界面，从左到右顺次代表企业的数据源数据系统（Source）、Tapdata DaaS 平台的缓存层（FDM）、主数据层和加工层（MDM），以及指标层（Target & Service）：

• 在 Source 层的话，能够通过点击【+】疾速对接数十套业务零碎，包含数据库、文件、SaaS 以及自建利用等，十分方便快捷，只须要简略配置即可实现并失去源数据信息；
• 之后就能够间接通过利落拽的形式，将源数据拖入平台的 FDM 层，实现 1: 1 的数据复制；
• 再来到 MDM 层对这些表信息进行合并等集成加工，搭建模型；
• 最初来到指标服务层对其进行公布，为上游各类须要这些数据的场景供数。

通过这样的数据面板，用户能够高深莫测地看到本人的数据从源头到平台再到公布 API，服务各业务场景的全过程，包含其在平台上经验了怎么的加工。

接下来，Tapdata 还打算减少数据溯源性能，反对用户疾速查看数据起源。

④ 云上首推全托管商业化服务

在上述更新点之外，全托管云服务也是本次更新中一项值得大家期待的新增产品能力。此前，Tapdata 更多依赖于企业版或是开源版这样的线下部署版本为大家服务。而 Tapdata Cloud 自上线起则始终作为公测版本存在，并未开启商业化能力。

现在搭载 3.0 上线的契机，Tapdata 怀着对云版稳定性与产品能力的相对信念，正式官宣开启云版商业化。

在此次公布的云服务里，Tapdata 首次提供两种产品能力模式，一是 实时数据集成，可用户数据入仓或数据同步等绝对简略的场景；二是新增的实时数据服务，能够间接用来反对 BI 看板，乃至数据平台和数据中台等。

同时提供两种托管模式，其一是始终以来都在反对的 半托管模式 ，须要由用户提供设施来部署和运维 Agent，须要应用用户本人的计算资源来进行数据采集和加工解决，益处在于可充分利用现有硬件资源，能够在本人的数据中心内应用，安全性更高；另外一种则是新增的 全托管模式，由 Tapdata Cloud 提供 Agent 运行所需的计算 / 存储资源并主动部署，同时提供对立的运行保护和资源监控以晋升运行可靠性，可实现一键交付使用，免去部署和运维精力，专一业务自身，真正的开箱即用。反对用户按需抉择。

Tapdata Cloud vs. 其余云上数据集成产品

上面让咱们以某国内私有云上一个相似的数据集成产品，以及某海内产品为参照物，来具体比照理解 Tapdata Cloud 的要害能力与劣势。

首先来看各产品在云服务的共识性劣势“价格”和“易用性”上的体现：

• 价格：不同于破费较高的按链路数量计费（如 MySQL → MySQL，MySQL → ClickHouse 算作两条链路），以及更为昂扬的按数据同步行数计费，Tapdata 采取对用户更加敌对的定价模式——按实例规格计费（如 4C8G / 8C16G），取决于用户本身的数据流量，不限链路。该模式最大益处在于，价格绝对明确的，所需老本也绝对较低。
• 应用体验：数据同步后的加工解决无疑是必要环节，不同于其余云产品在应用时须要与其余数据处理工具相结合，Tapdata 自带内嵌的解决能力和 UDF 自定义性能，能够十分高效、便捷地满足这部分需要，具备亚秒级同步提早的实时性劣势，反对数据 API 公布与集成存储等。

除此之外，Tapdata 还提供了一个小规模的永恒收费打算，这也是面向始终以来反对咱们的云版用户的独有承诺。

四、面向生态搭档：Tapdata 生态共创打算公布，携手行业搭档 100+

古代数据站的理念外围充沛展示了组合的力量，而 Tapdata 也始终置信生态单干 1+1>2 的久远意义。借着本次发布会的机会，Tapdata 官宣 2023 生态共创打算，具体介绍了接下来在生态合作伙伴方面的布局和倒退布局。

为什么抉择 Tapdata 为合作伙伴？

Tapdata 作为古代数据栈架构中的要害一环，领有成熟稳固的产品能力，和丰盛的利用场景反对，可能为咱们的合作伙伴发明以下价值：

• 提供高质量产品，发明更大利润空间
  Tapdata 的数据集成能力，能够大大降低搭档的施行周期，从而争取更大的利润空间。作为一家产品型公司，对于暂不反对的性能，如果存在须要且是产品路线图上的，咱们会将需要纳入迭代治理，并以产品的形式交付给搭档。
• Tapdata LDP 个性化行业解决方案
  Tapdata 依据客户不同的需要，为搭档提供个性化的解决方案能力，搭档能够在 LDP 上，依据本身所在行业的 know-how，定制相干计划。

• Tapdata 更多价值

  • 提供更多产品线：一直扩大产品线，包含无代码数据集成平台、低代码数据开发平台、无代码数据服务平台等，满足行业客户的需要，进步销售额和利润，同时也为渠道合作伙伴提供更多的销售机会和利润；
  • 提供业余的技术支持：以在线征询和专人对接等模式，为渠道合作伙伴提供业余的技术支持，帮忙其解决客户问题和难题，加强单干关系；
  • 建设长期单干关系：通过单干共赢，实现单方的长期利益最大化，减少信任度
  • 提供业余的市场营销反对：例如单干举办行业峰会，提供市场剖析、行业趋势、竞争剖析等，帮忙单干火把更好地理解市场和客户需要，进步销售效率
  • 提供定期培训和交换机会：Tapdata 将定期举办培训和交流会，分享行业和产品的最新动静、技术趋势、最佳实际等，进步合作伙伴的专业知识和技能。钛铂大学也将不日上线。

如何达成单干？

点击填写生态单干意向表，咱们将第一工夫与您分割

具体的合作伙伴政策如下（* 和 Tapdata 签订“解决方案搭档打算”、“经销商搭档打算”、“服务合作伙伴打算的”，能够享受更多政策福利）：

咱们十分期待可能和更多的优良搭档一起携手，独特构建凋谢的数字生态，共享数据价值。

五、面向用户：您提供业务场景，Tapdata 提供鼎力优惠

* 应用优惠即默认批准 Tapdata 应用您的场景作为案例宣传

发布会上，Tapdata 还面向用户公布了云数据服务平台搭建的优惠打算。

Tapdata 云服务平台搭建劣势

长期以来，数据平台建设的昂扬老本始终是令企业和解决方案供应商颇为头疼的问题。从晚期的定制化数据服务平台搭建，到起初的基于开源的数据服务平台，往往会呈现投入大量资金老本和工夫精力，得出的实际效果却不尽如人意的状况。

直到基于 Tapdata 的云数据服务平台解决方案呈现，以成本低、工期短、可视化、低代码开发为次要个性，让用户得以专一于业务自身，能无效升高企业老本，提供更高效的服务。在平台搭建施行方面体现出如下 4 大劣势：

• 原厂反对：Tapdata 原厂技术支持，有效应对更宽泛的性能、性能需求
• 经验丰富：由经验丰富的数据治理专家领导服务，提供更多的最佳实际
• 规范体系：汇聚我的项目和业务教训，积淀专用业务模型，造成标准、规范的数据治理体系
• 老本劣势：通过云数据服务平台易用性，压缩数据治理我的项目工期，无效降本增效

「5 万元搭建企业数字化平台」特地优惠活动进行中！

发布会最初，Tapdata 公布了重量级流动——5 万元搭建企业数字化平台的优惠打算，具体流动模式如下：

以下为本次流动囊括的具体服务事项：

如何参加？

点击此处，填写申请表单

审核通过后，将由 Tapdata 业余的服务工程师与企业用户进行沟通，明确交付指标后，就能够在云上调配计算和存储资源，疾速落地一个易用的数字化平台。

Make Your Data on Tap——让您应用数据就像通过自来水龙头取水那样不便简略，这将是咱们永恒的使命。更多产品资讯及干货整顿，欢送继续关注。

【相干浏览】

• Tapdata 的 ∞ 实际：赋能企业 AI 落地，如何为 AI 模型训练提供高质量、可信赖的公有数据集
• Tapdata 的 ∞ 实际：实时数据赋能电商资源分配，疾速落地麻利、可复用的库存数据服务
• Tapdata 的 ∞ 实际：中小企业如何轻量、高效地搭建起一个灵便易用的数字化平台
• 数据中台建设: 千万级的瀑布式，和十万级的迭代式，你会抉择哪一个？

原文链接：https://tapdata.net/tapdata-v3-launched.html