共计 3860 个字符,预计需要花费 10 分钟才能阅读完成。
【前言】作为中国的“Fivetran/Airbyte”, Tapdata 是一个以低提早数据挪动为外围劣势构建的古代数据平台,内置 60+ 数据连接器,领有稳固的实时采集和传输能力、秒级响应的数据实时计算能力、稳固易用的数据实时服务能力,以及低代码可视化操作等。典型用例包含数据库到数据库的复制、将数据引入数据仓库或数据湖,以及通用 ETL 解决等。
随着 Tapdata Connector 的一直增长,咱们最新推出《Tapdata Connector 实用指南》系列内容,以文字解析辅以视频演示,还原技术实现细节,模仿理论技术及利用场景需要,提供能够“珍藏跟练”的实用专栏。本期实用指南将以 Tapdata 新增数据源 Salesforce → MongoDB 为例,演示 Tapdata 可能为 SaaS 类数据源的数据同步需要提供怎么的反对。
CRM(Customer Relationship Management,客户关系治理)类软件的衰亡,源于企业对于客户关系治理的了解与需要。起初是市场竞争加剧,让企业开始意识到客户满意度和忠诚度对企业胜利至关重要。企业须要充沛理解客户偏好,并由此提供更好的产品和服务。而后随着销售流程的复杂化和业务数据的增长,为了进一步优化销售流程,进步销售效率和生产力,实现更好的客户沟通和合作,企业也开始更加依赖 CRM 软件作为企业治理的重要工具。
作为 CRM 软件的经典代表之一,Salesforce 通过将营销、销售、服务和 IT 团队整合到一个平台,胜利扭转了企业的运作形式。然而,在明天一直变动的数据环境中,想要仅凭 Salesforce“一己之力”来为企业取得最大价值未然远远不够。往往须要将其与一个表现出色的数据库或数仓联合起来,能力激发更弱小的剖析洞察力,促成企业效益持续增长。
同样亲密关注数据价值与 SaaS 产品的 Tapdata,作为自带 ETL 的实时数据平台,也透过社区看到了大量相干的数据迁徙需要,已于近日在产品层面实现了对 Salesforce 作为“源”的反对。
一、为什须要从 Salesforce 单兵作战走向组合牌
诚然,Salesforce CRM 曾经为企业提供了一套相当全面的解决方案,包含销售自动化、客户服务、营销自动化和合作平台等,并由此帮忙企业优化客户关系治理、进步销售效率、增强合作与沟通,以及提供数据分析等性能,从而晋升企业的竞争力和业务水平。但并不能实用于所有企业的数据存储和解决需要,因此在独自应用时常会在以下几个方面受到掣肘:
- 数据量大时性能降落:当数据量达到肯定规模时,Salesforce 的性能可能会降落,导致响应工夫变慢,用户体验不佳;
- 数据分析性能无限:Salesforce 的数据分析性能绝对较弱,不反对大规模数据分析和数据挖掘,对于须要进行深入分析的企业而言,会是个不小的麻烦;
- 限度开发自定义利用:Salesforce 的自定义利用开发受限,须要应用特定的开发语言和框架,不够灵便,开发周期可能较长;
- 访问量受定价模式限度:Salesforce 是按用户免费的,须要购买年度许可证能力开始应用。这样的定价模型可能会对拜访和应用数据产生限度,从而影响企业在数据分析和治理方面的能力。企业可能须要在管制老本和进步数据拜访灵活性之间进行衡量。
因而,为了充分利用企业数据,能够思考将 Salesforce 和其余数据库或数据仓库联结应用,像是 MongoDB、BigQuery 等等,不仅能够无效解决上述问题,进步数据处理的效率和精度,通过将 Salesforce 中的数据整合到企业的数据生态系统中,还能实现更全面的数据分析、决策和利用,达到组合劣势。
以 MongoDB 为例
大多数状况下,企业须要解决不同品种的数据,例如销售、客户关系、产品、员工和财务数据等。而 Salesforce 则次要用于治理客户关系和销售过程,因而并不能很好地满足企业在其余方面的数据处理需要。而 MongoDB 作为一个面向文档的 NoSQL 数据库,实用于解决半结构化和非结构化数据,且领有更好的扩展性和灵活性。二者联合能够为企业用户发明价值如下:
- 更好地治理客户数据:突破 Salesforce 限度,更好地理解客户需要,进步销售效率;
- 更弱小的数据处理能力:MongoDB 领有弱小的数据存储和查问能力,可能轻松解决大规模数据的存储和查问,且在大规模半结构化和非结构化数据处理方面表现出色,例如日志、社交媒体数据和传感器数据等,企业由此取得更好的洞察力,从而更好地理解其客户和市场趋势,挖掘更多商业机会;
- 数据安全与灵活性保障:一方面,Salesforce 提供了严格的安全控制和拜访权限管制,可能爱护企业数据的平安。另一方面,MongoDB 的数据模型和查询语言非常灵活,能够适应不同的数据结构和查问需要。
为了达到上述组合劣势,咱们须要首先实现 Salesforce 数据向包含 MongoDB 在内的数据指标的同步。
二、Salesforce→ MongoDB 的数据同步工作
点击查看演示视频
(* 本演示视频版本为 Tapdata 本地部署版)
版本指路:
>>> 点击登录 Tapdata Cloud
>>> 申请试用 Tapdata 本地部署版
操作流程详解(Tapdata Cloud)
① 登录 Tapdata Cloud
- 默认已实现 Tapdata Cloud 账号注册及 Agent 部署,且已领有 Salesforce 账号并存有一定量的数据,准备将其向其余指标库同步。
② 创立数据源 Salesforce 的连贯
- 在 Tapdata Cloud 连贯治理页面,点击【创立连贯】按钮,并在 Alpha 数据源中抉择 Salesforce。
- 输出连贯名称,并点击授予令牌。
- 主动跳转至 Salesforce 登录界面并实现登录
* 留神:Salesforce 提供了很多不同版本供用户抉择,目前 Tapdata 仅反对:企业版、有限版、开发者版,以及专业版。详情可参考 Salesforce 相干文档:https://help.salesforce.com/s/articleView?id=000385436&type=1
- Salesforce 登录胜利后,主动跳转回 Tapdata Cloud 连贯配置页面,显示【账户受权胜利】(* 留神:实现受权前,不可测试或保留连贯)
- 点击【连贯测试】,测试通过后,即可【保留】连贯
③ 创立数据指标 MongoDB 的连贯
- 回到 Tapdata Cloud 连贯治理页面,点击【创立连贯】按钮,并在 GA 数据源中抉择 MongoDB。
- 参考右侧连贯配置帮忙,实现 MongoDB 的连贯创立
④ 新建数据同步工作
*Tapdata Cloud 目前是次要反对【数据复制】和【数据开发 -Beta】能力,前者次要用于数据库到数据库的复制,后者次要用于表到表的数据复制和迁徙,反对更多节点操作,可按需选用。本文将以数据开发工作作为模板演示。
- 右侧菜单栏点击【数据开发】,再点击【创立】按钮,进入工作创立 DAG 页
- 通过利落拽的形式,将刚创立的 Salesforce 源节点,与 MongoDB 指标节点拖入画布并连线
- 点击源节点与指标节点,别离抉择待同步表和指标表后,即可启动工作
三、Why Tapdata
很多企业在面对相似的数据同步需要时,习惯于从编写自定义 ETL 脚本开始,但这不仅会影响我的项目推动速度,通常还须要后续不短的人力和工夫投入来保护这些脚本的稳固运行。但如果能将这部分工作交由一个优良的工具进行自动化解决,无疑能够省下大量投入数据处理与调度以及简单硬编码脚本的工夫,让整个团队更高效。而这正是 Tapdata 在做的事。
借助 Tapdata 杰出的实时数据能力和宽泛的数据源反对,能够在几分钟内实现从 Salesforce 到指标库包含全量、增量等在内的多重数据同步工作。
在 Salesforce → Any Destination 的数据同步工作中,Tapdata 展现出如下劣势:
- 内置 60+ 数据连接器,稳固的实时采集和传输能力
以实时的形式从各个数据起源,包含数据库、API、队列、物联网等数据提供者采集或同步最新的数据变动。反对多源异构数据双向同步,主动映射关系型到非关系型。一键实现实时捕捉,毫秒内更新。已内置 60+ 连接器且一直拓展中,笼罩大部分支流的数据库和类型,并反对您自定义数据源。 - 具备强可扩展性的 PDK 架构
- 小时疾速对接 SaaS API 零碎;16 小时疾速对接数据库系统。
- 对源库简直无影响
基于自研的 CDC 日志解析技术,0 入侵实时采集数据,对源库简直无影响。 - 全链路实时
基于 Pipeline 流式数据处理,以应答基于单条数据记录的即时解决需要,如数据库 CDC、音讯、IoT 事件等。不同于传统 ETL,每一条新产生并进入到平台的数据,会在秒级范畴被响应,计算,解决并写入到指标表中。同时提供了基于工夫窗的统计分析能力,实用于实时剖析场景。 - 数据一致性保障
通过多种自研技术,保障指标端数据与源数据的高一致性,并反对通过多种形式实现一致性校验,保障生产要求。 - 可视化工作运行监控和告警
蕴含 20+ 可观测性指标,包含全量同步进度、增量同步提早等,可能实时监控在运行工作的最新运行状态、日志信息等,反对工作告警。
【相干浏览】
- Tapdata Connector 实用指南:云原生数仓场景之数据实时同步到 Databend
- Tapdata Connector 实用指南:实时数仓场景之数据实时同步至 ClickHouse
- Tapdata Connector 实用指南:数据入仓场景之数据实时同步到 BigQuery
原文链接:https://tapdata.net/tapdata-connector-salesforce-mongodb.html