岁末年初，在开源畛域刚埋下一颗生机勃勃的种子的 Tapdata，想和正在关注咱们的开发者，聊聊这一年的停顿和新一年的共建打算。
2022 年 4 月，Tapdata 发表开源 PDK（Plugin Development Kit），将本身的数据接口技术抽象化，赋能开发者。同时联结 Apache Doris、OceanBase、PolarDB、SequoiaDB 等生态搭档，开启插件共建打算。
2022 年 7 月，依靠 Tapdata 外围性能的 Tapdata Community 正式与大家见面，越来越多的搭档退出到咱们的开源社区中来。
2022 下半年，为了吸引更多优良的开发者参加共建，同时沉闷社区，回馈我的项目贡献者，Tapdata 数据源 Connector 挑战赛启动，更多陈腐力量随之涌入。
在内、内部开发者的合力之下，2022 年 Tapdata 新增数据源近 20 个，其中包含数仓指标 BigQuery、Doris、Ckickhouse、阿里云存储、OSS HDFS、SelectDB 等，实现了 60+ 数据源的接入能力。与此同时，PDK 架构可扩大能力进一步加强，能够反对：4 小时疾速对接 SaaS API 零碎；16 小时疾速对接数据库系统。
为了让大家充沛理解我的项目停顿，帮忙新退出的开发者无效躲避一些首次开发过程中的常见问题，咱们特地邀请到挑战赛首位胜利支付参赛奖金的内部开发者（GitHub ID: IssaacWang），以及官网技术支持 Jarad，围绕以下几点开展分享：
- 从开发者角度来看，Tapdata 我的项目新增了哪些变动？
- 在开发过程中的常见问题有哪些？
- 对于 Tapdata“开发老手”，有什么倡议和教训分享？
一、Tapdata 我的项目停顿：对开发者更加敌对
为了更加不便开发者上手，咱们在整体的敌对水平上，进行了如下优化：
① 反对在线 Debug
在新数据源开发的过程中，无需关注引擎、TM（Tapdata Manager）等，只须要专一于数据源我的项目模块即可。开发实现后，还须要通过在线联调测试同步成果，但在此前，因为前端尚未开源，内部开发者实现起来就会没那么不便。但当初无需前端，只须要将引擎拉到开发工具中，在实现数据源插件开发后，就能通过环境变量配置，轻松关联 Tapdata 云版，补救前端页面缺失。开发者得以在云版治理端启动数据同步工作，而理论响应则是在本地 IDEA 中失效，从而反对开发者在本身开发工具的 IDEA 中打断点，达到在线 debug 的成果。
② TDD 单元测试优化
咱们在 TDD 测试框架上新增了不少测试用例，开发者在实现一个数据源的开发工作之后，只有有本人的开发工具，以及本地的数据源部署，就能够通过 TDD 用例来进行单元测试。
咱们的首位内部开发者在数据源 TDengine 的测试环节，就跑完了包含在线联调 P0 测试，以及 TDD 段元测试的全流程。
除此之外，咱们还在代码自动化生成方面做了一些致力，期待 2023 年能和开发者一起解锁更多新进展。
二、开发过程中的常见问题与避「坑」指南
对于刚接触到一个陈腐我的项目的开发者而言，难免会遇到一些辣手的情况，比方：
- 感觉是个乏味的我的项目，长期起意尝试开发，但并不知道从何动手；
- 相熟的数据源都曾经反对了，顺手选了一个并不理解的数据源，开发到一半就后继无力了；
- 抉择的数据源比拟“偏门”，开发适配起来没有很多先验教训供参考；
- 数据类型转换、开发自测等开发过程中遇上的诸多细节问题
- ……
大体可总结为以下三类问题：
① 二心埋头开发型：并没能真正退出到社区中来，上手前一方面没有充沛把握所选数据源，一方面疏忽了我的项目官网提供的文档和材料；
② 开发工具不欠缺：对抉择的开发工具不相熟，比方因短少必要插件导致的应用问题等，会间接影响开发积极性；
③ 开发环境不敌对：教训证，目前 Tapdata 我的项目开发对 Mac 或 Linux 零碎更敌对，稳定性也广泛高于 Windows 零碎。
对此，咱们也为新人开发者总结出以下三条避坑指南：
① 开发前的充沛调研
无论抉择了何种数据源，开发者在正式上手之前，无论是通过浏览该数据源的官网文档还是通过其余渠道，都须要对其进行全面的理解，事无巨细，大到如何部署，小到字段类型等。
其中，数据源部署算是一个不小的难点，对咱们的开发工作有着间接影响。因为很多开发者可能并不具备相干运维部署教训，特地是对于一些没有接触过的数据源，再加上部署自身也有很多不同模式上的差别，更容易耗时踩坑。因而咱们倡议开发者在充沛调研相熟后，不要试图一次性涵盖全副状况，优先选择一个绝对简略的模式来起步，之后再思考如何兼容其余不同的模式。如果切实无奈兼容，在思考用其余办法解决。
此外，数据源的字段类型也是值得开发者们特地关注的要点之一。每个数据源都有很多字段类型，而数据自身也有很多数据类型，在 Tapdata 数据源开发过程中，波及一个用来写字段类型的 JSON 文件，这个文件十分重要，是 Tapdata 框架实现模型推演的根底。间接关系到数据同步工作的后果准确性。
因而，后期的调研工作须要开发者们可能以充沛的急躁与踊跃的态度来应答。这也是咱们开发工作得以成行的前提。
② 代入 Tapdata 来思考
实现数据调研之后，开发者们还须要将该数据源代入 Tapdata 来思考。换言之，就是要将数据源视作须要适配到 Tapdata 框架的一部分来预演下一步的开发布局。例如待开发的数据源中不存在数据库、数据表的概念，但存在相似的对应组，就能够将它们视作库和表来进行对应操作。在适配过程中，咱们要随时放弃这样的对应思维，思考数据源中和框架上所需内容的对应关系。
事实上，每个数据源或多或少都存在一些各自的个性，甚至于有些个性对 Tapdata 框架并不敌对，比方局部剖析型数据源，对于更新、删除的反对度较低，但批量插入的性能又很高，像是 Doris、SelectDB 等，就属于这一类数据源，如果仍旧用传统的 JDBC 来做数据插入，性能会有不小的损耗。这就须要咱们针对这些差别来进行能力适配，充分利用其劣势面实现性能优化。再比方 Tapdata 产品亮点之一的 CDC 数据挖掘，也是数据源插件开发过程中的一大难点。在这一点上，有些数据源本身就提供了 API 的反对，仅需做一些简略配置就能读取到其间的数据变动，但有些数据源实现起来就会很麻烦，往往须要诉诸其余插件或第三方工具。
这些问题都须要咱们提前完成“Tapdata 代入式”思考。
③ 踊跃向官网寻求反对
开源我的项目的成长，从来不是一人行路。当正式着手开发，或是遇到可能会阻滞开发过程的大小问题时，开发者们能够随时利用社区的力量，这里不仅有气味相投的开发者搭档，还有来自 Tapdata 我的项目官网的技术支持。
对于内部开发者而言，哪怕领有丰盛的开发教训，在刚接触到一个全新我的项目的时候，也难免会有些茫然。因而，咱们的官网技术支持心愿在独立调研之前，有机会为开发者具体地举例介绍 Tapdata 的整体开源框架、数据源插件的定位及工作原理、整个开发流程蕴含的工作分步和配置需要、开发重难点等背景信息，并同步举荐浏览的文档列表。
思考到后面提到的数据源个性，如果所抉择的数据源比拟非凡，就更加须要咱们的开发者踊跃地与我的项目官网取得联系，单干解决可能遇到的开发挑战。随着数据源类型的日益多样，甚至会呈现一些须要 Tapdata 开源框架来反向兼容的全新数据源，它们自有一套开发模式，须要 Tapdata 额定为其做出框架优化。实际上，咱们的框架在过来这 60+ 数据源陆续新增的过程中，曾经实现了屡次优化迭代，这种调整将来只会更多。
Tapdata 数据源挑战赛首位胜利的内部开发者 IssaacWang，便是如此在他的开发过程中与 Tapdata 官网放弃高频沟通与单干的。如前所述，增量 CDC 是 Tapdata 数据源插件开发中的一大难点，而 IssaacWang 所开发的 TDengine 数据源独特性，刚好点在增量问题上——须要在引擎侧装置一个与 TDengine 连贯的 Client 端。相似的很多问题都是这样在单方的沟通中一一击破的。
三、开发者说
最初，咱们想要用 IssaacWang 谈及本次开发的感触来作结：
最后想要参加到 Tapdata 我的项目奉献中来，一方面是敌人邀请加入挑战赛，刚好想要借此机会晋升下开发能力，一方面还有机会顺带赢取处分，心甘情愿？只惋惜参加进来的时候，比拟相熟的数据源都曾经失去了反对，因而在开发过程中须要多一些磨合，如果能够的话，还是倡议之后的开发者抉择绝对相熟一些的数据源，无论是文档还是各个版本，这样上手也会轻松得多。幸亏我始终和我的项目官网放弃亲密的沟通，整个过程尽管有挑战，但还是顺利通关。
其实早前在工作中，凑巧也遇到过相似的数据同步需要，过后公司的研发团队也尝试自主搭建了一个解决方案，但因为配置繁冗、学习老本较高，最终还是抉择了习用的传统解决方案。那个时候其实就十分心愿能有这样一个通过市场验证、不便疾速上手的开源工具能够供团队抉择，置信这样能够大大节约资金、人力和工夫老本。
作为比拟晚期参加进来的贡献者，须要摸索的中央天然会更多，但以挑战赛的模式独特欠缺一个我的项目无疑是一个相当有意思的过程。
过往可忆，将来可期。咱们的我的项目共建打算还在持续，大家依然有机会通过挑战赛的模式参加到 Tapdata 我的项目奉献中来。2023，期待更多气味相投搭档的退出，让咱们一起将产品打磨得更强 ❤
【对于 Tapdata PDK】
作为 Tapdata 开发者共建打算的底座，PDK 是一个开源插件开发框架，通过 Source Plugin 接口或者 Target Plugin 接口，能够疾速实现新数据库作为 Tapdata 的源或指标的适配兼容。PDK 开发者遵循开发标准，进行包含数据库、SaaS 产品、自定义数据源在内的新数据源对接开发工作；通过 PDK 文档、Plugin 模板以及内置的 TDD 测试框架，一个 Target Plugin，顺利状况只须要数小时就能够实现。
【关联浏览】
- Tapdata PDK 生态共建打算启动！Doris、OceanBase、PolarDB、SequoiaDB 等十余家厂商首批退出
- Tapdata 的 2.0 版，开源的 Live Data Platform 现已公布
- Tapdata 开源我的项目基础教程：性能个性及实操演示
- 开源中国专访 TJ：开源许可证，欢送来到云时代
- 干货精髓 | Tapdata 开源教程之异构数据库模型推演
- 阿里云对话 Tapdata：「开发者优先」正在影响商业化软件的开源抉择
原文链接：https://tapdata.net/a-letter-…