关于数据库:致-Tapdata-全体用户2023-年我们把更多精力集中到了产品能力和稳定性上

2023 仍旧过得很快，这一年，咱们公布了 Tapdata 3.0，摸索了 Tapdata 在批发、制作、AI 等畛域的新一代解决方案；上线了 Tapdata 海外版，胜利入选谷歌出海守业加速器我的项目；并与更多数据库达成兼容性互认证，进一步壮大了实时数据生态……

除此之外，咱们将本身大部分的能量投入到了产品能力与稳定性的继续打磨之中。因为咱们深信，产品自身才是咱们与用户实现连结的最大依仗。

以“ 让您应用数据就像通过自来水龙头取水那样不便简略 ”为使命，Tapdata 心愿充分利用实时数据集成和实时数据服务的平台能力，让陈腐数据得以真正滋润各行各业的智慧化、现代化、数字化倒退。

新春伊始，咱们在这里以迭代列表的模式向大家汇报 Tapdata 2023 年在产品层面做出的优化和更新，心愿能帮忙大家更多地理解最新版本的性能变动。

感激过来一年大家对 Tapdata 的反馈、反对与陪伴，新一年咱们还将为用户敌人们提供更多 Tapdata 教程指南以及行业解决方案的倡议，欢送大家继续关注。

Tapdata 2023 迭代列表
* 点击每条迭代内容，可查看该条性能对应的具体阐明哦

版本指路：
点击登录 Tapdata Cloud
申请试用 Tapdata 本地部署版

新增产品能力

1. 上线实时数据中心性能，并公布基于实时数据中心的数据血统追溯能力
2. 公布全量分片能力，反对全量断点续传，为大数据量数据同步提供保障

3. 扩大和优化数据校验性能，晋升产品数据一致性查看能力。

4. 公布类型过滤、工夫运算、规范 JS、Python、Unwind 等解决节点，晋升产品数据开发能力

5. 实现 OP 版性能权限管制和数据权限管制的上线

6. 实现数据源错误码的欠缺，提供更丰盛的问题起因剖析和解决方案举荐

7. 外围认证数据源反对 SSL 连贯

新增云版性能

1. 云版上线主从合并节点并提供更易操作的物化视图构建形式
2. 云版上线全托管的 Agent

3. 云版上线订购 MongoDB Atlas 存储作为实时数据中心的两头存储

4. 晋升产品稳定性，欠缺针对云版服务的监控和告警能力，保障云版服务的稳固继续运行

5. 对内，实现 CI/CD 自动化测试等精细化流程构建，并保障流程的稳定性，晋升产品继续集成和测试的效率
6. 实现与谷歌云的对接，上线谷歌云 Marketplace

迭代性能具体清单

1. 数据开发工作源节点新增反对数据过滤能力，反对对全量和增量阶段数据进行过滤
2. 数据开发新增 JS 解决节点试运行能力
3. 新增追加合并节点，反对将多个雷同构造表的数据合并成一张表
4. 反对在 JS 节点里操作源库和指标库
5. 新增 Redis 数据源作为指标
6. 新增 Excel 数据源作为源
7. 新增数据校验性能
8. 复制工作源节点选表新增依照表达式匹配能力，反对依照表达式来抉择要同步的表，表达式匹配模式下主动反对动静新增表
9. 新增反对在源端设置读取的 batchSize, 反对在指标端设置写入的 batchSize
10. 以指定字段的排序作为轮询条件进行增量数据采集
11. 开发工作新增信息输入
12. DUMMY 数据源能够疾速减少多个字段
13. 新增 TiDB 作为源，并反对通过轮询形式进行增量同步
14. 新增内部缓存对立配置和治理
15. 新增工作进度里程碑展现
16. 新增 LDP（Live Data Platform）性能
17. 新增数据复制反对调整关联条件字段
18. 新增反对 redis 在数据复制工作里作为指标应用
19. 集群监控页面, 列出以后的引擎, 对外建设的所有连贯数量, 按 ip:port 归类
20. Doris 作为指标, 反对数据校验能力 (Count)
21. 新增心跳表性能，数据源配置里, 新增心跳表设置。关上后会在源库创立一个名为：_tapdata_heartbeat_table 的心跳表，每隔 1S 更新一次其中的数据
22. 基于错误码提醒问题解决方案
23. SQL 类数据源和 mongo 数据源反对全量自定义查问（SQL）
24. 产品边界规定框架设计与实现，保留工作时主动对产品边界进行检测
25. JS 中运行 MongoDB 聚合解决
26. 创立 Custom Connection 时要反对对脚本进行调试
27. 权限治理性能新增反对角色的增删改能力
28. 新增全量分片能力，目前仅反对 MongoDB
29. 新增工夫运算解决节点
30. 为 API 治理减少 Application 分类能力
31. API server 新增集成 GraphQL 能力，能够通过 API Server 的地址 +graphql 来拜访
32. 集群治理新增反对获取线程资源监控和数据源应用状况数据
33. 新增反对在 Doris 上公布 API 接口
34. 复制工作，解决节点新增反对查看表模型
35. LDP 新增反对表级溯源能力
36. 新增一个类型过滤的节点，能够将一些指定类型过滤掉不向后同步
37. 指标节点反对依照乘以系数的形式来调整字段的长度
38. Kafka 反对自定义音讯体格式
39. 数据复制 / 开发工作反对依据数据记录的大小动静调整批量参数
40. 新增反对 DWS 数据源作为指标
41. 基于数据面板的工作创立疏导
42. 新增性能和数据权限管制
43. 国内站订购 Atlas 存储时新增 Free trail、M10、M20、M30
44. 新增反对 Redis 到 Redis 的同步能力
45. 新增 Python 处理器节点，用户能够通过 Python 脚本来对数据进行解决
46. Kafka 数据源新增反对设置正本数
47. 新增 MongoDB 到 MongoDB 同步的 unset 反对
48. 新增物化视图构建性能

49. 疏导过程新增 DEMO 数据源，用户能够间接应用

50. 复制工作在选表时，有主键和无主键表的疾速过滤性能，有主键表局部新增蕴含有惟一索引的无主键表
51. 数据转换工作新增 unwind 解决节点

52. 工作新增反对禁用节点性能

53. 新增反对 mongo 做指标时创立为分布式表
54. 新增反对 Hive3 作为源

55. 数据校验过滤性能优化，反对自定义查问和聚合查问

56. 云版测试连贯时减少连接器下载进度展现，防止期待下载导致的测试连贯超时

57. 针对源节点减少增量每批读取条数设置，能够调整增量同步性能

58. 指标节点字段类型调整时，反对间接抉择指标数据库罕用类型

59. OP 版本新增反对在 windows 环境下部署
60. 认证数据源反对 SSL
61. 新增反对 Azure CosmosDB 作为源，反对全量同步

62. Tapdata 工作导入，反对间接导入 MongoDB Relational Migrator 导出的 relmig 类型文件

【相干浏览】

• Tapdata Connector 实用指南：云原生数仓场景之数据实时同步到 Databend
• Tapdata Connector 实用指南：如何将 CRM 数据从 Salesforce 实时同步到 MongoDB 等其余库
• Tapdata Connector 实用指南：实时数仓场景之数据实时同步至 ClickHouse
• Tapdata Connector 实用指南：数据入仓场景之数据实时同步到 BigQuery