关于数据库:版本发布TDengine-3030-为数据压缩事件窗口等七大功能加Buff

29次阅读

共计 1894 个字符,预计需要花费 5 分钟才能阅读完成。

TDengine 3.0 自去年 8 月份公布以来,曾经被大量用户下载应用。在此过程中,涛思的研发同学也没有懈怠,针对大家在社群、各种咱们能触达到的平台上提出的种种有价值的反馈,都一一进行了记录,并开始寻求更高效的实现办法。

终于, 在 2023 年的第一季度,TDengine 第一个重要改良版本 3.0.3.0 公布 ,这一版本波及到的更新内容包含数据重整、事件窗口、标签索引、taosX、taosExplorer 等性能或组件。通过这一系列的性能优化与增强,TDengine 的性能、易用性、运维便利性都有大幅晋升。

上面咱们一起来看一下这一版本的具体更新信息:

数据重整 (Data Compact) ——Enterprise only

蕴含以下优化:

  1. 对写入数据库中所有 Vnode 的所有数据文件进行重整,生成新的落盘文件
  2. 革除已删除的表的所有数据
  3. 革除 delete 语句删除的所有数据
  4. 合并更新的所有数据
  5. 生成新的文件,晋升查问性能

借助此性能,用户能够重整数据库,革除掉无用数据、反复数据。除了可能开释存储空间外,查问性能也会有微小的晋升,且原有的乱序数据和反复数据的比例越高性能晋升越显著。

事件窗口 (Event Window)

蕴含以下优化:

  1. 依照用户指定的条件来决定开启和完结窗口的边界
  2. 丰盛窗口类型,提供更灵便的窗口反对,满足由事件驱动的业务需要

更详细信息请参考官网文档。

标签索引 (Tag Index)

蕴含以下优化:

  1. 能够按需在标签列上创立和删除索引,之前版本仅对第一个标签内置了索引
  2. 能够按需创立标签索引,晋升基于标签过滤的查问的性能

taosX——Enterprise only

蕴含以下优化:

  1. 从 2.x 到 3.0 以及 3.0 到 3.0 的数据复制,包含存量和增量数据
  2. 备份数据到本地文件,从本地文件复原数据

具体阐明:

  • 反对 select-with-stable tables 参数(2.6 迁徙到 2.6 下)
  • 加强错误处理
  • REST API support for Data In.
    -Add name field for task props(数据源命名).
    -Add labels field (更不便和定制化地对工作进行标记和查问)
    -Add detail query parameter (数据源 DSN 主动解析,用于查看和编译数据源)
    -Add trigger field for task schedule (定时主动增量备份).
  • 修复 2.6 内存透露问题
  • 修复 unreachable 和 panic 问题

taosExplorer——Enterprise only

应用该工具可基于 Web UI 查看、操作、和治理 TDengine 集群。

具体阐明:

  • Data Explorer——
    – 应用图形界面查看和浏览集群中的数据库、超级表、子表、一般表
    – 应用图形界面创立和删除库、超级表、子表、一般表
    – 输出和执行 SQL 语句,查看执行后果
    – 珍藏罕用的 SQL 语句以疾速执行
    – 浏览 SQL 语句的执行记录
  • 数据导入 (Data In)——从另一 TDengine 集群导入数据
  • 创立和删除 Topic
  • 创立和删除流
  • 治理用户和权限
  • 备份数据到本地文件和从本地文件复原
  • 从另一集群复制数据到以后集群,从以后集群复制数据到另一集群
  • 集群治理和运维——增加 / 删除 dnode/mnode/gnode
  • 基于 Grafana 进行集群监控

Java/Python 连接器

  1. 优化后的连接器反对基于 WebSocket 的音讯订阅
  2. 既反对 TDengine Cloud 也反对独立部署的 TDengine 集群
  3. 相似 REST,能够不依赖 taosc library,但比 REST 性能更好
  4. 接口格调和 Kafka 基本一致
  5. API 和示例代码详见官网文档

Grafana Plugin

  • Dashboard 能够监控 HTTP status code

在 TDinsight V3.x TaosAdapter Row 中新增 dashboard,展现 taosadapter 的所有 http 状态码,数据起源为 log 库的“taosadapter_restful_http_request_total”表。

  • 多维数据场景下的对立告警

Grafana 8.x 之后的版本增加 unified alert,TDengine Grafana plugin v3.2.9 增加了对多维数据场景下 unified alert 反对。在 add query 面板设置“INPUT SQL”、“Group by column name(s)”即可展现多维数据,而后增加 expression 设置数据的阈值,即可配置 unified alert。


详细信息能够参考公布阐明。欢送大家下载应用 TDengine,有任何问题,都能够增加小 T vx:tdengine1 申请加入 TDengine 用户交换群,及时向咱们的解决方案专家寻求反对与帮忙。

正文完
 0