乐趣区

关于数据库:版本发布TDengine-3030-为数据压缩事件窗口等七大功能加Buff

jiezi

TDengine 3.0 自去年 8 月份公布以来，曾经被大量用户下载应用。在此过程中，涛思的研发同学也没有懈怠，针对大家在社群、各种咱们能触达到的平台上提出的种种有价值的反馈，都一一进行了记录，并开始寻求更高效的实现办法。

终于， 在 2023 年的第一季度，TDengine 第一个重要改良版本 3.0.3.0 公布 ，这一版本波及到的更新内容包含数据重整、事件窗口、标签索引、taosX、taosExplorer 等性能或组件。通过这一系列的性能优化与增强，TDengine 的性能、易用性、运维便利性都有大幅晋升。

上面咱们一起来看一下这一版本的具体更新信息：

数据重整 (Data Compact) ——Enterprise only

蕴含以下优化：

  1. 对写入数据库中所有 Vnode 的所有数据文件进行重整，生成新的落盘文件
  2. 革除已删除的表的所有数据
  3. 革除 delete 语句删除的所有数据
  4. 合并更新的所有数据
  5. 生成新的文件，晋升查问性能

借助此性能，用户能够重整数据库，革除掉无用数据、反复数据。除了可能开释存储空间外，查问性能也会有微小的晋升，且原有的乱序数据和反复数据的比例越高性能晋升越显著。

事件窗口 (Event Window)

蕴含以下优化：

  1. 依照用户指定的条件来决定开启和完结窗口的边界
  2. 丰盛窗口类型，提供更灵便的窗口反对，满足由事件驱动的业务需要

更详细信息请参考官网文档。

标签索引 (Tag Index)

蕴含以下优化：

  1. 能够按需在标签列上创立和删除索引，之前版本仅对第一个标签内置了索引
  2. 能够按需创立标签索引，晋升基于标签过滤的查问的性能

taosX——Enterprise only

蕴含以下优化：

  1. 从 2.x 到 3.0 以及 3.0 到 3.0 的数据复制，包含存量和增量数据
  2. 备份数据到本地文件，从本地文件复原数据

具体阐明：

  • 反对 select-with-stable tables 参数（2.6 迁徙到 2.6 下）
  • 加强错误处理
  • REST API support for Data In.
    -Add name field for task props（数据源命名）.
    -Add labels field (更不便和定制化地对工作进行标记和查问)
    -Add detail query parameter (数据源 DSN 主动解析，用于查看和编译数据源)
    -Add trigger field for task schedule (定时主动增量备份).
  • 修复 2.6 内存透露问题
  • 修复 unreachable 和 panic 问题

taosExplorer——Enterprise only

应用该工具可基于 Web UI 查看、操作、和治理 TDengine 集群。

具体阐明：

  • Data Explorer——
    – 应用图形界面查看和浏览集群中的数据库、超级表、子表、一般表
    – 应用图形界面创立和删除库、超级表、子表、一般表
    – 输出和执行 SQL 语句，查看执行后果
    – 珍藏罕用的 SQL 语句以疾速执行
    – 浏览 SQL 语句的执行记录
  • 数据导入 (Data In)——从另一 TDengine 集群导入数据
  • 创立和删除 Topic
  • 创立和删除流
  • 治理用户和权限
  • 备份数据到本地文件和从本地文件复原
  • 从另一集群复制数据到以后集群，从以后集群复制数据到另一集群
  • 集群治理和运维——增加 / 删除 dnode/mnode/gnode
  • 基于 Grafana 进行集群监控

Java/Python 连接器

  1. 优化后的连接器反对基于 WebSocket 的音讯订阅
  2. 既反对 TDengine Cloud 也反对独立部署的 TDengine 集群
  3. 相似 REST，能够不依赖 taosc library，但比 REST 性能更好
  4. 接口格调和 Kafka 基本一致
  5. API 和示例代码详见官网文档

Grafana Plugin

  • Dashboard 能够监控 HTTP status code

在 TDinsight V3.x TaosAdapter Row 中新增 dashboard，展现 taosadapter 的所有 http 状态码，数据起源为 log 库的“taosadapter_restful_http_request_total”表。

  • 多维数据场景下的对立告警

Grafana 8.x 之后的版本增加 unified alert，TDengine Grafana plugin v3.2.9 增加了对多维数据场景下 unified alert 反对。在 add query 面板设置“INPUT SQL”、“Group by column name(s)”即可展现多维数据，而后增加 expression 设置数据的阈值，即可配置 unified alert。

详细信息能够参考公布阐明。欢送大家下载应用 TDengine，有任何问题，都能够增加小 T vx：tdengine1 申请加入 TDengine 用户交换群，及时向咱们的解决方案专家寻求反对与帮忙。

退出移动版