思否开源项目推介丨TDengine专为物联网而生的大数据平台

6次阅读

共计 2235 个字符,预计需要花费 6 分钟才能阅读完成。

开源项目名称:TDengine
开源项目负责人:@陶建辉
开源项目简介:专为物联网而生的大数据平台
开源项目类型:企业开源项目
项目创建时间:2019 年 7 月 12 日
GitHub 数据:11.6K Star,3.1k Fork
GitHub 地址:https://github.com/taosdata/T…

项目介绍

TAOS Data 专注物联网大数据的处理,不依赖任何开源或第三方软件,开发了拥有自主知识产权的高性能、可伸缩、高可靠、零管理的物联网大数据平台软件 TDengine,将数据库、缓存、消息队列、流式计算等功能完全融合在一起。

由于针对物联网大数据特点做了各种优化,TDengine 的数据插入、查询的性能比通用的大数据平台好 10 倍以上,存储空间也大为节省,采用 SQL 接口,与第三方软件能无缝集成,大幅简化了物联网平台的系统架构,大幅减少了研发和运维的复杂度与成本。TDengine 可广泛运用于物联网、车联网、工业大数据等领域。2019 年 7 月 12 日,TDengine 开源,在 GitHub 全球趋势排行榜上连续几天排名第一。

  • 10 倍以上的性能提升: 创新数据存储结构,单核每秒就能处理至少 2 万次请求,插入数百万个数据点,读出一千万以上数据点,比现有通用数据库快十倍以上。
  • 硬件或者云服务成本降至 1/5:性能超强,计算资源不到通用大数据方案的 1/5。
  • 全栈时序数据处理引擎:将数据库、消息队列、缓存、流式计算等功能超融合,应用开发无需再集成 Kafka/Redis/HBase/Spark 等软件,大幅降低开发和维护成本。
  • 强大的分析功能:无论是十年前还是一秒钟前的数据,指定时间范围即可查询。数据可沿时间轴或对多个设备进行聚合。即席查询可通过 Shell/Python/R/Matlab 随时进行。
  • 无缝对接第三方工具: 无需代码,即可与 Telegraf, Grafana, Matlab, R 集成。后续还将支持 MQTT, OPC, Hadoop,Spark 等, BI 工具也将无缝连接。
  • 零运维成本、零学习成本:安装、集群一秒搞定,无需分库分表,实时备份。标准 SQL,支持 JDBC,RESTful,支持 Python/Java/C/C++/Go/Node.JS,与 MySQL 相似,零学习成本。

团队介绍

陶建辉,1986 年考入中国科大,1994 年到美国印第安纳大学攻读天体物理博士,曾在美国芝加哥 Motorola、3Com 等公司从事无线互联网的研发工作,在高可靠分布式系统、即时通信、消息队列等方面,是顶尖的技术专家。

2008 年回到北京创办和信,专注移动互联网 IP Push 和 IP 实时消息服务,2010 年和信被台湾联发科收购。2013 年再度创业,创办快乐妈咪,专注母婴智能硬件和母婴健康服务,2016 年初快乐妈咪被太平洋网络收购。2017 年 5 月又再次走向战场,创办涛思数据,专注时序空间数据的实时高效的处理。

涛思数据团队全部毕业于知名学府或机构,都拥有硕士或博士学历,在分布式计算、数据存储和数据库上有多年的研发经验。

项目自荐

@陶建辉:

随着物联网的兴起,各种大大小小的设备都在采集数据,而这些采集的数据具有鲜明的特点,比如带有时间戳、结构化、没有更新、数据源唯一等。而且这些数据的应用上,特点也很明显,比如数据往往只保留一定的时长、需要做降采样、插值、实时计算、聚合等操作,关心的是一段时间的趋势而不是某一特点时间的值等等。随着云平台的普及,这些设备往往还需要将原始或加工后的数据同步到云端。

目前在嵌入式的各种盒子里,大家都是采用 SQLite 来处理。而 SQLite 是标准的关系型数据库,基本的存储、查询都没有问题,但采集量偏大之后,性能成为瓶颈,而且还得自己开发很多功能,比如定期删除数据、实现数据的断点续传、实现降采样、聚合计算等等。对于开发者来讲,用 SQLite 来处理这些采集的数据,只是一个权宜之计,不是最佳方案。这就是机会,而且是巨大的机会,因为越来越多的设备在联网,在采集数据。

TDengine 不是要代替 SQLite,只是要在时序数据处理的这个细分市场里提供一更强大的工具。TDengine 是否能像 SQLite 这样成功,在数亿台设备上使用,取决于 TDengine 能否一直保持性能高、体量小、功能全、资源占用少的特色,取决于我自己还有整个团队能否十年如一日的坚持和专注。

更重要的是,我们必须开源,100% 的开源,而且将开源进行到底。如果不开源,我想象不出任何途径能让 TDengine 获得 SQLite 这样的成功,让全球数千万开发者受益。如果你能去 GitHub 下载我们的源码,测试体验,就是对我们开源最大的支持,就能让我们离目标更近一步。

思否推荐语

TDengine 除去本身核心的技术以及开源理念外,还有一个迷人的点就是年过半百的创始人陶建辉仍醉心于亲自敲代码这件事。在他今年二月份发表的一篇文章中,能清晰的感受他的理想与愿景 —— 开发出一款媲美 SQLite 的软件,让全球开发者受益。

“希望 20 年之后,我虽然已过 70,还能参与 TDengine 的研发,还能 debug 代码。“”


该项目已入选「SFOSSP – 思否开源项目支持计划」,我们希望借助社区的资源对开源项目进行相关的宣传推广,并作为一个长期项目助力开源事业的发展,与广大开发者共建开源新生态。

有意向的开源项目负责人或团队成员,可通过邮箱提供相应的信息(开源项目地址、项目介绍、团队介绍、联系方式等),以便提升交流的效率。

联系邮箱:pr@segmentfault.com

正文完
 0