关于数据库:评委拍案叫绝项目惊喜不断这是一届怎样的-Hackathon-丨TiDB-Hackathon-2021-回顾

56次阅读

共计 3633 个字符,预计需要花费 10 分钟才能阅读完成。

昨日,主题为「Explore the Sky」的 TiDB Hackathon 2021 完满收官!往年曾经是  TiDB Hackathon 第五届赛事,参赛规模创历届之最,共有 279 人,64 支队伍参赛,有来自腾讯、华为、网易、美团、字节、京东、滴滴等企业的上班族,也有来自北大、北邮、中科院、上海交大、RMIT 等高校的学生。

在两天一夜的 Hacking Time 中,围绕着内核、工具、生态、「∞」四大赛道,选手们拿出了泛滥令评委惊艳的我的项目。在 TiDB 内核方向做出不少 hardcore、大幅晋升性能的翻新我的项目,在工具方向对 TiDB 的可观测性及诊断易用性做出了大幅优化,在生态扩大方向百花齐放,呈现了语法齐备的分布式图数据库,给 TiDB 买通了入湖的高速通道,很多我的项目其实曾经在 TiDB 的 Roadmap 里,并曾经具备落地的成熟度。最终,有 10 支队伍瓜分了总计 40 万元的现金奖,另有 10 支队伍分获有限创意奖、校园团队奖、用户之选奖、最佳市场潜力奖、云上利用奖、积分挑战奖、技术后劲奖、最佳人气奖

我的项目创意有限

本届参赛队施展出天马行空的想象力,创意有限,向组委会提交了各种充斥创意的我的项目:如 TiDB 冷热数据分层存储、TiLaker: 为 TiDB 买通了入湖的高速通道、TiDB Flashback、TPC TiKV、黑马警长、collie、基于 TiDB/TiKV 的 oom.ai 特色平台、TiDB Visual Plan……连我司 CTO 黄东旭都组队参赛了,他的我的项目是 pCloud,号称数据库上的 iCloud,甚至还有队伍脑洞大开,实现了 TiDB 与 Minecraft 的梦幻联动……还有太多我的项目就不一一列举了,大家能够通过流动官网理解全副我的项目。

滑滑蛋组 chaoscraft Demo 演示
从品质来看,优良我的项目惊喜一直,选手直呼 Hackathon 越来越卷,奖项角逐十分强烈。通过缓和的开发和高密度的闪电问难,共有 20 支队伍怀才不遇进入到最初的决赛问难,还有还有 5 支队伍做云上利用奖问难,5 支队伍做有限创意奖问难

由北京、上海、广州、深圳、杭州、成都六城联动直播的 Demo Show 从下午 13:30 始终继续到深夜 22:00。尽管决赛问难长达 9 个小时,然而大家越看越兴奋。平时宛转内敛的技术大佬们一旦介绍起本人的产品,就变身为滔滔不绝的演说家。放几张现场,大家轻易感触下:

决赛问难现场

最终,通过缓和评比,评委团最终共评出了一、二、三等奖和技术后劲奖、用户之选奖、云上利用奖、有限创意奖。因为奖项角逐太强烈,有很多优良我的项目遗憾落选,以下是全副获奖名单:左右滑动查看更多

本届 Hackathon 评委、PingCAP VP of Engineering 唐刘老师对往年的我的项目拍案叫绝,对多个我的项目给出了“不负责任”点评:

内核加强

He3:TiDB 冷热数据分层存储

这个我的项目取得了本次 Hackathon 的一等奖,在跟本次 Hackathon 另外一个相似我的项目整合,会为前面 TiDB 跟 S3 的整合打下不错的根底,至多这次 Hackathon 验证了可行性。其实原理很简略,将冷的数据放到 S3,而后将算子尽量的下推到 S3,通过 S3 原生的 select 性能来减速查问。当然,如果数据曾经在 S3,咱们还能够通过 cloud 下面其余的服务,譬如 Athena,来做更多的查问聚合操作,减速查问。这次大家都是在通过 partition 做文章,毕竟依据工夫片来分的 partition 是十分罕用的一种操作,前面,咱们外部当初也在通过 LSM 做一些跟 S3 整合的钻研,我还是很期待这些都能在往年看到不少的成绩产出。譬如咱们的 TiDB Cloud Dev Tier 集群就能够齐全用这套机制来先验证。

诊断易用性工具

TiVP:TiDB Visual Plan,慢 SQL 诊断

当我终于看到可视化的执行打算的时候,我简直流下了冲动的泪水。毕竟咱们之前诊断慢 SQL 切实是太苦了,那一大屏的执行打算,简直叫做没法看,而且如果要比照两个执行打算的异同,就更解体了。有了可视化,至多剖析到底哪里慢的效率会晋升很多,而且前面咱们齐全能够将 SQL advisor 的性能间接整合到 TiVP 下面,让大家间接在线能进行 SQL bind,add/drop index 这些操作。看完这个我的项目,我立即问了下 wish 同学,他间接甩给我一张更丑陋的 Visual Plan 的图,原来曾经排在了 roadmap 外面,大家刮目相待。

生态扩大

TiMatch – 语法齐备的分布式图数据库

去年 TiGraph 曾经让大家惊艳,往年 TiMatch 更让人期待了。这次易用性更好,而且对于老集群也能间接降级应用。因为 TiMatch 只是外部建设了一套 graph index,而后通过 TiDB 分布式事务机制,跟原先关系表的数据对立更新。语法下面,借鉴了 Oracle graph 的语法,所以曾经是关系齐备的了,不过我感觉前面的挑战在于性能下面,心愿下一届这块能给大家展现相干的数据。

TiLaker: 为 TiDB 买通了入湖的高速通道

去年次 Hackathon 其实有不少跟 Flink 整合的我的项目,不过往年决赛就看到一个,瞎话我还是有点小悲观的。但往年 TiLaker 做的还是挺齐备的,毕竟有 Flink committer 的参加,大家给 Flink 实现了一个 CDC connector,这样能让 Flink 间接读取 TiDB 的增量数据,同步到上游了。借助 Flink 的能力,让 TiDB 更好的跟上游生态进行了买通,前面也心愿有不少的利用案例能进去。

pCloud:pCloud

这是一个十分有意思的我的项目,贵司的 CTO 东旭同学间接上场带货,先抛开他集体现场极大的感染力,从理论来看,pCloud 真的做的很不错。东旭只是展现了产品成果,聊了聊商业模式这些,但我其实是晓得这个我的项目的底层实现的,还是很有挑战。不过这个也给下一届 Hackathon 参赛的同学给了另一种参考,一个我的项目,大家有时候更容易关注技术自身,但如果咱们是做一个产品,或者一个 SaaS 服务,对于用户的了解,对于商业的了解也是十分要害的。所以即便大家感觉本人对 TiDB 没太多了解,写不了太 hardcore 的程序,但也能够从另外的方向来冲破。
……此处省略千字长文,以上观点仅代表首席架构师个人观点。

恭喜各位获奖赛队及选手们,更多精彩图文版回顾请往下滑

六城连线,码力集结

8 日一早,各地参赛队伍就开始陆续达到 PingCAP 在各地的流动现场,签到、拍照并支付留念礼品。参赛选手们有来自腾讯、华为、网易、美团、字节、京东、滴滴等企业的上班族,也有来自北大、北邮、中科院、上海交大、RMIT 等高校的学生。
![]()
选手们或争分夺秒地筹备我的项目,或热烈地进行小组讨论,或快马加鞭地进行 Coding……为能在规定工夫之内交付出让本人、评委称心的我的项目,码力全开!

最小的选手仅有 8 岁,编程从少年开始~

分布式赛事保障,吃喝不能少

硬核的黑客马拉松少不了吃吃喝喝,为了保障六城分布式赛事顺利,志愿者们为参赛选手们筹备了各种下午茶、午餐、晚餐,穿梭在赛场中为大家提供分布式后勤保障。

评委老师赞不绝口

本届 Hackathon 我的项目一个比一个精彩,评委老师们也卯足了劲儿,目不转睛地观看我的项目的每一个细节,演示完结后,评委老师们还会现场发问,不乏对我的项目欠缺的倡议。
左右滑动查看更多
特别感谢 DataPipeline CTO 陈肃、云启资本合伙人陈昱、PingCAP TiDB Cloud 负责人代闻、多点 Dmall 数据库团队负责人冯光普、PingCAP 工具团队 PM、涛思数据联结创始人兼技术 VP 关胜亮、Apache Foundation Member 郭炜、美团数据库研发核心负责人李凯、SphereEX 联结创始人 & CTO / Apache ShardingSphere PMC 潘娟、小米大数据委员会秘书长潘英超、Google Cloud Data Management Specialist 乔木、神州数码团体副总裁兼 CIO 沈旸、PingCAP VP of Engineering 唐刘、Apache 软件基金会董事 / Tetrate 开创工程师吴晟、华创资本合伙人谢佳、明势资本执行董事徐之浩、PingCAP 混沌工程团队负责人殷成文、上海交通大学特聘传授 / 博士生导师 / ACM 班创始人俞勇、Apache Pulsar PMC 成员 / StreamNative 联结创始人翟佳、PingCAP DataPlatform PM 翟玉龙、PingCAP 研发总监张建、Datafuse Labs 联结创始人张雁飞等 22 位老师认真负责的评审。

赛后,咱们还将采访优良我的项目赛队,为大家深刻介绍他们的我的项目设计思路、实现过程以及将来工作方向,心愿带给大家一些启发。敬请期待!
最初,感激 赞助商和合作伙伴对赛事的大力支持,也感激志愿者们的贡献!咱们明年再见!

正文完
 0