共计 2271 个字符,预计需要花费 6 分钟才能阅读完成。
2022/7/30
Data Everywhere 深圳
想到实时数仓,很多人的第一印象就是架构简单、操作艰难、保护老本高。
可是,一旦企业业务上规模,传统数仓架构又无奈满足业务的数据分析需要,实时数仓就特地必要。通过实时数仓,企业能够实现实时 OLAP 剖析、实时数据看板、实时业务监控等性能。
得益于 Flink 对 SQL 的反对、StarRocks 的丰盛建模形式和极致性能,一个简略易用的实时数仓落地计划齐全有可能实现。
7 月 30 日,StarRocks 解决方案架构师王天宜受邀缺席 AWS User Group Data Everywhere 主题流动,分享了 StarRocks 如何对实时数仓进行极速对立剖析。
来自亚马逊云科技、哈尔滨工业大学、泽拓科技等的大数据技术专家和学者,也同场畅谈数据库架构、数据平台等相干话题。此次流动在线下举办,现场 40 多位开发者、讲师和志愿者们独特探讨了大数据引擎相干技术的壁垒与倒退。
讲师分享内容
01 何变革
如何构建以分布式数据库为根底的大数据平台
何变革
泽拓科技(深圳)有限公司
解决方案架构师
讲师介绍:
有 20 年以上数据库解决方案参谋教训,退出泽拓科技之前曾服务于 Oracle 公司近十年。
分享内容回顾
何变革老师从大数据的基本概念开始,论述了大数据对数据库管理系统引发的需要,回顾了关系数据库架构的变迁,剖析了关系数据库为满足数据管理的挑战做出的架构改革,从而引出分布式数据库。
进而对分布式数据库的基本原理及逻辑架构做了全面的介绍,剖析了以后风行的几款分布式数据库,并且对 kunlunbase 分布式的各个组件及性能,个性劣势及给数据平台可能带来的价值做了剖析。
最初通过案例,从客户面对的问题(外表问题和深层次的问题),提出了的分布式数据库的解决方案及分布式数据库解决方案给客户带来的利益做了全面的分析。
02 王天宜
StarRocks 如何对实时数仓进行极速对立剖析
王天宜
StarRocks 解决方案架构师
讲师介绍:
曾就任于 Fidelity Investment,Softbank Investment,领有丰盛的数据库高可用方案设计教训,对 Oracle, PostgreSQL, MySQL, ClickHouse, Druid 等数据库的高可用架构与数据库生态有深入研究。
分享内容回顾
在数据驱动业务倒退的当下,实时数仓的作用愈发无足轻重。通过实时数仓,企业能够实现实时 OLAP 剖析、实时数据看板、实时业务监控等性能。
通过多年的倒退摸索,实时数仓已倒退到 3.0 阶段 —— Flink 架构。一直的实际和落地过程中,Flink 实时数仓也面临着诸多挑战,在此背景下,得益于 Flink 对 SQL 的反对、StarRocks 的丰盛建模形式和极致性能,一个简略易用的实时数仓落地计划齐全有可能实现,StarRocks 使剖析层存储引擎失去了统⼀。通过 StarRocks 对立剖析层数据存储,防止多种存储引擎产生的数据孤岛,缩小了运维与开发的复杂性。同时,StarRocks 的更新能力,高并发能力也为新的业务场景做了撑持。在 StarRocks 前的数据传输链路,咱们能够通过 Flink CDC 进行改良。
03 王冰
微服务的数据库架构探讨
王冰
亚马逊云科技金融行业
解决方案架构师
讲师介绍:
负责基于亚马逊云科技的云计算计划架构的征询和设计服务金融类客户,致力于亚马逊云科技云服务在国内的利用和推广。多年金融行业研发交付、我的项目施行教训,曾就任于国内外银行和保险公司。
分享内容回顾
通过虚构一个的电商用户从开始展业只有大量用户到千万级用户的场景,探讨了企业在数据库架构设计上的变动,从简略的单可用区数据库实例,通过减少只读节点,缓存节点,NoSQL 数据库,利用实例动静伸缩等形式探讨了数据库架构的演进。
最初王冰老师介绍了亚马逊云科技在托管数据库服务上能够如何帮忙开发者解决问题以及如何进行数据库服务的抉择,加重企业在数据一直增长中架构的复杂度和运维的压力。
04 黄勃
用数据发现问题 获取没有的洞见
黄勃
哈尔滨工业大学计算机利用技术业余博士出站博士后
讲师介绍:
次要钻研趣味包含人工智能、图像处理、模式识别等,从事相干钻研近 20 年,现任企业技术核心主任,从事智能自助设施研发多年。发表相干论文近 40 篇,申请发明专利 100 余项,已受权近 60 项,主持国家级我的项目多项。
分享内容回顾
当初很多热门岗位在招聘要求上都会写数据分析能力。而且无论你是业余的数据分析师还是在市场营销,人事,财务,销售,经营至客服运维畛域工作,如同都要求具备数据分析和解决问题的能力。
黄勃老师利用较短的工夫,简略的介绍了数据分析的一个闭环流程。首先学会用比照剖析在工作中发现问题;而后利用漏斗分析法拆解工作中的流程环节,将简单问题简单化,以找到问题的切入点;第三,简略的提到了相干剖析的概念;最初利用数据可视化办法和各种图形更好的展现本人的能力。
对于 StarRocks
StarRocks 创建两年多来,始终专一打造世界顶级的新一代极速全场景 MPP 数据库,帮忙企业建设“极速对立”的数据分析新范式,助力企业全面数字化经营。
以后曾经帮忙腾讯、携程、顺丰、Airbnb、滴滴、京东、众安保险等超过 110 家大型用户构建了全新的数据分析能力,生产环境中稳固运行的 StarRocks 服务器数目达数千台。
2021 年 9 月,StarRocks 源代码凋谢,在 Github 上的星数已超过 3100 个。StarRocks 的寰球社区飞速成长,至今已有超百位贡献者,社群用户冲破 5000 人,吸引几十家国内外行业头部企业参加共建。