更多技术交换、求职机会,欢送关注字节跳动数据平台微信公众号,回复【1】进入官网交换群
近日,《火山引擎云原生数据仓库 ByteHouse 技术白皮书》正式公布。白皮书简述了 ByteHouse 基于 ClickHouse 引擎的倒退历程,首次具体展示 ByteHouse 的整体架构设计及自研核心技术,为云原生数据仓库倒退,及企业数字化转型实战使用提供最新的参考和启迪。
以下为 ByteHouse 技术白皮书【多租户治理、运维监控治理】版块摘录。
技术白皮书(Ⅰ)(Ⅱ)(Ⅲ)(Ⅳ)精彩回顾:https://xie.infoq.cn/article/5c9471c7adb58e4bb43b69c4d
https://xie.infoq.cn/article/086b4e706965a6bd81f6a6ff2
https://xie.infoq.cn/article/a0dceef1588fe6c58247d3b37
https://xie.infoq.cn/article/9802a36beb0e82fd989991011
ByteHouse 多租户治理
多租户治理架构图
ByteHouse 的计算资源、数据资源、作业工作和用户权限都用租户进行隔离,所有的数据对象和资源都在一个租户外部进行治理。不同的业务团队能够建设各自的租户,按额度申请所需的计算资源,便于进行资源管理和结算。
计算资源隔离在租户外部,屏蔽租户之间的资源争抢。数据库、数据表、视图等对象都在租户外部进行治理和受权,数据安全限度在租户外部。数据查问、数据导入工作也在各自租户中,减少了工作代码安全性。
多租户治理性能适应了整个企业资源集中统一治理、按需按份额应用、兼顾资源共享和数据安全要求,同时能够为 SaaS 利用提供撑持,能按需为新用户申请资源,做到即开即用,又能满足不同用户资源和数据隔离性需求,实现一套零碎服务所有用户。
ByteHouse 运维监控治理
ByteHouse 的私有化部署版本蕴含一个可视化的资源监控和治理平台,提供资源、负载监控仪表盘,直观地展示集群整体情况,同时提供租户治理、报警监控、审计日志、扩缩容、系统升级、故障节点替换等外围性能,让运维人员通过白屏化操作,升高运维老本和操作危险。
集群治理保护模块包含对物理资源的配置、节点重启、故障节点一键替换、滚动降级、滚动重启等性能,实现可视化运维治理。
通过仪表板对集群衰弱度进行宏观监控,集群资源饱和度监控能实时查看存储计算的以后利用状况和增长趋势,不便进行扩缩容;节点衰弱度监控能实时监控节点实时的响应状况;集群负载监控能实时反馈集群总体负载水位;提供 Grafana 对各个组件运行状态进行细粒度监控。
运维监控模块示意图
监控报警模块提供与第三方报警平台对接能力,反对对 CPU、内存、存储资源使用量指标、技术组件衰弱度指标、计算工作状态指标、集群负载和性能指标进行监控,并通过短信、电话等形式告诉值班员。
点击链接,立刻下载完整版白皮书 👇
https://www.wjx.cn/vm/Ot0YJFq.aspx#
点击跳转 云原生数据仓库 ByteHouse 理解更多