本次直播将持续咱们的 PostgreSQL 技术底细系列,由 Oracle 跟敌人们探讨交换 Interconnect 模块的话题。
interconnect 模块视频号 Interconnect 是在不同 Segment 间数据挪动的传输组件。gpdb 有一种特有的执行算子 motion,motion 算子波及查询处理期间在 Segment 之间挪动数据,通过 Interconnect 进行数据重散布。
gpdb 架构中有一些重要的概念,包含查问调度器和查问执行器等。
-QD(Query Dispatcher、查问调度器):是指 Master 节点上负责解决用户查问申请的过程(PostgreSQL 中称之为 Backend 过程)
-QE(Query Executor、查问执行器):是指 Segment 上负责执行 QD 散发来的查问工作的过程。
QD 和 QE 之间有两种类型的网络连接:
-Libpq:QD 通过 libpq 与各个 QE 间传输管制信息,包含发送查问打算、收集错误信息、解决勾销操作等。libpq 是 PostgreSQL 的标准协议,gpdb 对该协定进行了加强,譬如新增了‘M’音讯类型 (QD 应用该音讯发送查问打算给 QE)。libpq 是基于 TCP 的
-Interconnect:QD 和 QE、QE 和 QE 之间的表元组数据传输通过 Interconnect 实现。Greenplum 有两种 Interconnect 实现形式,一种基于 TCP,一种基于 UDP。缺省形式为 UDP interconnect 连贯形式。
Interconnect 是 Greenplum 实现数据洗牌(Data Shuffling)的实现办法,它为 QEs 提供高速并行的数据传输服务,不须要磁盘 IO 操作,是高性能查问执行的重要技术之一。
本周四直播间,咱们将邀请 HashData 内核工程师 Oracle 为大家解读 Interconnect 组件,欢送感兴趣的敌人们与咱们相约直播间,一起学习成长!
主题:PostgreSQL 技术底细 (五)Interconnect 模块工夫:1 月 5 号(本周四)
公司简介:HashData 是中国当先具备自主可控研发能力的数据仓库软件厂商,外围团队次要由来自 Pivotal、Teradata、IBM、Yahoo!、Oracle 和华为等公司资深的云计算、分布式数据库和大数据专家组成。凭借深厚的技术积攒以及极具前瞻性的产品理念,HashData 数据仓库已广泛应用于金融、电信运营商、交通物流和互联网等多个行业头部客户。