关于数据挖掘:火山引擎DataLeap数据调度实例的-DAG-优化方案三技术实现

56次阅读

共计 769 个字符,预计需要花费 2 分钟才能阅读完成。

在原始数据中,是以一个数组的模式返回节点信息及依赖关系。所以,须要对数据进行解决造成图所须要的数据,同时,利用多个 map 对数据进行存储,不便后续对数据进行检索,缩小工夫复杂度。

实例节点的款式须要通过根底图形 Text(文本)、Rect(矩形)、Icon(图标)进行组合,以达到咱们的设计要求。在后面提到,在简单的图场景中,须要将超过肯定数量的同层节点聚合起来,以达到清晰直观地传播图所要表白的信息的目标,所以须要对图的层级及节点进行解决,从而生成聚合节点和去掉多余的节点。

通常来说,DAG 的布局能够依照以下步骤实现。去环:包含自环和非自环,为节点分层做筹备。节点分层:给所有节点安顿适合的层级。节点排序:同层级内节点排序,缩小相邻层级中节点间断的交叉点数量。节点坐标调配:依据分层和同层节点的排序计算节点地位。而在火山引擎 Dataleap 场景中,节点的层级是有明确含意的,比方在节点 A 处于节点 B 的上方一层,且 A, B 之间有连线连贯,则可认为 A 是 B 的上游一层节点。因而与传统 DAG 布局产生了以下不同点,火山引擎 Dataleap 研发人员须要依据场景做定制。节点所在层级固定:DAG 布局既能反对主动计算层级,也能承受间接指定节点分层。可能产生同层级连线:将同一层级里有连线的节点进行分组,进行外部排序后,视为整体再参加以后层级的排序,以缩小交叉点的数量。

将来从功能设计上,火山引擎 Dataleap 会从用户的应用场景登程,辨别不同的性能满足用户的诉求。同时,在前端畛域中,针对大数据量的场景,须要判断这些大数据量的展现对用户是否存在价值,从大数据量中挖掘出用户的关注点并突出重点,不便用户疾速地进行查看剖析。从技术实现上,火山引擎 Dataleap 会联合业务,依据业务的特色去批改已有的 DAG 布局实现,以满足在不同的业务场景下,更好地将信息出现给用户。

正文完
 0