关于程序员:Linkis-100RC1-版本发布

Linkis 1.0.0-RC1 是 Linkis 里程碑式的重大版本，提供了超 60 个新个性和性能加强，标记着 Linkis 正式进入 1.0 版本时代。

Linkis 是什么？

Linkis 在下层利用和底层引擎之间构建了一层计算中间件，下层利用只需对接 Linkis 提供的 REST/WS/JDBC 等标准接口，就能连贯到 MySQL/Spark/Hive/Presto/Flink 等各种底层计算存储引擎，并实现下层利用间的互通。

Linkis1.0.0-RC1 带来了“计算治理”理念的全新架构实现，提供了全栈计算 / 存储引擎的架构反对，包含离线批量型、交互式型、实时流式型和存储型，并新增了多种新个性，向下兼容 Linkis0.X 版本的所有接口。

开源地址

https://github.com/WeBankFinT…

https://gitee.com/WeBankFinTe…

新版简介

• 丰盛的底层计算存储引擎反对度

1. 已反对的计算存储引擎：Spark、Hive、Python、Presto、ElasticSearch、MLSQL、TiSpark、JDBC 和 Shell 等；
2. 集成中的计算存储引擎：Flink、Impala 和 Clickhouse 等；
3. 已反对的脚本语言：SparkSQL、Scala、Pyspark、R、Python、JDBC、HiveQL 和 Shell 等。

• 弱小的计算治理能力

Linkis 1.0 总体分为三大模块：公共加强服务、计算治理服务、微服务治理服务。三大模块简介如下：

1. 公共加强服务为 Linkis 0.X 曾经提供的物料库服务、上下文服务、数据源服务和公共服务等；
2. 微服务治理服务为 Linkis 0.X 曾经提供 Spring Cloud Gateway、Eureka 和 Open Feign，同时 Linkis1.0 还会提供对 Nacos 的反对；
3. 计算治理服务是 Linkis 1.0 的外围重点，从 提交 —> 筹备 —> 执行三个阶段，来全面降级 Linkis 对 用户工作的执行管控能力。

• 全栈计算存储引擎架构反对

作为计算中间件，将接管、执行和治理针对各种计算存储引擎的工作和申请，包含离线批量型、交互式型、实时流式型和存储型工作，并提供弱小的复用、预热、限流、切换、全生命周期治理等计算治理能力；

• 更弱小的资源管理能力

ResourceManager 不仅具备 Linkis0.X 对 Yarn 和 Linkis EngineManager 的资源管理能力，还将提供基于标签的多级资源分配和回收能力，让 ResourceManager 具备跨集群、跨计算资源类型的弱小资源管理能力；

• 全流程标签化

基于多级组合标签，提供跨 IDC、跨集群的计算工作路由管控能力，和 EngineConnManager, EngineConn 的多租户隔离能力；

• 对立上下文服务

对立用户和系统资源文件（JAR、ZIP、Properties 等），跨用户、零碎、计算引擎的参数和变量对立治理，一处设置，处处主动援用；

• 对立物料

零碎和用户级物料治理，可分享和流转，跨用户、零碎共享物料，反对全生命周期主动治理。

全新个性

[Linkis-572] 在“Entrance”模块中新增了 EngineConn 治理插件。

[Linkis-576] 新增 EngineConnPlugin 模块，简化用户实现 Linkis 新计算存储引擎。

[Linkis-579] 新增 EngineConn 的交互式类型顶层设计，让用户实现交互式引擎更加简略容易。

[Linkis-584] 新增 LinkisManager Common 模块，为 LinkisManager 提供常用工具类。

[Linkis-585] 新增 LinkisManager Monitor 模块，用于 LinkisManager 实时监控 EngineConn 和 EngineConnManager 的衰弱状态。

[Linkis-587] 新增 EngineConn Common 模块，为 EngineConn 提供常用工具类。

[Linkis-590] 新增 EngineConn 的外围模块，提供了 EngineConn 外围接口的定义。

[Linkis-591] 新增 Computation Governance Common 模块，为计算治理的所有服务提供常用工具类。

[Linkis-599] 新增 Linkis ResourceManager Common 模块，提供常用工具类。

[Linkis-600] 新增 LinkisManager Service Common 模块，为 AppManager 和 ResourceManager 提供常用工具类。

[Linkis-602] 新增 LinkisManager Persistence 模块，用于长久化 EngineConn 和 EngineConnManager 的信息。

[Linkis-604] 新增微服务标签性能，并反对为每个微服务增加标签。

[Linkis-609] 新增 Linkis Label 模块，为 Linkis 全流程的标签化能力 提供根底撑持。

[Linkis-611] 强化 Linkis 的管控能力，全新形象 Linkis AppManager 模块，用于治理 EC 和 ECM 的全生命周期。

[Linkis-630] 新增 EngineConn Launch 模块，提供 EngineConn 的 main class 入口。

性能加强

[Linkis-569] 加强 Linkis RPC 的解决能力，并向下兼容 Linkis0.X 的 RPC。

[Linkis-574] 加强 Linkis 的标签治理性能，反对对 EngineConnManager 和 EngineConn 进行标签治理。

[Linkis-575] 加强 ResourceManager 的能力，并将其集成到 LinkisManager 中。

[Linkis-578] 加强 EngineManager，全新定义实现 EngineConnManager 模块。

[Linkis-580] 加强 SparkEngineConn，以适配 Linkis1.0 新架构。

[Linkis-583] 加强 ShellEngine，以适配 Linkis1.0 新架构。

[Linkis-592] 加强 JDBCEngine，以适配 Linkis1.0 新架构。

[Linkis-594] 加强 IOEngine，以适配 Linkis1.0 新架构。

[Linkis-596] 加强 HiveEngine，以适配 Linkis1.0 新架构。

[Linkis-597] 加强 PipelineEngine，以适配 Linkis1.0 新架构。

[Linkis-606] 拆分 Linkis0.X 的 EngineReceiver 为多种 Service，封装到 Executor 模块。

[Linkis-608] 加强 Linkis 启动和敞开服务的脚本，优化启动步骤。

[Linkis-618] 加强 PublicService 和 ContextService 模块，以适配 Linkis1.0 新架构。

[Linkis-638] 加强 Linkis Common 的加密性能。

[Linkis-643] 加强 DataSource 模块，以适配 Linkis1.0 新架构。

[Linkis-645] 加强 Linkis Hadoop 模块，使 Linkis 反对多套 Hadoop 集群。

[Linkis-648] 加强 Linkis httpclient 模块以反对 PUT 和 Delete 申请。

[Linkis-650] 优化 Linkis mybatis 模块, 以与 mybatis-plus 集成。

[Linkis-652] 加强 Linkis protocol 模块，以适配 Linkis1.0 新架构。

[Linkis-654] 加强 Linkis Gateway 模块，反对通过标签路由转发前端申请。

[Linkis-655] 加强 Linkis JobHistory 模块，反对缓存 Job 的后果集，强化 Job 标签的治理性能。

[Linkis-656] 优化 Linkis RPC 模块序列化器的底层实现。

[Linkis-660] 加强 Linkis Scheduler 模块，反对主动革除闲暇的 Consumer。

[Linkis-662] 加强 Linkis user control 模块，以适配 Linkis1.0 新架构。

[Linkis-663] 加强 Linkis Entrance 模块，以适配 Linkis1.0 新架构。

[Linkis-666] 优化目录层次结构并删除无用的目录。

[Linkis-668] 加强 Linkis storage 模块，以反对 viewFS 和多 hadoop 集群。

[Linkis-674] 加强 PythonEngineConn，以适配 Linkis1.0 新架构。

[Linkis-675] 优化目录，更新所有 pom 文件的版本信息。

社区奉献

Linkis 1.0.0-RC1 的公布与 WeDataSphere 社区的贡献者密不可分。他们无私奉献本人的工夫，并为文档的构建、简化部署和欠缺用户体验提出了许多有价值的倡议。没有他们的帮忙，Linkis 1.0.0-RC1 不能如此顺利地公布。

谢谢社区的所有贡献者！

降级向导

原则上，Linkis 1.0.0-RC1 的所有接口都向下兼容，因而降级对下层利用无感。

作为计算中间件，除了 PublicService 的用户配置数据外，Linkis 数据库中的其余数据无需迁徙。

无关 PublicService 用户配置数据的迁徙，请参阅 Linkis Wiki：Linkis1.0.0-RC1 降级文档。

WeDataSphere，BIG DATA MADE EASY.

用心做一个有温度的开源社区