关于腾讯云:数据加速器-GooseFS-120-版本正式发布

38次阅读

共计 2434 个字符,预计需要花费 7 分钟才能阅读完成。

腾讯云存储团队正式在官方网站上架 数据加速器 GooseFS 产品 ,同时 数据加速器 GooseFS 1.2.0 版本正式公布。该版本总结并收敛了 GooseFS 在过往大规模生产环境实际中遇到的性能、稳定性和平安问题,全面晋升产品稳定性。

重要更新点

1、通明减速热开关

通明减速热开关能够让大数据用户可能应用 CosN scheme 拜访 GooseFS,该个性不便用户在不批改已有表定义的前提下,应用 GooseFS 的性能,晋升业务拜访性能。
通明减速热开关次要用于晋升零碎的可运维性。在生产环境中应用 GooseFS 集群进行拜访减速时,可能呈现集群节点故障等各种问题,当集群无奈自愈,并且须要尽快恢复现网业务时,须要有伎俩能够将拜访流量在分钟级迅速切换到底层存储服务,而后在不影响计算作业的前提下,运维和治理 GooseFS 集群。

在具体应用过程中,能够通过如下指令启停通明减速热开关:

goosefs.user.client.transparent_acceleration.enabled = true | false

其中,false 代表开启通明减速能力,开启后所有拜访申请会优先通过 GooseFS;true 代表敞开通明减速能力,敞开后所有拜访申请会间接透传到底层。

开启元数据缓存热开关能力须要先开启通明减速能力,无关通明减速能力文档介绍,能够参考文档。

2、集成 CHDFS 认证和 Ranger 鉴权体系

Apache Ranger 是大数据生态系统中用于管制拜访权限的一个规范鉴权组件,GooseFS 作为大数据和数据湖场景下的减速存储系统,也曾经反对接入 Apache Ranger 的对立鉴权平台中;CHDFS 则是私有云原生的 HDFS 服务。

本期重点更新次要集成了 CHDFS 认证和 Ranger 鉴权体系,不便大数据业务尽可能晋升业务平安管控能力。在具体应用过程中,能够通过配置文件很不便地将 CHDFS 认证和 Ranger 鉴权体系集成到 GooseFS 中。当部署好 GooseFS 后,在 goosefs-env.sh 中配置 hadoop-ranger-client-for-hadoop-${hadoop.version}-${version}.jar 和 cosn-ranger-interface-${version}.jar 在的门路:

GOOSEFS_CLASSPATH=${GOOSEFS_HOME}/lib/goosefs-underfs-chdfs-${version}.jar:/path/to/cosn-ranger-interface-${version}.jar:/path/to/hadoop-ranger-client-for-hadoop-${hadoop.version}-${version}.jar

对于 EMR 的环境,能够查看 /usr/local/service/hadoop/share/hadoop/common/lib 这个门路是否存在上述两个依赖包,如果存在的话,将这两个包依照上述办法配置到 GooseFS 即可:

GOOSEFS_CLASSPATH=${GOOSEFS_HOME}/lib/goosefs-underfs-chdfs-${version}.jar:/usr/local/service/hadoop/share/hadoop/common/lib/cosn-ranger-interface-${version}.jar:/usr/local/service/hadoop/share/hadoop/common/lib/hadoop-ranger-client-for-hadoop-${hadoop.version}-${version}.jar

而后,确保在 core-site.xml 配置文件中,开启了 ranger 相干的配置选项:

 <property>
    <name>fs.ofs.ranger.enable.flag</name>
    <value>true</value>
  </property>

最初,在 goosefs-site.properties 中须要将 core-site.xml 的配置文件门路指定到 goosefs underfs hdfs 的配置门路中,同时开启 security authorization,这样能力保障身份认证信息可能通过 GooseFS 传递到 UFS 层:

goosefs.underfs.hdfs.configuration=/usr/local/service/hadoop/etc/hadoop/hdfs-site.xml:/usr/local/service/hadoop/etc/hadoop/core-site.xml
# Security properties
goosefs.security.authorization.permission.enabled=true
goosefs.security.authentication.type=SIMPLE

以上的配置至多须要同步到所有的 Master 节点上。而后重启 Master 即可开启 CHDFS 的鉴权。

无关 GooseFS Ranger 的具体介绍,可请返回应用 Apache Ranger 管制 GooseFS 的拜访权限进一步具体理解。

其余更新

除了上述更新之外,咱们在本次版本中还优化了 GooseFS 依赖的组件:

  • 降级了 RocksDB 的依赖版本到 6.15.2(从 5.15.10 降级到 6.15.2);
  • 更新了依赖的 Linux/MacOS libjnifuse 的动态链接库;

同时,依据生产环境下大规模应用后的反馈,咱们也修复如下问题:

  • 修复 Journal 乱序的问题;
  • Ratis 死锁导致的 GRPC 问题;
  • 修复了 HDFSUnderFileSystemFactory 加载地位不正确的问题;
  • 修复了 log4j2 的安全漏洞问题;
  • 修复了 ufsPath 前缀查看谬误的问题;

如果您想理解数据加速器 GooseFS 的更多信息,或者上手应用 GooseFS,请点返回官网文档。

— END —

正文完
 0