乐趣区

关于腾讯云:数据加速器-GooseFS-120-版本正式发布

jiezi

腾讯云存储团队正式在官方网站上架 数据加速器 GooseFS 产品 ，同时 数据加速器 GooseFS 1.2.0 版本正式公布。该版本总结并收敛了 GooseFS 在过往大规模生产环境实际中遇到的性能、稳定性和平安问题，全面晋升产品稳定性。

重要更新点

1、通明减速热开关

通明减速热开关能够让大数据用户可能应用 CosN scheme 拜访 GooseFS，该个性不便用户在不批改已有表定义的前提下，应用 GooseFS 的性能，晋升业务拜访性能。
通明减速热开关次要用于晋升零碎的可运维性。在生产环境中应用 GooseFS 集群进行拜访减速时，可能呈现集群节点故障等各种问题，当集群无奈自愈，并且须要尽快恢复现网业务时，须要有伎俩能够将拜访流量在分钟级迅速切换到底层存储服务，而后在不影响计算作业的前提下，运维和治理 GooseFS 集群。

在具体应用过程中，能够通过如下指令启停通明减速热开关：

goosefs.user.client.transparent_acceleration.enabled = true | false

其中，false 代表开启通明减速能力，开启后所有拜访申请会优先通过 GooseFS；true 代表敞开通明减速能力，敞开后所有拜访申请会间接透传到底层。

开启元数据缓存热开关能力须要先开启通明减速能力，无关通明减速能力文档介绍，能够参考文档。

2、集成 CHDFS 认证和 Ranger 鉴权体系

Apache Ranger 是大数据生态系统中用于管制拜访权限的一个规范鉴权组件，GooseFS 作为大数据和数据湖场景下的减速存储系统，也曾经反对接入 Apache Ranger 的对立鉴权平台中；CHDFS 则是私有云原生的 HDFS 服务。

本期重点更新次要集成了 CHDFS 认证和 Ranger 鉴权体系，不便大数据业务尽可能晋升业务平安管控能力。在具体应用过程中，能够通过配置文件很不便地将 CHDFS 认证和 Ranger 鉴权体系集成到 GooseFS 中。当部署好 GooseFS 后，在 goosefs-env.sh 中配置 hadoop-ranger-client-for-hadoop-${hadoop.version}-${version}.jar 和 cosn-ranger-interface-${version}.jar 在的门路：

GOOSEFS_CLASSPATH=${GOOSEFS_HOME}/lib/goosefs-underfs-chdfs-${version}.jar:/path/to/cosn-ranger-interface-${version}.jar:/path/to/hadoop-ranger-client-for-hadoop-${hadoop.version}-${version}.jar

对于 EMR 的环境，能够查看 /usr/local/service/hadoop/share/hadoop/common/lib 这个门路是否存在上述两个依赖包，如果存在的话，将这两个包依照上述办法配置到 GooseFS 即可：

GOOSEFS_CLASSPATH=${GOOSEFS_HOME}/lib/goosefs-underfs-chdfs-${version}.jar:/usr/local/service/hadoop/share/hadoop/common/lib/cosn-ranger-interface-${version}.jar:/usr/local/service/hadoop/share/hadoop/common/lib/hadoop-ranger-client-for-hadoop-${hadoop.version}-${version}.jar

而后，确保在 core-site.xml 配置文件中，开启了 ranger 相干的配置选项：

 <property>
    <name>fs.ofs.ranger.enable.flag</name>
    <value>true</value>
  </property>

最初，在 goosefs-site.properties 中须要将 core-site.xml 的配置文件门路指定到 goosefs underfs hdfs 的配置门路中，同时开启 security authorization，这样能力保障身份认证信息可能通过 GooseFS 传递到 UFS 层：

goosefs.underfs.hdfs.configuration=/usr/local/service/hadoop/etc/hadoop/hdfs-site.xml:/usr/local/service/hadoop/etc/hadoop/core-site.xml
# Security properties
goosefs.security.authorization.permission.enabled=true
goosefs.security.authentication.type=SIMPLE

以上的配置至多须要同步到所有的 Master 节点上。而后重启 Master 即可开启 CHDFS 的鉴权。

无关 GooseFS Ranger 的具体介绍，可请返回应用 Apache Ranger 管制 GooseFS 的拜访权限进一步具体理解。

其余更新

除了上述更新之外，咱们在本次版本中还优化了 GooseFS 依赖的组件：

  • 降级了 RocksDB 的依赖版本到 6.15.2（从 5.15.10 降级到 6.15.2）；
  • 更新了依赖的 Linux/MacOS libjnifuse 的动态链接库；

同时，依据生产环境下大规模应用后的反馈，咱们也修复如下问题：

  • 修复 Journal 乱序的问题；
  • Ratis 死锁导致的 GRPC 问题；
  • 修复了 HDFSUnderFileSystemFactory 加载地位不正确的问题；
  • 修复了 log4j2 的安全漏洞问题；
  • 修复了 ufsPath 前缀查看谬误的问题；

如果您想理解数据加速器 GooseFS 的更多信息，或者上手应用 GooseFS，请点返回官网文档。

— END —

退出移动版