关于腾讯云:GooseFS-透明加速能力助力加速-CosN-访问-COS-的性能
01 前言原生的对象存储接口协议并不兼容HDFS文件语义,因而对象存储COS提供了COSN工具这一的规范的 Hadoop 文件系统实现,能够为 Hadoop、Spark 以及 Tez 等大数据计算框架集成 COS 提供反对。 用户可应用实现了 Hadoop 文件系统接口的 CosN 插件,读写存储在 COS 上的数据。但原生的对象存储服务的架构设计起因,在List和Rename性能体现并不现实,因而腾讯云对象存储服务推出了GooseFS这一分布式缓存计划,次要针对包含须要缓存减速的数据湖业务场景,提供基于对象存储COS服务的近计算端数据减速层。 通明减速能力是GooseFS的特色性能,用于减速 CosN 拜访 COS 的性能。对于曾经应用 CosN 工具拜访 COS 的用户,GooseFS 提供了一种客户端门路映射形式,让用户能够在不批改以后 Hive table 定义的前提下,依然可能应用 CosN scheme 拜访 GooseFS,该个性不便用户在不批改已有表定义的前提下,对 GooseFS 的性能和性能进行比照测试。 对于云 HDFS 的用户(CHDFS),也能够通过批改配置,实现应用 OFS 客户端的Scheme 拜访 GooseFS 的目标。 CosN Schema 和 GooseFS Schema 的之间的门路是如何进行映射的呢?上面以一个例子进行阐明。 假如COS上有一个examplebucket-1250000000,用户将数仓中的数据存储在data/warehouse/的门路下,里边有/folder/test.txt,/folder/test2.txt等文件,那么依照CosN的拜访门路格局,对应的门路为: cosn://examplebucket-1250000000/data/warehouse/则 CosN 到 GooseFS 的门路映射关系如下: cosn://examplebucket-1250000000/data/warehouse -> /warehouse/cosn://examplebucket-1250000000/data/warehouse/folder/test.txt ->/warehouse/folder/test.txtGooseFS 到 CosN 的门路映射关系如下: /warehouse ->cosn://examplebucket-1250000000/data/warehouse//warehouse/ -> cosn://examplebucket-1250000000/data/warehouse//warehouse/folder/test.txt -> cosn://examplebucket-1250000000/data/warehouse/folder/test.txt留神:如果拜访的 CosN 门路无奈转换为 GooseFS 门路,对应的 Hadoop API 调用会抛出异样。 ...