关于数据湖:在腾讯云-EMR-上使用-GooseFS-加速大数据计算服务

GooseFS 是腾讯云对象存储团队最新推出的高性能、高可用以及可弹性伸缩的分布式缓存零碎，依附对象存储（Cloud Object Storage，COS）作为数据湖存储底座的老本劣势，为数据湖生态中的计算利用提供对立的数据湖入口，可减速基于腾讯云对象存储的各类海量数据分析以及机器学习等工作。本文将介绍如何在腾讯云 EMR 上应用 GooseFS 减速大数据计算工作。

GooseFS 是腾讯云对象存储团队近期面向下一代云原生数据湖场景推出的存储减速利器，提供与 HDFS 对标的 Hadoop Compatible FileSystem 接口实现，可为云上的大数据计算工作提供：

• 高牢靠、可弹性伸缩的分布式读写缓存服务；
• 内存级的数据本地化（Data Locality）拜访性能；
• 基于 Namespace 粒度的读写缓存策略以及 Hive Table 级别预热；
• 与 HDFS 统一的 Ranger 鉴权机制；
• 对象存储 AZ 级别的减速拜访与高 QPS 的元数据拜访能力；以及疾速部署和开箱即用等个性。

本文将基于腾讯云 EMR 介绍如何疾速部署 GooseFS 用于减速云上大数据分析工作。

减速腾讯云 EMR 大数据计算工作

为了在腾讯云 EMR 中应用 GooseFS 减速大数据计算工作，可参考官网文档腾讯云 EMR 环境中部署和配置 GooseFS（https://cloud.tencent.com/doc…），即可开启 GooseFS 的缓存减速能力。下文将以数据仓库业务以及迭代计算场景展现 GooseFS 的减速拜访能力。

减速基于 Hive、Spark SQL 和 Presto 数据仓库查问业务

很多大数据客户的数据仓库类业务具备显著的冷热周期特色，例如：某大数据客户每天会定时基于数仓生成日报报表，Hive 表的分区是日期维度。

GooseFS 集成了 Hive Table 的元数据管理能力，并且提供了 Hive table & partition 粒度的数据预热个性，用户能够通过配置工作流工作来每天在闲时预热加载 table & partition 以升高峰值查问的带宽耗费，而后在数据拜访高峰期提供内存级的缓存减速能力。

在热表或分区变冷当前，应用 Free 命令将其从缓存中开释掉。

| 上面，将会具体地介绍 GooseFS Table 治理能力以及预热办法。

GooseFS Table & Partition 治理与预热

GooseFS Table & Partition 治理与预热能力都是通过 GooseFS 的 table 命令行来实现：

$ goosefs table
Usage: goosefs table [generic options]
   [attachdb [-o|--option <key=value>] [--db <goosefs db name>] [--ignore-sync-errors] <udb type> <udb connection uri> <udb db name>]
   [detachdb <db name>]                                      
   [free <dbName> <tableName> [-p|--partition <partitionSpec>]]
   [help [<command>]]                                        
   [load <dbName> <tableName> [-g|--greedy] [--replication <num>] [-p|--partition <partitionSpec>]]
   [ls [<db name> [<table name>]]]                           
   [stat <dbName> <tableName>]                               
   [sync <db name>]                                          
   [transform <db name> <table name> [-d <definition>]]      
   [transformStatus [<job ID>]]

其中，提供 Hive DB 绑定和解绑，预热加载 DB 下的指定 Table & Partition。

1. 在预热 Hive DB 中的指定 Table & Partition 到 GooseFS 之前，须要先将 DB 挂载到 GooseFS 中：

$ goosefs table attachdb --db test_db hive thrift://metastore_host:port goosefs_db_demo
response of attachdb

2. 挂载完后，可应用 GooseFS 的命令行查看 DB 中的 Table 信息：

$ goosefs table ls test_db web_page
OWNER: hadoop
DBNAME.TABLENAME: testdb.web_page (
wp_web_page_sk bigint,
wp_web_page_id string,
wp_rec_start_date string,
wp_rec_end_date string,
wp_creation_date_sk bigint,
wp_access_date_sk bigint,
wp_autogen_flag string,
wp_customer_sk bigint,
wp_url string,
wp_type string,
wp_char_count int,
wp_link_count int,
wp_image_count int,
wp_max_ad_count int,
)
PARTITIONED BY (
)
LOCATION (gfs://metastore_host:port/myiNamespace/3000/web_page)
PARTITION LIST (
{
partitionName: web_page
location: gfs://metastore_host:port/myNamespace/3000/web_page
}
)

3. 而后，可预热指定 Table 到 GooseFS 中，同时还能够查看 Table 预热状况：

$ goosefs table load test_db web_page
Asynchronous job submitted successfully, jobId: 1615966078836

4. 预热实现后，就能够失常的执行查问工作，取得 GooseFS 的本地缓存减速性能。

GooseFS 减速性能比照

这里，咱们基于规范的 TPCDS benchmark 在腾讯云 EMR 环境中比照测试了本地 HDFS 失去整个测试过程总时延。其中，GooseFS 挂载 COSN 作为其 UFS，并且提前预热了测试数据集。

在雷同的测试数据集本地化的水平下，GooseFS 读数据拜访性能上绝对 HDFS 更好。具体分 SQL case 的时延数据可参考附录。

同时，COSN 和 CHDFS 作为腾讯云上两个比拟罕用的大数据文件系统实现，也可作为 GooseFS 的 Under File System 应用。这里也比照测试这三个文件系统，其中 GooseFS 挂载 COSN 作为其 UFS，同样提前预热的测试数据集。

从该项测试后果，也能够看出，GooseFS 在预热数据的条件下，能够显著减速腾讯云上大数据存储系统的拜访性能。具体分 SQL case 的时延数据可参考附录。

总结

GooseFS 作为腾讯云对象存储新推出的云原生大数据存储加速器，解决了基于 COSN 以及 CHDFS 等云上存储的 Data Locality 的缺点，提供了本地近内存级的拜访性能。

同时，GooseFS 提供了 Hive Table & Partition 级别的预热能力以及缓存策略管理，可能极大中央便用户实现数据预热和拜访减速。在将来，GooseFS 会元数据拜访性能、本地短路读性能以及智能 Cache 方向上做更深层次的优化开发，旨在进一步减速海量数据湖利用性能。对于理解更多请返回：https://cloud.tencent.com/doc…

附件

case100_D3_本地 SATA_HDFS 和 case100_D3_本地 SATA_GOOSEFS 的 TPCDS 测试后果：

SSD 云盘环境的 GooseFS、CHDFS 以及 COSN 的比照测试后果：