随着上云企业越来越多,企业对用云老本问题也越发器重。业务的倒退会产生海量存储需要,在云端存储数据时,如何进行老本优化,加重业务累赘呢?
在进行老本优化之前,首先须要理解腾讯云对象存储 COS 的老本形成。对象存储的计费项次要包含存储费用、流量费用、申请费用、数据取回费用和管理费用等五大项;对于大部分客户来说,存储费用和流量费用是其云存储老本的次要组成部分。
- 在 存储费用 方面,COS 提供了规范存储、低频存储、智能分层存储、归档存储、深度归档存储等不同的存储类型,各个存储类型的产品规格和价格均存在差别,客户能够依据本人的业务模式抉择性价比最匹配的存储类型。
- 在 流量费用 方面,存在外网上行流量、CDN 回源流量、跨地区复制流量和寰球减速流量等流量类型,业务模式的差别会导致用户流量费用的形成存在差别。比方,某客户的业务次要以电商网站为主,存在大规模图片散发,这类业务的 CDN 回源流量较多,因而耗费的流量费用次要以流量费用为主。
上面咱们将从 5 个方面介绍 COS 老本优化计划:
- 抉择适合的存储类型
- 定期通过清单和拜访日志功能分析数据拜访模式
- 通过生命周期和批量解决沉降数据
- 通过文件压缩缩小存储容量
- 进行老本回顾
一、抉择适合的存储类型
依据业务模式抉择适合的存储类型可能较大幅度地优化业务的存储老本。COS 提供了丰盛多样的存储类型,客户能够依据对性能、数据持久性、业务可用性的要求,抉择不同的存储类型。规范存储的存储费用绝对较高,但提供了起码的读取提早;低频、归档、深度归档这三种存储类型的存储费用较低,然而在下载数据的时候,会额定耗费数据取回费用,并且须要耗费较久的取回工夫,因而更适宜于大量读取的数据存储。下表展现了应用不同存储类型存储一个月数据对应的存储老本,以在广州园区存储 100TB 业务数据为例:
从表中能够看到,如果业务数据下载量较低,则抉择归档存储甚至深度归档能无效升高存储老本,最冷的深度归档存储相较规范存储可节俭 90% 存储费用;但如果业务数据须要频繁下载,则低频、归档、深度归档存储的取回费用会带来额定的老本开销,导致整体费用反而更高。
具体到业务场景中,咱们举荐:
- 频繁读写场景:比方 UGC 场景、电商图片等读多写少的业务,可应用规范存储类型。如果业务对可用性和数据持久性有高要求,则能够思考应用多可用区规范存储。
- 大量读场景(一个月读一次):比方日志数据分析、网盘数据等业务,读取频率较低,但读取时对性能要求高,可应用低频存储类型。对可用性和数据持久性有高要求的业务能够应用多可用区低频存储。
- 极少量读场景(三个月读一次):比方视频监控、日志数据归档等业务,读取频率极低,对读取性能要求较低,可应用归档存储类型。
- 根本不读取场景(半年读一次):比方医疗影像、档案资料等业务,日常仅做长期备份用,对读取性能简直无要求,可应用深度归档存储类型。
此外,在应用不同存储类型时,咱们倡议客户留神最小存储时长和最小存储单元的限度,同时关注不同存储类型的性能体现。下表提供了一个简略的比照。
最小存储时长:数据存储在对应存储类型时,须要存储的最短时间,不满最短时间依照最短时间算。比方低频存储起码存储 30 天,如果一个低频数据只存储了 1 天就删除,也会依照 30 天计算费用。 _最小存储单元:数据存储在对应存储类型时,须要存储的最小文件容量,不满最小文件容量依照最小文件容量算。比方低频存储起码存储 64KB,如果一个低频文件只存储了 1KB,也会依照 64KB 计算费用。_
二、定期通过清单和拜访日志功能分析数据拜访模式
剖析数据的拜访模式可能为抉择正当的存储类型提供数据撑持。COS 提供了清单能力和拜访日志性能,别离用于记录存储的文件元数据信息和文件拜访记录,并将这些信息转存到用户的存储桶中。
无关清单性能的具体介绍,能够参考文档 配置清单性能;
无关拜访日志治理性能的具体介绍,能够参考文档 配置拜访日志治理。
对象存储提供了 COS Select 能力检索文件中的内容,如果您生成的清单文件或者日志记录过多,您也能够购买弹性 Map Reduce 集群,搭建 Presto 集群进行数据分析。
无关 COS Select 的能力介绍,能够参考文档 应用对象检索;
无关 EMR 进行剖析的介绍,能够参考文档 应用 Presto 剖析 COS 上的数据。
以检索剖析清单文件中的数据为例,当清单报告投递到指定存储桶后,您能够进入控制台对指定的清单报告进行剖析:
1、进入文件列表,找到对应的清单报告,点击最右侧检索;
2、进入文件检索页面,配置好相应入参;
3、输出检索语句,在检索后果卡片页查看检索后果;
留神:控制台只反对检索 128MB 以下文件,如果清单报告的容量过大,或者报告数量过多,能够抉择工具、SDK 或者 API 的形式调用。
以下是几种常见的检索清单报告的检索语句:
留神:清单报告中不蕴含表头信息,因而只能输出对应字段的序列号进行检索,清单报告的表头和序列号对应信息如下:
三、通过生命周期和批量解决沉降数据
业务倒退过程中,数据的拜访模式始终在动态变化,对于大部分数据而言,其拜访热度个别随着存储工夫的增长而升高。因而,企业须要依据业务数据拜访模式的变动,调整数据存储类型以便业务老本处于最佳状态。
COS 提供了生命周期能力帮忙企业定期地转换存储类型,企业能够通过清单和拜访日志剖析业务数据的拜访模式,依据业务拜访模式制订正当的生命周期转换规则。
以某经营社区平台的客户为例,应用 COS 存储用户上传的图片数据。一般而言,图片数据在刚上传后的一段时间里会被频繁拜访,通过一段时间流传后,大部分数据会逐步”变冷“,拜访频次逐步缩小。假如这一客户大部分图片数据在通过 90 天后数据拜访频次曾经低于 1 次 / 月,在 365 天后根本无人拜访,咱们能够比照设置生命周期和不设置生命周期时的老本状况:
能够看到,应用生命周期规定治理存储桶中的对象可能较大幅度地升高数据存储费用。对于长期存储的数据,合理配置生命周期规定能帮忙业务升高 50% 以上存储老本。
除了治理业务数据存储类型外,生命周期能力还能够用来治理存储桶中的文件碎片和历史版本文件。文件碎片是业务在上传大文件过程中,因为网络中断等意外状况中断传输产生的文件分块信息,如果业务中存在大量文件碎片,能够通过生命周期规定对文件碎片进行过期删除。历史版本文件则是开启版本控制性能后产生的旧文件信息,历史版本文件能够用于数据误删后的复原和回滚,但会占用存储空间,业务同样能够设置一个过期删除工夫,将没有用的历史版本文件清理掉,以在数据安全和老本之间进行均衡。
如下图,只须要在配置时,抉择开启【治理历史版本文件】,或者抉择【删除碎片】,即可按需进行配置。
对于个别业务,仅只须要一次性将大批量文件转为更冷的存储类型,并且没有固定的规定(比方指定的前缀或者标签),则用户能够应用 COSBatch 批量解决能力,应用批量拷贝性能将数据批改为其余存储类型或者增加对象标签以便设置生命周期规定删除。操作步骤如下:
1、导出待处理文件列表,整合成 csv 格式文件;
2、创立 COSBatch 批量解决工作,导入文件列表;
3、执行批量解决工作,等待工作实现即可。
具体的操作步骤能够参考 COSBatch 批量解决操作指南,进一步理解操作详情。
四、通过文件压缩缩小存储容量
对于图片类数据,对象存储也提供了数据压缩能力帮忙用户压缩图片大小,缩小存储老本。目前提供了压缩能力如下:
- Gueztli 压缩。Gueztli 压缩是一种视觉无损压缩,利用人眼对于局部色域及图片细节的不敏感性,在不影响视觉效果的前提下有选择地抛弃细节信息,使得在雷同品质条件下比原图节俭约 35% – 50% 的图片大小。
- TPG 压缩。TPG 是腾讯推出的自研图片格式,可将 JPG、PNG、GIF、WEBP 等格局图片转换为 TPG 格局,大幅减小图片大小,压缩比可达到 35% 以上。
- HEIF 压缩。针对 iOS 环境的图片应用场景,可将 JPG、PNG、GIF、WEBP 等格局图片转换为 HEIF 格局,HEIF 格局有着超高压缩率,压缩比个别在 45% 以上。
以某客户图片存储业务为例,下表比照了 100TB 图片存储采纳不同压缩形式后的老本收入状况:
从表中能够看到,应用图片压缩能力进行压缩后,只管会付出肯定压缩老本,但存储老本大幅度降低,理论总支出也升高了。此外,业务后续应用中会产生大量的流量,通过压缩也能极大地节约流量老本。
五、进行老本回顾
老本优化须要贯通业务的全流程,而不仅仅只在业务上云时进行老本布局,客户须要不定时进行老本回顾,依照业务需要正当布局业务的云存储架构,有利于升高存储老本。除此之外,客户能够进入腾讯云计费平台,下载腾讯云计费账单理解云存储用量明细账单,剖析云存储耗费状况并针对性优化。
客户还能够关注“腾讯云存储”公众号或者进入对象存储控制台概览页,理解对象存储新品公布状况,关注对您老本优化无关的资讯。
腾讯云对象存储始终关注客户存储数据的性能和平安需要,致力于为客户提供更低成本的存储服务,帮忙用户降本增效。在将来,COS 会继续摸索并推出更多的存储产品和服务,开掘场景化解决方案,为客户提供业界内性价比最高的存储服务。