关于存储:数据万象技术演进之路

前言

Dale（1969）的“教训之塔”指出人们获取信息 70% 以上是通过视觉路径，在互联网时代也不例外。在当今图片音视频服务等已成为一个互联网利用中占比很大的局部，对图片和音视频等数据的解决能力也相应变成企业和开发者的一项基本技能。

腾讯云存储团队历经数年，精心打磨了一款专一于数据处理的一站式智能平台——数据万象（Cloud Infinite,CI)。本文将以宏观视角，从产品历史、产品能力矩阵、技术架构、利用场景等方面带大家理解数据万象这款云端解决利器，揭秘日均百亿张图片背地的技术演进之路。

背景故事

2004 年 QQ 空间相册诞生，经验了长期的倒退过程，曾经深深被用户青睐，成为大家记忆美好时光和分享高兴的平台。

作为 QQ 空间乃至腾讯最根底的服务之一，图片解决服务笼罩腾讯各个业务的方方面面。从图片的裁剪、缩放、水印，到压缩、审核、智能辨认，随同着腾讯产品体系的不断完善以及数据量的海量增长，解决服务也经验了一次次的磨炼与降级。

进入云计算时代后，脱胎于 QQ 空间相册解决服务的数据万象走上了腾讯云私有云的舞台，将 QQ 空间相册积攒的近二十年图片运作教训凋谢给开发者。2014 年，数据万象的前身——万象优图正式成立。起初产品性能以图片解决为主，随后逐步减少音视频解决、文档解决、AI 辨认等性能。作为对象存储 COS 的原生数据处理工具，数据万象主打“智能存储”，帮忙客户实现存量数据的批量解决及增量数据的自动化加工。随着产品的倒退与降级，数据万象以后日解决图片量已达千亿规模，服务存储量达数百 PB。在公司外部，腾讯视频、腾讯新闻、QQ 音乐等产品均应用数据万象进行图片及音视频解决；在公司外，数据万象服务了拼多多、小红书、公众点评等各行业客户，为企业升高存储及流量老本、晋升内容生产效率及用户提体验。

那么，这款在背地默默为各“大牌”保驾护航的产品是怎么的呢？数据万象的档案就此开展。

智能存储

数据万象(Cloud Infinite，CI) 是专一于数据处理的一站式智能平台，提供图片解决、媒体解决、内容审核、内容 AI 辨认、文档服务等全品类多媒体数据的解决能力。与对象存储 COS 深度集成，通过解决能力下沉到存储，帮忙 COS 做智能化降级，提供开箱即用的数据处理及 AI 智能化解决能力，升高用户应用老本，减速数据流转，晋升用户体验，帮忙用户开掘数据价值，晋升生产力。

在应用上，数据万象提供同步和异步的解决形式，为用户提供数据长久化解决的抉择，用户可在上传时，下载时或者已存储在云上的数据进行解决，满足用户多种场景维度的需要。如果说 COS 是万物皆可存，那么 CI 就是万物皆可解决了。

| 目前都反对了哪些能力？

通过能力矩阵，各位读者也可看出相比当年的 QQ 相册，数据万象也减少了很多性能，这些能力当然也不是欲速不达的。接下来的工夫线，见证了数据万象如何成为解决工具百宝箱

| 倒退历史

2014：数据万象的前身——万象优图产品正式成立，开始在内外部提供云上图片解决服务。
2015 – 2017：逐渐集成音视频解决、内容审核、AI 辨认、文档解决能力，全面降级为音视图文全品类数据处理产品，赋能对象存储，极大晋升了用户的应用体验。
2018：万象优图更名为数据万象，寓意包揽云上万象、打造一站式数据处理能力。
2019 – 2020：全面降级内容审核服务，晋升能力矩阵；推出云上工作流能力，提出全新【智能存储】概念 — 数据存储即解决，帮忙用户实现数据 - 存储 - 解决 - 散发全流程，一站式解决用户业务解决场景。
2021：行业首发 avif 图片压缩能力，助力客户优化存储及散发老本；媒体服务进入高速倒退阶段，继续推出 265 编码、分片转码、极速高清、关键帧辨认、色调加强等泛滥能力；内容审核继续深耕，反对审核文档、网页数据；进军海内业务，图片解决全面上线腾讯云国内站。
2022：“智能工具箱”公布，晋升用户体验与易用性；内容审核与时俱进，推出直播审核能力；产品体验继续打磨新陈代谢，从控制台、SDK、API 等全方面晋升用户爽感。

| 技术架构

1、业务方可通过控制台、API、SDK 等多种形式接入数据万象，同时反对 COS 源和第三方源。
2、依据传入的申请调用不同的解决模块进行数据处理。同时会进行监控数据等统计上报，不便进行监控告警。通过工作流模块反对批量解决，依据业务标准，指定模板，主动批量解决，处理完毕后依据配置进行回调业务方。其中各个外部服务间调用时，零外网流量。对业务方来说老本更低。

| 利用场景

以后已有泛滥行业客户接入应用万象，各行业的应用也不尽相同：

有了弱小的能力撑持，数据万象得以服务泛滥的行业及场景，帮忙客户实现老本优化、合作效率晋升、内容生产及版权保护等外围须要。次要场景如下：
老本优化通过应用图片、视频压缩能力升高存储及流量老本、晋升终端体验
版权保护借助明文水印、盲水印等能力无效爱护图片资源版权，守护企业、用户的无形资产
内容生产提供丰盛的内容生产能力，如智能封面、标签辨认、海报生成等，助力客户输入爆棚
危险躲避针对存量或增量数据均可进行敏感内容审核，躲避舆论或经营危险

客户案例

案例详情~ 小红书

应用数据万象的图片根底解决，可做到一份原图，多尺寸展现，满足客户多种业务场景下的图片需要;
应用数据万象的图片格式转换能力，在图片保证质量的前提下，无效的升高压缩图片的大小;
应用数据万象的盲水印性能，将水印图以不可见的模式增加到原图信息中，保障了客户对图片的所有权;
应用数据万象的异样图片检测性能，帮客户辨认出夹杂在失常图片视频中的黑产文件，无效缩小了被盗刷的危险;

案例劣势 && 客户效益

效率最佳: 图片下载主动触发，缩小了频繁的人工解决流程。
性能保障: 缩小了图片存储空间和拜访流量的 50% 以上，同时晋升了客户访问速度。
平安保障: 解决了盗图维权，流量盗刷等问题，保障了平台的安全性。
节约老本: 多种性能保障了在保质保量的状况，无效升高客户老本 30% 以上。

结语

数据万象继续丰盛数据处理的相干能力，为广大客户及开发者带来更加优质、先进的应用体验，打造智能存储生态。将来咱们会推出【数据万象带你玩转视图解决】的系列文章，从后盾技术、产品劣势、算法能力等多个方面具体介绍数据万象背地的丰盛数据处理能力，诸位看官敬请期待！