前言
在本系列的第一期咱们介绍了图片 AVIF 压缩，作为最前沿的压缩技术，AVIF 的确有着有数的长处。但时代的提高是循序渐进的，在一些较老的终端或设施上，可能短时间内的确无奈反对 AVIF 格局，那如何能让这部分业务享受到时代的红利？
对此，数据万象推出了基于最通用的 jpg、png、gif 等图片格式的压缩能力——图片极智压缩，能够在不扭转图片格式的状况下，大幅减小图片大小，并保障图片视觉上的无损查看。
图片压缩与主观视觉
最晚期的时候，最先呈现的图片压缩算法是无损压缩算法，这些无损压缩算法应用 lz77 系列的算法来对图像数据做压缩，因而压缩性能无限。
起初有心理视觉钻研示意，人眼对图像的主观视觉存在大量的冗余，如果对图片中的一些数据进行扭转，但管制信息损失的水平，能够使得人眼对图像的观感简直不变，因而呈现了有损压缩算法。
有损压缩算法，能在人眼主观视觉无损或者损失受控的前提下大幅压缩图片文件体积，次要是利用人眼对不同频率信号的敏感水平差别，通过损失高频信息来缩小图片信息量，从而能将图片文件体积压缩到更小。
图 1. 依据心理视觉钻研失去的 CSF 函数坐标图：横轴示意空间频率，纵轴示意敏感度
可见，高频信息频率越高人眼的敏感水平越低。
以有损压缩中的关键步骤 DCT 变换 + 量化为例，将图片按 8×8 做切分并做 DCT 变换，保留不同长度的 DCT 系数再做还原的视觉效果如下：
图 2. 最左侧为原图，8×8 的分块做 DCT 变换后共有 64 个频率系数示意从低频到高频的信息，两头和右图别离为保留低频局部 10 个系数和 1 个系数的成果
可见在只保留一个系数的状况下每个 8×8 的分块进化成了纯色块，而在保留 10 个系数的状况下图像和原图相当靠近，可见在损失了大部分高频信息的状况下，图像的主体内容并没有受到大的影响。
人眼对色调信息的感触存在很多冗余，例如人眼对叠加在彩色背景上的蓝色信号和叠加在黄色背景下面的蓝色信号（黄色 + 蓝色 = 红色）敏感度不同，如下图所示：
图 3. 左右两边的形态，亮度值完全一致
能够看到，下面左边图的第三行字“你好！”简直不可见，但对于图像编码中的计算而言两边是统一的，这些不被留神到的信息也会被编码到图像当中，占用文件的体积。因而能够通过滤除非敏感的信息来缩小待编码的信息量，达到减小图片文件体积的目标。
图片压缩技术的出发点是升高主观视觉冗余和升高数据冗余，目前的压缩形式根本都会扭转图片编码的形式，从而扭转图片的格局，通过升高更多的数据冗余来晋升压缩能力。
然而在一些较老的终端或设施上，可能短时间内无奈反对前沿的图片格式，如何在不改版图片格式的前提下，通过升高主观视觉冗余，实现肯定的图片体积节俭，正是极智压缩的钻研方向。
图片的主观品质
在图像的有损编码中，品质参数管制的其实是图像信息的损失水平，但不同内容的图片在按雷同的形式损失信息后的主观品质不同。
失常的编码算法按照品质参数的大小总是优先损失高频信息，而依照 CSF 函数人眼对高低频信息的敏感度并非是齐全枯燥的，因而雷同的品质参数无奈保障统一的主观品质。
图 4. 左右两张图片应用同样的 jpeg 编码品质，但内容简略的图像（右）主观品质更高
通常来说品质参数越高损失水平绝对越小，因而为了保障不呈现低主观品质的图片，须要对所有图片设置较高的编码品质参数，从而使得大量图片高于指标主观品质，导致图片文件大小产生了冗余。若能依据图片内容自适应编码品质参数，将能保障统一的主观品质的同时，管制图片文件的大小。
因而，通过前解决技术滤除人眼绝对不敏感的信息，以及对不同内容图像自适应编码参数，能够无效地减小图片文件的体积。
极智压缩技术原理
1、设计主观品质评估模型
极智压缩的开发须要依赖主观品质数据集，咱们认为以后的公开数据集在数据规模和标注品质上均有较多改良空间，因而自建了大规模、高质量的主观品质数据集。总共采集 100 万条公开图像数据，并在色调、纹理复杂度等主观维度上对数据做平衡，使多个主观维度上的数据分布尽量平坦，筛选后造成 20 万条待标注数据。在人工标注环节，通过管制标注硬件环境、让标注人员在标注前学习样例、间断标注一定量后强制劳动来保障标注品质。并且在待标注数据中埋入测试数据桩，再对标注后的数据进行荡涤，剔除掉异样的标注数据。最终造成超过 500 万人次标注记录的高质量人工标注数据集。
因为人眼主观视觉的复杂性，传统的繁多维度质量指标难以与人工标注值相吻合。因而以后业界的方向是综合多个维度的指标来对人工标注值做拟合，或者间接应用深度学习的办法。深度学习办法实践上能拟合简单的函数，适宜用来模仿人眼对图像品质做打分。咱们基于图像的分类模型，改良了数据预处理流程、视觉注意力机制和模型训练策略等，重复迭代后造成了主观品质评估模型。
为了考查自研模型的先进性，咱们应用自研模型的网络在 KonIQ-10K 和 SPAQ 公开数据集上别离做训练并与多个公开办法做了比拟，从后果来看自研模型的体现超过了公开的 SOTA 模型。
图 5. 自研模型在 KonIQ-10K 和 SPAQ 公开数据集上的后果
在自建的人工标注主观品质数据集上训练后达到了 0.939 的 PLCC。应用该模型制作主观品质评估工具来驱动极智压缩算法的设计开发，保障了极智压缩的成果。
图 6. PLCC 0.939
2、去噪、色调量化等前解决技术
通过前解决技术滤除人眼主观不敏感的高、低频信息以及绝对冗余的色调信息，使得同样的编码品质参数下输入的图像体积减小，并且放弃主观品质根本不变。即便对 PNG/GIF 这样的无损编码格局也能应用解决技术缩小信息量，来升高图片文件体积。
例如 JPEG 等有损压缩格局，噪点程度会对文件大小造成很大影响，大多数时候噪点是图像中的烦扰因素，并且人眼对噪点不敏感，因而能够对图像做适当的去噪解决，能够升高编码后的文件大小；而对于 GIF/PNG 这样的无损压缩格局，色调数量对文件大小会造成很大影响，如果去除一些人眼绝对不敏感的色调则能大幅升高编码后的文件大小。
通过对解决前后的图像应用主观品质工具进行评分，管制评分的差别能够防止解决算法适度伤害主观品质。
如下所示，原图和解决后的图像相比，尽管色调的数量大幅降落了 99%，但在观感以及主观品质工具的评分上是十分靠近的。
图 7. 原图（左）蕴含 46752 种色调，品质工具评分为 6.17；解决后的图（右）只有 256 种色调，品质工具评分为 6.0
3、依据输出图像的主观品质智能抉择编码参数
在有牢靠的主观品质评分工具的状况下，能够应用搜寻的形式，即先应用默认的编码参数做编码，再依据主观品质工具评分来调整编码参数，反复这个过程最终找到与预期品质对应的编码参数，但这样会做屡次编码和评分，耗费大量的算力并且时延较大。所以最正当的形式是应用预测的形式，依据输出的图像间接失去适合的编码参数。这里咱们设计算法剖析输出图像的画面复杂度、编码伤害水平以及对图像做后面提到的主观品质评分，应用这些特色，通过深度网络学习到内容特色与适合编码参数间的关系，从而做到图像编码参数的智能抉择。应用预测的参数编码图像的主观品质工具评分与预期分数的差别小于 0.5 的概率超过了 95%。
图 8. 编码参数自适应流程 极智压缩图片成果比照
图 9. jpg 原图（上）2.3MB；jpg 极智压缩图（下）1.2MB
图 10. png 原图（左）1.4MB；png 极智压缩图（右）0.6MB
从下面的示例图能够看到，在通过压缩后，图片原有尺寸均不变的状况下，压缩后图片简直能够跟原图无缝连接，在体积均减小了约 50%，压缩成果十分显著。
数据万象图片极智压缩的应用办法
图片极智压缩与 COS 进行了深度的集成，可在服务开启后，间接拜访原图链接，不加工作解决参数即可获取到压缩后图片。
应用前提条件
须要先开明数据万象图片极智压缩性能，您须要在已绑定数据万象服务的存储桶中，开启图片极智压缩性能。
注意事项：以后极智压缩仅反对在上海和北京地区的存储桶开明应用。
操作指引
1. 登录对象存储控制台，抉择指定存储桶（北京或上海地区的），而后抉择界面右边红框内“数据处理”，再抉择“图片解决”，找到图片极智压缩，而后点击编辑，开明后保留即可。
- 抉择该存储桶的一张图片，复制图片链接，比方：https://XXXXXXX-1250000000.cos.ap-shanghai.myqcloud.com/test.png
- 间接拜访图片链接，即可获取压缩后的图片。
瞻望与总结
与先进的 AVIF 压缩相比，极智压缩解决了图片在较老终端拜访的兼容性问题，除了进步图片流传下载的效率，还能够在保障极高压缩性能的根底上保留更多的图像细节，大大晋升用户体验。
后续咱们将进一步改良图像处理算法，开掘更多视觉冗余，同时联合视觉 ROI 个性，通过适当抹除低关注区域的信息在等同主观品质下，使图片体积变得更小。
赶快来应用腾讯云吧，将图片存储在腾讯云 COS，通过数据万象将业务图片进行无感知的压缩！