导读
本文从抖音团体外部画质评估体系的建设历程着笔，次要分享了 画质评测对于业务的重要性 、 次要利用场景 和外部产品的一些典型实际案例。通过分享业务视角遇到的一些问题和咱们的解决思路，心愿能抛砖引玉，为遇到相似困扰的搭档们提供有价值的参考。
画质评估体系建设历程
为何评测画质如此重要？
咱们通过线上业务大量试验发现，图片画质优劣对点击率、 停留时长等消费类指标有正相干影响 ，间接影响用户收益指标。因而， 建设一套卓有成效的画质评估体系，保障用户的画质体验是十分有必要性 的。
直观来讲，画质晋升可能为带来更好的观感体验，但 QoE 综合体验也须要思考其余方面如用户设施、网络情况、观看环境等多方面因素，不计成本地晋升画质是否能继续为用户带来 QoE 的收益须要在业务场景中通过谨严的试验计划来验证成果的。
在低质图像打压和基于画质的举荐优化等多项业务中的数据分析积攒积淀，咱们获取画质评分与用户主观体验之间的明确关系，数据统计显示用户对不同画质内容的敏感水平有着不同趋势，在中档画质分区间继续晋升画质，用户的 QoE 体验也会显著晋升，但当画质低于或者高于某个阈值时，用户对于画质将变得不再敏感，晋升 / 升高画质对用户的影响均会升高。
<div style=”text-align: center”> 冀望中的画质甜点关系，中段区间的画质晋升会继续带来 QoE 收益 </div>
<div style=”text-align: center”></div>
<div style=”text-align: center”> 理论业务场景中，剖析画质与用户均匀观看时长的关系，中高画质能够带来继续的看播收益 </div>
下图具体形容了两类典型利用场景下，画质评估体系在业务实际中施展的次要价值：
咱们为何自研画质评估体系？
图像服务的最终用户是人类，图像品质评估致力于成为 可掂量图像的人眼感知品质需要的主观计算方法。
行业现状
- 主观 品质评估：最精确，但费时费力费钱，难以批量利用。例如专家评测、众包测试等。
- 主观 评估算法：省时省力可大规模利用，但无论全参 / 无参考算法与主观评测均存在肯定 GAP，在 UGC 场景，差距会更加显著。
业界罕用的有参画质评估算法，次要包含 PSNR、SSIM、VMAF 等 3 种：
痛点
- 难以量化画质加强成果：行业通用指标（PSNR、SSIM、VMAF 等）均为有参考画质指标，次要实用于压缩失真的画质评估，难以量化评估画质加强成果。
- 不适宜 UGC 场景的评分：行业通用指标实用场景存在肯定局限性，其训练数据集次要为 PGC 内容，在 UGC 场景的泛化成果较差。
- 评估维度无限：UGC 场景下，图片内容简单且画质影响因素多样，须要更多维度评估指标用于画质剖析和领导优化。
咱们如何建设画质评估体系？
依据点播、直播和图片等不同状态业务需要，视频架构多媒体实验室自研的 VQScore 画质体系提供配套最优的全链路画质打分能力，提供异步或实时画质打分数据，为后续转码、加强、举荐策略和大盘监控提供能力反对。
具体画质剖析打分能力分为两个局部：
- 内容分析了解：次要蕴含 ROI 检测、CG 内容检测、人脸检测、内容分类等根底分类和检测的能力，为后续画质打分和加强转码提供细分的维度拆解能力和要害内容辨认能力，实现精密精确的端到端自适应加强转码组合能力
- 画质打分能力：次要蕴含通用清晰度打分算法、美学指标、高阶色调指标、人像画质等评估指标，噪声、块效应、过曝、脏镜头、含糊和伪高清等细分归因指标，以及超分品质、锐化品质和加强组合评估等前解决画质晋升能力评估指标，通用 + 归因 + 加强多个维度组合，为不同的业务场景的画质优化需要提供集监控、剖析、策略举荐等全方位画质打分能力
通用的画质清晰度评估算法基于多样化多业务场景主观标注样本、开源数据集和多样化失真合成数据集，驱动的轻量 transformer-based 深度学习的计划，在 UGC 视频 / 图像场景提供更稳固精确的主观清晰度预测能力。
在多种业务场景下，依据点播、直播和图片不同状态业务需要，反对最高 4K 分辨率内不同投稿内容的源画质剖析，联合业务属性维度提供深刻细化的画质维度剖析，为自适应转码提供编码优化比照和不同时间尺度的画质监控，为 AB 试验和版本迭代等业务流程提供无效的 QoE 维度数据，同时也能够为多分辨率 / 码率档位播放下发提供画质与 QoS 网络、设施等因素组合组合的自适应播放散发优化能力。
抖音画质评估体系有哪些劣势？
适用范围宽泛
- 高质量且规模宏大的训练数据集，笼罩 PGC 和 UGC 内容，适用范围宽泛（特地针对 UGC 场景）。
- 算法模型历经亿级 DAU 产品继续打磨优化，泛化能力强。
评估维度多元
蕴含主观清晰度、公众美学品质等 2 类综合指标和噪声、亮度等十余类细分指标，反对更多维度、更细粒度地剖析画质问题，便于业务有针对性地进行优化和调整策略。
多业务线上验证收益显著
历经抖音、头条、番茄小说等数十个大体量业务线上验证，评估成果牢靠，能无效反对业务进行画质体验晋升，进而带来用户生产指标晋升，收益显著。
算法能力业内当先
画质评估体系波及的算法模型已申请多项专利。eg. 一种检测伪高清视频的办法，一种基于多任务孪生神经网络的高阶视频色调品质评估模型，一种三明治视频自适应播放办法等。
在 ICME 2021 的「压缩 UGC 视频品质评估」较量中，火山引擎 - 多媒体实验室凭借自研的 VQScore 算法斩获无参考视频品质评估（NR-VQA）MOS 赛道第一名。（具体介绍）
该较量次要针对 UGC 源视频画质和 H.264/AVC 压缩失真对视频主观画质的影响的钻研。
画质评估次要利用在哪些场景？
以瘦身打算和体重秤之间的关系做个简略类比，画质评估体系作为一套绝对主观且卓有成效的评测工具，在帮忙产品理解业务画质现状、理解行业和市场现状、监测线上画质变动和反对晋升用户体验等方面都有十分宽泛的利用。
1. 理解业务画质现状
业务团队能够借助 veImageX 提供的画质评估工具，通过离线测评和在线评估等伎俩高效实现业务产品的画质摸底；同时，画质评估体系蕴含丰盛的评测维度（例如噪声强度、色调品质、块效应检测、过曝光检测等），数十项细分评测指标可高效帮忙业务团队实现低质图像归因剖析，疾速锁定问题所在。
2. 理解行业 / 市场现状
借助画质评估工具，能够帮忙业务团队对市场主流产品或同类业务进行画质评测，以便制订正当的画质晋升指标；同时，综合用户主观评测和主观指标的对应关系，高效帮忙业务团队确定适宜本身业务的画质评估规范。
3. 监测线上画质变动
对于一款关注用户画质体验的产品来说，线上画质监测工具必不可少。而 veImageX 提供端到端的画质指标监测工具，可帮忙业务团队长期高效监测线上画质变动；通过前后数据比照剖析，帮忙业务无效验证画质优化动作的成果；同时，线上低质问题告警也可帮忙业务团队及时发现问题，保障线上用户浏览体验。
4. 反对晋升用户体验
借助画质评估体系提供的评测后果，业务团队能够通过对低质图片进行搜寻 / 举荐降权等形式打压低质内容，或借助画质加强能力晋升画质，无效晋升用户的浏览体验，进而带来点击率、人均浏览 / 生产时长、用户留存等业务指标正向晋升。
典型案例实际分享
目前，由火山引擎 veImageX 提供的画质评估工具已服务于抖音、头条、西瓜、番茄小说、懂球帝等数十条业务线，在保障用户的画质体验方面施展着重要作用。接下来，咱们选取了几个典型案例为大家简要分享咱们的实践经验。
某短视频 / 社区平台
需要背景
某短视频 / 社区平台是次要用户散布在多个国家和地区，公布内容笼罩多个细分垂类。业务团队收到局部用户反馈关注到不同国家和内容垂类间的画质存在肯定差别，影响了用户的浏览体验，从而设立专项进行问题解决。
实际计划
业务团队首先应用画质评估工具对全地区的图片画质进行了离线摸底剖析，发现局部国家间、某些重点垂类间的图片画质有较大差别，故应用自适应加强模型，针对性进行画质晋升的同时尽可能节俭码率。
整体收益
优化后，该平台各地区间、重点垂类间的画质根本拉齐且均达到【良好】及以上程度，图片大小显著升高，人均停留时长、人均互动、人均浏览时长、人均 session 次数 等生产指标均 显著正向。
番茄小说
1. 需要背景
相比于网文，漫画的书封更加精美，信息量也更多，因而在产品状态上，番茄小说频道采纳了大屏的展示模式。然而，在漫画性能上线后，业务团队发现，有局部漫画的原始书封比拟含糊，重大影响用户浏览体验。如下图所示：
为了晋升这部分图片的画质，业务团队想到了通过画质评估筛查低质图片，应用画质加强能力搭建自动化解决流程，针对性解决低质图片，失去高清图，以晋升整体观感。
2. 实际计划
业务团队应用 veImageX 画质评估工具，针对 出版物（如小说封面、插图、电子书书封、有声播放器封面等） 和 漫画（漫画封面、横图等） 等场景进行离线画质测评，对不同分辨率图片进行画质摸底。依据对低质起因的剖析和加强算法对主观画质晋升的收益大小综合评估，明确差异化的解决计划。最终业务团队抉择搭建自动化解决流程，依据评估后果对不同画质等级的图片进行如自适应加强、超分等优化解决，针对性晋升用户的画质浏览体验。
低质图片优化前后比照如下：
3. 整体收益
番茄小说团队借助 veImageX 画质评估和画质加强能力，对症下药的晋升画质，无效 晋升了用户画质体验 和点击率、人均浏览 / 生产时长、留存 等用户生产指标。
今日头条
需要背景
头条小视频频道次要以双列展现为主，而双列流频道展示模式又以封面图为主。综合线上试验后果和实践经验发现，封面图的画质品质不仅会影响用户浏览体验，也会影响点击转化率和用户留存等业务指标，如何无效辨认封面含糊的内容并进行打压调控成为一项较为辣手的工作。
实际计划
借助画质评估工具，业务团队对封面图进行画质打分，高效辨认出低质封面（blockiness ≥ X 且 vqscore < Y）并履行打压调控策略；同时将 vqscore 纳入举荐模型的参考指标，给优质内容提供更多优先曝光机会。
整体收益
业务团队通过对低质封面图进行打压调控，人工评估封面优质率晋升约 3 倍 ， 封面低质率升高了约 36.7%，含糊封面图占比升高了约 51.4%，人均阅读数、 停留时长 、点击转化率等业务指标也失去显著晋升。（数据来自业务 AB 试验）
幸福里 VR
需要背景
幸福里房产 VR 能力在建设初期，因素材供应起源多样且渠道纷杂，品质参差不齐，频繁收到线上用户反馈；图像品质把控次要依附人工审核、定期抽检和线上反馈，不仅消耗人力且评估主观，对全景图不足有区分度的数据指标量化掂量图像品质和行业领先水平的差距，导致业务团队难以高效定位画质问题并针对性的改善和评估优化成果。
实际计划
通过对线上样本数据进行离线画质摸底并综合算法专家建议，业务团队最终选定 清晰度 （ VQScore ）、噪声（Noise）、亮度（Brightness）、过曝光（Overexporsure） 等四项指标作为全景图量化评估指标。评估发现简装、简装、毛坯等三种装修类型存在 显著画质差别 ，要害差别与 环境光线、灯光照明 等因素有较高关联，业务团队针对性进行迭代优化并监测画质指标变动，显著晋升了 VR 看房成果。
整体收益
业务团队通过画质评估工具，定位具体的画质问题，针对性进行迭代优化以放大和行业领先水平的差距 ；同时借助 veImgaeX 提供的 VR 画质加强能力， 显著晋升全景图画质 ， 阶段性实现用户 0 客诉 ， 补救了前端采集设施品质错落 等问题。
写在最初
本文简要介绍了抖音团体外部对画质评估体系的业务思考、建设历程、利用场景和局部实践经验。因为篇幅所限，本文对摸索历程、具体实现等细节内容有所省略，但仍心愿能给业内同仁们一点启发或者参考借鉴。
火山引擎 veImageX 已全面集成上述画质评估体系，综合素材托管、压缩、智能解决和散发能力提供一整套图像解决方案反对全行业应用。应用他们产品也能够有邀请码哟，
通过这个邀请码应用火山引擎的 imagex 还有非凡优惠，享受百元资源包折扣优惠；
邀请码：LN4GHD，首次开明 imagex 时，选填邀请码能够填入这个；
最初，十分欢送有相似需要或教训的搭档来一起探讨交换，期待和大家共同进步！
文章为原创文章，若有侵权请分割；