乐趣区

关于直播:从直播硬件出发浅析直播技术到物联网设备的智能化趋势

jiezi

前言

直播有集体直播（泛娱乐直播）和企业直播（商业 & 商务直播）之分；集体直播的投入成本低，一部手机便能够随时随地开播，且各直播 App 有足够多的直播辅助工具来帮助开播，对增值服务需要不高；企业直播考究标准，有专门的直播间，投入的人力物力很大，直播影响面宽泛，对业余的直播硬件，PaaS，SaaS 等软件服务以及经营领导，售后服务等多种增值服务都有明确诉求，故本次剖析基于 TO B 的企业直播业务开展。

作者：秦宓

1. 直播市场调研

背景

全世界的经济因疫情一直放缓，企业竞争强烈，企业开源节流，降本增效的外围诉求越来越强，而数字经济也在疾速倒退，逐步成为新的经济增长能源；企业直播能推动企业的生产，经营等多个环节的价值晋升，管制和节约老本，帮忙企业流传，触达更多的用户，从而减速企业的数字化转型。

材料起源：艾瑞征询《2021 年中国企业直播服务行业倒退钻研报告》

直播参与方

  1. C 端用户：信息获取，休闲娱乐，购物等；
  2. B 端企业：培训，会议，经营，营销等；
  3. 直播服务商：直播硬件，软件，云服务，数据服务，营销服务，办公协同等。

B 端企业的直播场景

从教育，金融，汽车，医疗，互联网，传媒，家居，地产等多个垂直行业，从几十人的小企业到上万人的大型企业，企业直播都在疾速利用；企业直播有对内，和对外双重需要；对内次要进行企业培训，会议会展，企业宣传；对外进行产品介绍，赛事直播，电商带货等。

B 端企业对直播的诉求

相比于私有云，企业更心愿交融了私有云和公有云的混合云模式，在获取私有云的低成本性能迭代和稳定性能的同时，放弃对业务定制的能力；兼具 PaaS 和 SaaS 个性的 aPaaS 服务能更好地满足企业搭建直播零碎的须要（甚至是企业搭建本人的视频中台），aPaaS 提供的低代码，可扩大，弹性伸缩的能力让企业的直播服务能够进行更好地定制化；同时低提早，超高清，高并发，高安全性是掂量用户体验的重要指标。

直播服务商的架构与生态

直播服务商提供了上游，中游，上游的一站式解决方案，同时一直地集成 CRM，HRM，协同办公，数据服务等企业级服务，让直播服务与其余企业级服务产生协同效应，打造以直播业务为外围的企业服务生态。

材料起源：艾瑞征询《2021 年中国企业直播服务行业倒退钻研报告》

IoT 定位和机会在哪？

IoT 基于本身定位和技术劣势，更有可能在上游提供直播所需的 CDN 散发，智能审核，转码，点播等根底能力，同时在中游聚焦智能化直播硬件，直播 PaaS（iPaaS，aPaaS），数据分析服务等方面的研发；在生态协上集成钉钉办公服务，友盟营销服务等来为直播服务商提供有竞争力的外围能力，先 TO B 再 TO C，输入有竞争力的外围软硬件能力来为直播服务商赋能。

2. 直播相干技术

直播相干的技术波及到根本的设施端的推拉流以及对应协定，云端的转码，审核，水印等性能；也蕴含运行在设施端和云端的一些 AI 算法能力。

直播服务流程

  1. 主播端：采集封装好的音视频直播流被推流 SDK 推送到直播服务中心；
  2. 服务端：推送的视频流通过 CDN 散发节点进行减速，以此来保障上行传输的稳定性；
  3. 服务端：视频流推送至多媒体直播核心后，可按需对视频流进行转码，录制，截图，平安审核等解决；
  4. 观众端：解决好的视频流通过 CDN 散发节点下发至观众的设施中进行播放；
  5. 观众端：直播视频还能够在云端录制下来后转至点播零碎提供点播服务。

多媒体框架

FFmpeg：

  • 集录制，转换，音 / 视频编码解码性能于一体的残缺开源解决方案；
  • 反对视频采集，视频格式转换，视频抓图，视频加水印，将音 / 视频转化成流；
  • 可将摄像头的视频，麦克风的音频以指定格局（如 FLV）来进行 RTMP 协定的推流；
  • 反对协定：HTTP，RTP，RTSP，RTMP 等。

外围模块：

  • 读 / 写设施数据模块：libavdevice；
  • 音 / 视频编解码模块：libavcodec（codec =enCode（编码）+ deCode（解码））；
  • 音 / 视频格式打包和解包模块：libavformat；
  • 播放器（用 ffmpeg 解析和解码，能够用拉流播放）：ffplay。

编码（压缩解决，便于存储和传输）格局：

  • 视频：H.262，H.264，H.265（有版权）；VP8，VP9，AV1（无版权）；
  • 音频：MP3，AAC 等；
  • 罕用编码器：
    视频：libx264（H.264 格局），libx265，libvpx（VP8，VP9 格局），libaom（AV1 格局）；
    音频：aac（AAC 格局）

推拉流流程：

硬件加速编解码：

  • FFmpeg 通过 hwaccel cuda，h264_cuvid，hevc_cuvid 和 h264_nvenc，hevc_nvenc 模块反对硬件加速编码和解码（存在 NVIDIA GPU 状况下），硬件编解码器能产生与软件编解码器雷同的输入，但可能应用更少的功率和 CPU；
  • 硬件编解码用到 GPU 解决能力，省电，性能快，分担 CPU 压力和缩小 CPU 发热，因为不同硬件平台的芯片性能和接口参数不一样，须要硬件厂商在硬件和软件层面做适配；软件编解码不必 GPU，次要通过 CPU 进行的编解码，耗电，性能较差，但对各个硬件平台的兼容性强；个别的直播平台都会基于设施的具体配置做自适应来保障直播成果。

罕用直播协定

RTMP（Real Time Streaming Protocol）

  • Adobe 实时音讯传输协定，基于 TCP 长连贯，反对 FLV 格局的间断视频流（收到数据立即转发）；
  • 低延时（1~3S），但在 iOS 平台上没有提供原生反对 RTMP 的播放器；
  • 默认应用 1935 非公共端口，易被防火墙拦截，在 iOS 端须要应用第三方解码器；
  • 适宜用在推流端和拉流端双端。

HTTP-FLV（HTTP Flash Video）

  • 基于 HTTP 长连贯的 RTMP，低延时（1~3S），反对 HTML5；
  • 将音 / 视频数据封装成 FLV 格局，而后通过 HTTP 协定传输；
  • 联合了 RTMP 的低延时，以及复用现有 HTTP 散发资源的流式协定；
  • 实时性和 RTMP 相等，与 RTMP 比省去局部协定交互工夫，首屏工夫更短，可拓展的性能更多；
    HTTP-FLV 个别用于拉流播放。

HLS（HTTP Live Streaming）

  • Apple 视频直播技术，反对 m3u8 格局的切片视频流；
  • 在服务端收集一段时间的流媒体并切割，生成间断的 ts 切片文件，并更新 m3u8 索引；
  • 提早性高（5~20S），基于 HTTP 短连贯，须要一直地与服务器建设连贯，反对 HTML5；
  • 因为是基于 HTTP/80 传输，能无效防止防火墙拦挡；
  • HLS 个别用于拉流播放或者回看。

直播相干算法

直播内容审核（云侧）

  • 因为内容量微小，人工审核老本高，AI 审核能够基于鉴黄，暴力，恐怖等内容进行过滤。

个性化举荐（云侧）

  • 面向被动搜寻，或场景辨认的个性化举荐，基于实时趣味进行相干内容举荐。

广告营销（云侧）

  • 基于直播视频内容，场景等进行广告推广，进行直播内容的商业化变现。

直播美颜（设施侧）

  • 直播美颜（美白，磨皮，贴纸，滤镜），美型（关键点检测，五官调整）等；
  • 设施侧算法推理须要在满足成果的状况下兼顾实时性要求，同时要适配不同的硬件配置。

3. 直播一体机诉求

传统基于手机的直播存在各种各样的问题，市面上始终有对直播一体机这样的业余智能设施的诉求，用来进行直播流动的全流程性能管控和提效。

传统直播道具存在的问题

  1. 手机直播发热卡顿，直播画面小，和粉丝互动不不便，也不能拓展到其余高端业余的直播外接设备；
  2. 配齐手机，电脑，大屏同屏器，导播台，编码器，音控台等设施进行直播，协同麻烦，操作过于简单；
  3. 简单的设施协同须要多人参加来进行一场直播，人力老本贵；
  4. 直播间装璜，须要设计，资料，人工等额定费用，且不能一键随便切换来扭转直播间的背景；
  5. 无奈同时反对多机位，多个摄像头之间无奈协同工作，实现远 / 远景，产品特写，画中画等成果。

直播一体机可集成性能

  1. 集多功能于一体：集成导播台，编码器，采集卡，监视器，音控台，同屏器，提词器于一体；
  2. 实时抠图性能：一键可切换直播背景，免去直播间的装修；反对图片，PPT，视频作为直播背景；
  3. 多机位可切换：全景，远景，特写机位，能够多角度出现直播的卖点；

  1. 反对多摄像头：能够反对 HDMI，USB 等多路摄像头接入；
  2. 反对一键开播：内置支流的如淘宝直播，抖音，快手，小红书等直播平台，能够一键开播；
  3. 多媒体接口扩大：可扩大单反，摄像机，微单，麦克风，声卡，键盘鼠标等多媒体设施；
  4. 近程 OTA 能力：零碎，性能（包含内置 App 降级，新装 App 等），性能等降级均可近程 OTA 降级。

直播一体机软硬件配置

硬件设施：

  • 直播一体机（安卓零碎，带 CPU，GPU 能力）；
  • 摄像头（反对多机位）。

辅助设施：

  • 灯光，无线麦克风，绿幕抠像布。

软件套件：

  • 集成绿幕抠图, 直播贴片, 多路导播，画中画，水印，机位切换，音频 / 画质调节，提词器等能力；
  • 软件可拆分为根底软件包与直播高级性能辅助包。

商业模式：

  • 硬件一次性洽购，软件套件能够按年收取服务费用。

由直播一体机需要到物联网设施智能化遍及的进阶

因为手机直播的有余带来的直播一体机的需要，推动了以直播硬件为载体的直播一体化残缺解决方案的诉求，而这还只是以后万千行业的冰山一角。目前 IoT（物理网）曾经在 AIoT（人工智能物联网）和 IIoT（工业物联网）两个方向上飞速发展；尤其是是在 AIoT 畛域，曾经渗透到社区，园区，城市，农业，商业等泛滥畛域，并逐步造成端，边，管，云一体化的各个细分方向的专业化解决方案。

硬件智能化便是这些解决方案的基石，被智能化的硬件本着数据就近生产，算力就近计算的准则，与边缘计算，云计算进行协同互联，推动了 AIoT 的减速遍及；将来在端侧，边缘侧将会有 120 亿的 IoT 设施，1500 亿的嵌入式设施，而这些都将是能够智能化的瘠田。

本调研从大家相熟的直播业务登程，拆解直播一体机这种智能化硬件设施诉求和组成。这样的智能化硬件曾经十分多了，如云 POS 机，云投屏机，电子智能秤，AI 摄像头，Vlog 互动屏，安防边缘一体机，商业客流剖析一体机，工业瑕疵检测一体机等，会逐个对以前已有的各种设施进行一遍智慧化的革新。

IoT 的时代永远不会到来，因为它从当初开始的每天都在一直地到来中，将来不论是在芯片硬件，操作系统，算法推理，数据分析，工程集成，云端监控 & 运维等都蕴含着巨量的机会，期待大家一起开掘。

「视频云技术」你最值得关注的音视频技术公众号，每周推送来自阿里云一线的实际技术文章，在这里与音视频畛域一流工程师交换切磋。公众号后盾回复【技术】可退出阿里云视频云产品技术交换群，和业内大咖一起探讨音视频技术，获取更多行业最新信息。

退出移动版