乐趣区

关于直播:从直播硬件出发浅析直播技术到物联网设备的智能化趋势

前言

直播有集体直播(泛娱乐直播)和企业直播(商业 & 商务直播)之分;集体直播的投入成本低,一部手机便能够随时随地开播,且各直播 App 有足够多的直播辅助工具来帮助开播,对增值服务需要不高;企业直播考究标准,有专门的直播间,投入的人力物力很大,直播影响面宽泛,对业余的直播硬件,PaaS,SaaS 等软件服务以及经营领导,售后服务等多种增值服务都有明确诉求,故本次剖析基于 TO B 的企业直播业务开展。

作者:秦宓

1. 直播市场调研

背景

全世界的经济因疫情一直放缓,企业竞争强烈,企业开源节流,降本增效的外围诉求越来越强,而数字经济也在疾速倒退,逐步成为新的经济增长能源;企业直播能推动企业的生产,经营等多个环节的价值晋升,管制和节约老本,帮忙企业流传,触达更多的用户,从而减速企业的数字化转型。

材料起源:艾瑞征询《2021 年中国企业直播服务行业倒退钻研报告》

直播参与方

  1. C 端用户:信息获取,休闲娱乐,购物等;
  2. B 端企业:培训,会议,经营,营销等;
  3. 直播服务商:直播硬件,软件,云服务,数据服务,营销服务,办公协同等。

B 端企业的直播场景

从教育,金融,汽车,医疗,互联网,传媒,家居,地产等多个垂直行业,从几十人的小企业到上万人的大型企业,企业直播都在疾速利用;企业直播有对内,和对外双重需要;对内次要进行企业培训,会议会展,企业宣传;对外进行产品介绍,赛事直播,电商带货等。

B 端企业对直播的诉求

相比于私有云,企业更心愿交融了私有云和公有云的混合云模式,在获取私有云的低成本性能迭代和稳定性能的同时,放弃对业务定制的能力;兼具 PaaS 和 SaaS 个性的 aPaaS 服务能更好地满足企业搭建直播零碎的须要(甚至是企业搭建本人的视频中台),aPaaS 提供的低代码,可扩大,弹性伸缩的能力让企业的直播服务能够进行更好地定制化;同时低提早,超高清,高并发,高安全性是掂量用户体验的重要指标。

直播服务商的架构与生态

直播服务商提供了上游,中游,上游的一站式解决方案,同时一直地集成 CRM,HRM,协同办公,数据服务等企业级服务,让直播服务与其余企业级服务产生协同效应,打造以直播业务为外围的企业服务生态。

材料起源:艾瑞征询《2021 年中国企业直播服务行业倒退钻研报告》

IoT 定位和机会在哪?

IoT 基于本身定位和技术劣势,更有可能在上游提供直播所需的 CDN 散发,智能审核,转码,点播等根底能力,同时在中游聚焦智能化直播硬件,直播 PaaS(iPaaS,aPaaS),数据分析服务等方面的研发;在生态协上集成钉钉办公服务,友盟营销服务等来为直播服务商提供有竞争力的外围能力,先 TO B 再 TO C,输入有竞争力的外围软硬件能力来为直播服务商赋能。

2. 直播相干技术

直播相干的技术波及到根本的设施端的推拉流以及对应协定,云端的转码,审核,水印等性能;也蕴含运行在设施端和云端的一些 AI 算法能力。

直播服务流程

  1. 主播端:采集封装好的音视频直播流被推流 SDK 推送到直播服务中心;
  2. 服务端:推送的视频流通过 CDN 散发节点进行减速,以此来保障上行传输的稳定性;
  3. 服务端:视频流推送至多媒体直播核心后,可按需对视频流进行转码,录制,截图,平安审核等解决;
  4. 观众端:解决好的视频流通过 CDN 散发节点下发至观众的设施中进行播放;
  5. 观众端:直播视频还能够在云端录制下来后转至点播零碎提供点播服务。

多媒体框架

FFmpeg:

  • 集录制,转换,音 / 视频编码解码性能于一体的残缺开源解决方案;
  • 反对视频采集,视频格式转换,视频抓图,视频加水印,将音 / 视频转化成流;
  • 可将摄像头的视频,麦克风的音频以指定格局(如 FLV)来进行 RTMP 协定的推流;
  • 反对协定:HTTP,RTP,RTSP,RTMP 等。

外围模块:

  • 读 / 写设施数据模块:libavdevice;
  • 音 / 视频编解码模块:libavcodec(codec =enCode(编码)+ deCode(解码));
  • 音 / 视频格式打包和解包模块:libavformat;
  • 播放器(用 ffmpeg 解析和解码,能够用拉流播放):ffplay。

编码(压缩解决,便于存储和传输)格局:

  • 视频:H.262,H.264,H.265(有版权);VP8,VP9,AV1(无版权);
  • 音频:MP3,AAC 等;
  • 罕用编码器:
    视频:libx264(H.264 格局),libx265,libvpx(VP8,VP9 格局),libaom(AV1 格局);
    音频:aac(AAC 格局)

推拉流流程:

硬件加速编解码:

  • FFmpeg 通过 hwaccel cuda,h264_cuvid,hevc_cuvid 和 h264_nvenc,hevc_nvenc 模块反对硬件加速编码和解码(存在 NVIDIA GPU 状况下),硬件编解码器能产生与软件编解码器雷同的输入,但可能应用更少的功率和 CPU;
  • 硬件编解码用到 GPU 解决能力,省电,性能快,分担 CPU 压力和缩小 CPU 发热,因为不同硬件平台的芯片性能和接口参数不一样,须要硬件厂商在硬件和软件层面做适配;软件编解码不必 GPU,次要通过 CPU 进行的编解码,耗电,性能较差,但对各个硬件平台的兼容性强;个别的直播平台都会基于设施的具体配置做自适应来保障直播成果。

罕用直播协定

RTMP(Real Time Streaming Protocol)

  • Adobe 实时音讯传输协定,基于 TCP 长连贯,反对 FLV 格局的间断视频流(收到数据立即转发);
  • 低延时(1~3S),但在 iOS 平台上没有提供原生反对 RTMP 的播放器;
  • 默认应用 1935 非公共端口,易被防火墙拦截,在 iOS 端须要应用第三方解码器;
  • 适宜用在推流端和拉流端双端。

HTTP-FLV(HTTP Flash Video)

  • 基于 HTTP 长连贯的 RTMP,低延时(1~3S),反对 HTML5;
  • 将音 / 视频数据封装成 FLV 格局,而后通过 HTTP 协定传输;
  • 联合了 RTMP 的低延时,以及复用现有 HTTP 散发资源的流式协定;
  • 实时性和 RTMP 相等,与 RTMP 比省去局部协定交互工夫,首屏工夫更短,可拓展的性能更多;
    HTTP-FLV 个别用于拉流播放。

HLS(HTTP Live Streaming)

  • Apple 视频直播技术,反对 m3u8 格局的切片视频流;
  • 在服务端收集一段时间的流媒体并切割,生成间断的 ts 切片文件,并更新 m3u8 索引;
  • 提早性高(5~20S),基于 HTTP 短连贯,须要一直地与服务器建设连贯,反对 HTML5;
  • 因为是基于 HTTP/80 传输,能无效防止防火墙拦挡;
  • HLS 个别用于拉流播放或者回看。

直播相干算法

直播内容审核(云侧)

  • 因为内容量微小,人工审核老本高,AI 审核能够基于鉴黄,暴力,恐怖等内容进行过滤。

个性化举荐(云侧)

  • 面向被动搜寻,或场景辨认的个性化举荐,基于实时趣味进行相干内容举荐。

广告营销(云侧)

  • 基于直播视频内容,场景等进行广告推广,进行直播内容的商业化变现。

直播美颜(设施侧)

  • 直播美颜(美白,磨皮,贴纸,滤镜),美型(关键点检测,五官调整)等;
  • 设施侧算法推理须要在满足成果的状况下兼顾实时性要求,同时要适配不同的硬件配置。

3. 直播一体机诉求

传统基于手机的直播存在各种各样的问题,市面上始终有对直播一体机这样的业余智能设施的诉求,用来进行直播流动的全流程性能管控和提效。

传统直播道具存在的问题

  1. 手机直播发热卡顿,直播画面小,和粉丝互动不不便,也不能拓展到其余高端业余的直播外接设备;
  2. 配齐手机,电脑,大屏同屏器,导播台,编码器,音控台等设施进行直播,协同麻烦,操作过于简单;
  3. 简单的设施协同须要多人参加来进行一场直播,人力老本贵;
  4. 直播间装璜,须要设计,资料,人工等额定费用,且不能一键随便切换来扭转直播间的背景;
  5. 无奈同时反对多机位,多个摄像头之间无奈协同工作,实现远 / 远景,产品特写,画中画等成果。

直播一体机可集成性能

  1. 集多功能于一体:集成导播台,编码器,采集卡,监视器,音控台,同屏器,提词器于一体;
  2. 实时抠图性能:一键可切换直播背景,免去直播间的装修;反对图片,PPT,视频作为直播背景;
  3. 多机位可切换:全景,远景,特写机位,能够多角度出现直播的卖点;

  1. 反对多摄像头:能够反对 HDMI,USB 等多路摄像头接入;
  2. 反对一键开播:内置支流的如淘宝直播,抖音,快手,小红书等直播平台,能够一键开播;
  3. 多媒体接口扩大:可扩大单反,摄像机,微单,麦克风,声卡,键盘鼠标等多媒体设施;
  4. 近程 OTA 能力:零碎,性能(包含内置 App 降级,新装 App 等),性能等降级均可近程 OTA 降级。

直播一体机软硬件配置

硬件设施:

  • 直播一体机(安卓零碎,带 CPU,GPU 能力);
  • 摄像头(反对多机位)。

辅助设施:

  • 灯光,无线麦克风,绿幕抠像布。

软件套件:

  • 集成绿幕抠图, 直播贴片, 多路导播,画中画,水印,机位切换,音频 / 画质调节,提词器等能力;
  • 软件可拆分为根底软件包与直播高级性能辅助包。

商业模式:

  • 硬件一次性洽购,软件套件能够按年收取服务费用。

由直播一体机需要到物联网设施智能化遍及的进阶

因为手机直播的有余带来的直播一体机的需要,推动了以直播硬件为载体的直播一体化残缺解决方案的诉求,而这还只是以后万千行业的冰山一角。目前 IoT(物理网)曾经在 AIoT(人工智能物联网)和 IIoT(工业物联网)两个方向上飞速发展;尤其是是在 AIoT 畛域,曾经渗透到社区,园区,城市,农业,商业等泛滥畛域,并逐步造成端,边,管,云一体化的各个细分方向的专业化解决方案。

硬件智能化便是这些解决方案的基石,被智能化的硬件本着数据就近生产,算力就近计算的准则,与边缘计算,云计算进行协同互联,推动了 AIoT 的减速遍及;将来在端侧,边缘侧将会有 120 亿的 IoT 设施,1500 亿的嵌入式设施,而这些都将是能够智能化的瘠田。

本调研从大家相熟的直播业务登程,拆解直播一体机这种智能化硬件设施诉求和组成。这样的智能化硬件曾经十分多了,如云 POS 机,云投屏机,电子智能秤,AI 摄像头,Vlog 互动屏,安防边缘一体机,商业客流剖析一体机,工业瑕疵检测一体机等,会逐个对以前已有的各种设施进行一遍智慧化的革新。

IoT 的时代永远不会到来,因为它从当初开始的每天都在一直地到来中,将来不论是在芯片硬件,操作系统,算法推理,数据分析,工程集成,云端监控 & 运维等都蕴含着巨量的机会,期待大家一起开掘。

「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实际技术文章,在这里与音视频畛域一流工程师交换切磋。公众号后盾回复【技术】可退出阿里云视频云产品技术交换群,和业内大咖一起探讨音视频技术,获取更多行业最新信息。

退出移动版