在线教育

当初市面上的常识付费零碎繁多，你能够说百花齐放，也能够说参差不齐，如果不具备肯定的业余素养，基本就无奈从中挑选出真正的好产品，劣币驱赶良币反而成为常态。 本文将从几个常见维度剖析一个好产品应该具备的基本要素，不吹不黑，不局限于常识付费零碎，心愿读者要有本人的思考，可能触类旁通。 （1）语言和软件版本是否支流编程语言咱们以PHP举例，目前应用的版本以 7.3, 7.4, 8.0 居多，过老或者过新都是不太适合的，如果还在用 7.0, 甚至 5.x 的远古版本，性能和安全性先不谈，找到下载的中央都不容易。 数据库软件咱们以MySQL举例，目前应用的版本以 5.7, 8.0 居多，如果还在应用 5.5，5.6 甚至 4.x , 那么我敢说你碰到古董商了。 框架和其它的一些中间件同样的情理，请读者自行补充。 （2）装置部署形式是否便当部署零碎的运行环境是个反复的体力活，所以当初比拟风行容器化和编排，把这些干燥和容易出错的环境都脚本化，所以 docker 之类的部署形式比拟支流，或者一个装置脚本实现全自动化装置。 如果你看到的部署文档是分步骤装置一堆软件，而后编辑一堆配置文件，而后导入导出一堆文件，祝贺你，你又中奖了，当然这也是比拟有成就感的事件，比方你享受了某些工具面板的图形化界面和屡次点击按钮的高兴。 （3）降级更新是否便当系统升级更新主打的也是主动，构想一下如果咱们更新windows零碎的时候，还要依照文档复制和替换文件，编辑文件，设置一堆配置项，我预计比尔盖茨早就被口水淹死了。 当下比拟支流的版本控制和文件降级是 GIT 这类形式。如果每次更新你都要上传文件，比拟异同，祝贺你，你中奖了。 比方当下数据库的数据迁徙根本都是 Migration 的形式。如果每次更新还要导入 xxx.sql 文件，祝贺你，你中奖了。 应用版本控制和数据 Migration 的形式最重要的一点是能够回滚，用过的都晓得，如果是手工替换的出点问题要拜天，工夫也来不及。 （4）数据是否主动备份数据的重要性这里就不强调了，如果那天你的数据库被黑客锁了，问你要高额的赎金，而你又没有最近数据的备份，要数据还是乖乖交钱？ 如果你碰到的零碎不能主动定时备份，更不用说备份到近程，或者只提供一个编程语言实现的备份工具（芝麻大小的数据对付用一用），祝贺你，你中奖了。 （5）整站迁徙是否便当站点迁徙也是要考量的重要指标，如果说服务器搬家又要反复后面的108个步骤，运行环境配置，零碎装置，导入导出等等操作，祝贺你，你中奖了。 当然你以这个当工作量向老板邀功，反复和体力劳动是个不错的抉择。 （6）零碎是否有本质更新如果一个零碎几年不更新，或者说好几个月不更新，当然也有假更新的（刷一刷依赖版本，改点阐明，无本质更新）。如果你碰到了这些，祝贺你，你中奖了。 （7）是否有技术支持技术支持是一个零碎良好运行的基本要素，软件系统也是须要颐养保护的，不可能从头到尾百分百良好运行。如果和你对接的只有客服经理，销售经理，遇到问题他们就给你丢一个“技术文档”（可能啥都没有），连个技术人员都找不到，祝贺你，你中奖了。 如果你正在考查或者筛选一个零碎，你能够参考我这提的这几点，如果有2点以上不达标，我倡议你放弃。 最初安利一下咱们自研的常识付费零碎，下面提到的要点都满足，当然不足之处期待你的发现和反馈。 酷瓜云课堂，依靠腾讯云根底服务架构，采纳 C 扩大框架 Phalcon 开发，致力互联网课程点播，互联网课程直播，局域网课程点播，局域网课程直播，垂直于在线教育解决方案。 我的项目文档运行环境搭建零碎服务配置客户终端配置意见反馈码云平台官网社区

在大部分的实时音视频场景下，最重要的是通话稳定性、画面清晰度、弱网抗丢包性能。但在教育场景中，音视频画面并不是首要、甚至有的场景能够不须要音视频画面，但唯独白板是教育场景中必不可少的一环。 白板在教育场景下不可或缺，以后市面上也有着十分多产品成熟、功能齐全的白板供应商。但当咱们深入研究白板在各个教育平台中的理论体现状况时，咱们发现了一个十分有意思的景象——优良的课堂体验，缩水的录制回放。 上课应用时，不少白板都能做到高质清晰体验良好。可一旦进入课程回放，受限于分辨率和录制计划自身，白板就会变得含糊、不能展现出实时绘制轨迹以及文件的动态效果，无奈还原课堂教学的实在过程。 01 头部企业的解决之道在发现了白板回放观看体验不佳的问题后，咱们走访和钻研了许多不同学科不同场景的教育平台，在沟通和调研的过程中，咱们发现曾经有不少头部企业曾经自研出了一套低成本高画质的录制计划。 在白板的录制中，以往的录制是将白板实时渲染成音视频画面，再对音视频画面进行录制。这样的录制计划绕不开输入分辨率的影响，低了就会含糊、影响观感，但上调分辨率则意味着接受翻倍的录制老本。 目前头部企业的做法是——实时记录白板信令操作，在回放时依据信令实时还原白板操作，将信令从新渲染成白板画面。绕开本来高分辨率下巨量的线上服务器资源耗费，同时在回放时让白板的内容完满的渲染还原进去。 惋惜的是，这套解决方案尽管在研发能力富足的头部企业中逐步遍及，但对于市场中研发能力尚不充沛的中小型的企业来说，白板录制的痛点却始终存在。 针对上述白板录制在内的各项痛点，即构科技推出了行业首套数据流录制PaaS计划。 02 数据流录制，让优质的解决方案服务更多企业数据流录制是将头部企业的自研技术进行优化加码所造成的一套便捷高效、接入即用的标准化PaaS计划，咱们冀望借此助力更多的教育企业实现降本增效，打造更优质的用户体验。 1. 信令录制&渲染还原，低成本完满复现课堂白板实况 数据流录制计划通过实时记录白板信令操作，在回放时通过SDK将信令从新渲染成白板画面。艰深来说，当用户点击回放时，有一个“机器人”关上了白板，并通过一份记录下老师全副操作的信令完满的将老师在白板上所有操作复现进去。 在将画面占比最大的白板通过信令的形式进行录制后，数据流录制也就在保障白板完满还原的同时，绕开了云端录制计划中大量的服务器资源耗费，为用户带来了可观的老本节俭。 在最外围的白板录制问题被解决后，咱们还从其余角度对数据流录制做了进一步优化。 2. 最大限度保留品牌特色，回放画面可设置 数据流录制反对对回放画面进行自定义设置，从背景、边框到水印logo，打造残缺的录制回放品牌UI，打造更强品牌影响力。 3. 平台自研性能录制，残缺还原课堂体验 依据学科品种的不同，各类课堂的模式也多种多样，在根底的白板+音视频之外，还存在着许多平台自研的性能，如：答题器、编程器、师生间互动礼物等。 数据流录制能通过记录信令的形式完满还原自研性能：在回放中，用户能够实在看到师生之间的礼物互动，感触真切的课堂气氛；或是关上答题器、编程器亲手实际，不错过任何课堂教学体验。 4. IM录制，交换过程清晰可见 如实记录课堂交换历史，精确清晰的展示课堂中的所有交换，不错过任何模式的沟通与解说，打消课程回放中的信息黑匣子。 03 音视频能力稳固牢靠，为更多企业带来优质服务ZEGO即构科技 成立于2015年，是寰球当先的实时音视频云服务商。团队领有20年行业技术教训积攒，全链路自研音视频引擎与实时网络，独创直播连麦。 ZEGO 服务寰球，已为 200 多个国家/地区提供一站式音视频云服务。服务笼罩至互动直播、在线教育、政企服务、社交娱乐、视频会议、游戏、金融、近程医疗、智能硬件等数百个利用场景。 即日起，即构科技推出高效便当，接入即用的规范PaaS解决方案：数据流录制，咱们冀望可能借此为更多的教育行业攀登者，提供更轻便省力行囊。 会议、游戏、金融、近程医疗、智能硬件等数百个利用场景。 即日起，即构科技推出高效便当，接入即用的规范PaaS解决方案：数据流录制，咱们冀望可能借此为更多的教育行业攀登者，提供更轻便省力行囊。

4月23日-25日，由中国教育配备行业协会主办的第79届教育配备展在厦门国内会展中心举办。作为赋能教育信息化的实时互动PaaS服务商，声网Agora应邀参会。展会现场，声网展现了基于实时音视频互动能力打造的“三个课堂”线上教学场景解决方案、承载“三个课堂”利用的互动录播解决方案，以及实时音视频在智能台灯、人脸闸机、电子班牌等教育硬件设施的利用，通过全套的教育信息化解决方案吸引了多家信息化服务商的关注。 声网展台也同样受到了行业治理部门相干领导的关注，中国品质万里行促进会教育配备业余委员会理事长沈英琪、秘书长周鲁俊、会员部主任王贯宇一行3人也来到声网展台，理解公司状况及产品特点。 中国品质万里行促进会教育配备业余委员会理事长沈英琪、秘书长周鲁俊参观声网展台 24日下午，声网在展会现场举办了“实时互动开启教育新风口”主题沙龙，邀请中国教育配备行业协会教育信息技术分会副理事长、秘书长，江苏省电化教育馆原馆长，南京大学客座教授尤学贵缺席领导。同时，还邀请了超星团体副总经理、超星团体研究院院长秦波澜、学乐云董事长陈冬华、全品AI教育创始人朱本福、奥鹏教育老师培训中心总监刘宇飞、环信解决方案总监王林、声网Agora SVP&合伙人李华、声网Agora 教育信息化负责人赵伟、声网Agora 教育信息化产品负责人郑昌辉等行业专家缺席沙龙，以主题演讲和圆桌论坛模式，独特探讨在教育信息化大背景下，将来实时互动与教育联合的新模式。 中国教育配备行业协会教育信息技术分会副理事长、秘书长尤学贵缺席沙龙 沙龙嘉宾合影 声网公布“三个课堂”解决方案，助力教育偏心提效去年3月，教育部印发《对于增强“三个课堂”利用的领导意见》，要求在2022年全面实现“三个课堂”在宽广中小学校的常态化按需利用。而在“三个课堂”的建设中，实时音视频互动技术是在线课堂的地基。 声网Agora SVP&合伙人李华在收场致辞时示意：“在过来一年里，咱们与在座各位一起探索性的推出‘三个课堂’解决方案，获得了一些初步成效。在国家教育偏心大策略下，如何疾速地从适应新局势到引领新将来，须要咱们大家一起来寻求扭转。用互联网、新技术的思维来突破传统的硬件、政策模式，咱们心愿与大家一起，顺应时代的要求，加大投入、疾速迭代，将来更好的推出服务社会的新产品，为国家新时代教育事业做奉献！” 声网Agora SVP&合伙人李华 “教育信息化服务商通过声网提供的RTC、RTM、互动白板、实时录制、水晶球等各个产品组合及预设的性能接口，配以业务端的开发，能够疾速搭建起‘三个课堂’。”声网Agora教育信息化产品负责人郑昌辉示意。 声网Agora教育信息化产品负责人郑昌辉 针对专递课堂农村教学点网络不稳固、教室声场环境差、运维老本高以及不同品牌设施无奈互联互通的问题。声网基于自建的软件定义实时网 SD-RTN™，对国内中小城市、偏僻农村、小运营商做专属网络优化，达到端到端优质传输率>99%，即便在弱网的状况下，也能保障课堂互动的实时性。 名师课堂中老师在线教研场景十分复杂，例如分散式在线教研，散布在不同场合；应用手机、Pad、PC等多样化硬件以及Wifi、宽带、专线等多种网络。因而，名师课堂的发展须要具备更优质的兼容性和稳固的高并发能力。声网“三个课堂”解决方案能做到弹性网络架构，反对千万级高并发，针对弱网环境能够优化传输算法及修包机制。更重要的是，能够反对Windows、iOS、Android等30多种框架平台，适配 20000+挪动终端。 目前大多数的名校网络课堂以CDN点播、直播形式为主，随着课堂互动需要的减少，该教学场景逐渐转变为实时互动直播。声网的极速直播产品能够代替原延时高的CDN计划，做到低延时、轻互动，低码高清产品还能保障主观画质不变的状况下升高50%码率，进一步放大区域、城乡、校际之间教育品质差距。 另外，为承载“三个课堂”利用，声网设计了互动录播解决方案，录播服务商无需从底层自研，间接通过调用接口方式实现实时互动，并且能反对Windows、Android、Linux等零碎，适配X86、ARM、高通等多种平台导播模块、录播主机。除此之外，声网的硬件解决方案还延长到了教育设施，如智能台灯、电子班牌、电子闸机等，能够做到全场景的适配和互联互通。 “实时互动是线上课堂老师和学生之间建立联系的基本特征，也是教学质量的保障。‘三个课堂’解决方案的推出，为信息化服务商建设在线课堂提供了高并发、高质量、超低延时的实时音视频互动能力，保障了直播互动学习的稳定性、晦涩度和互动性。”郑昌辉介绍。同时，对于无奈投入更多开发精力的信息化服务商，声网还提供aPaas产品灵动课堂，具备在线教学教研绝大部分前端罕用性能，服务商只须要对接自有的业务管理后盾，15分钟即可疾速上线定制化、全功能的在线互动教学平台，节俭90%开发工夫。 实时互动技术助推教育信息化高速倒退沙龙现场，到场嘉宾别离针对教学新生态、教育信息化趋势、智慧校园等主题分享了企业在教育信息化中的建设布局以及与声网在实时音视频技术局部的单干。 教育信息化的建设离不开即时通讯的撑持。环信解决方案总监王林介绍到，“即时通讯能够实现老师与家长、老师与学生的沟通，例如问题答疑、告诉下发、学生签到等场景，也能够在直播课中提供万人聊天室、万人群的能力。作为云通信厂商的咱们一直在优化、翻新，比方更丰盛的音讯格局、晋升群组聊天室性能、loT与教学的联合、营销与应用体验、AI的教育图谱，在麻利开发、智能硬件适配等畛域进行深耕，真正做到环信所谋求的连贯人与人和人与商业。去年环信与声网的RTE进行交融，这也帮忙咱们在游戏化教学、个性化教学等在线教育场景中，疾速实现实时音视频互动的能力。 环信解决方案总监王林 超星以微服务平台为底层架构，打造了包含智慧教学系统、在线考试零碎、教务管理系统、教学评估零碎、教学资源库的一体化教学解决方案，能够把整个教学过程买通，撑持不同的教学模式。超星团体副总经理、超星团体研究院院长秦波澜指出，“咱们原来也有一些直播零碎，然而偏单向的，去年疫情期间，随着师生对直播课堂互动需要的减少，咱们与声网单干打造了实时互动直播零碎‘超星课堂’，声网技术服务的低延时、高并发和稳固运行，撑持了咱们大用户量的应用。不论对于基础教育、高校还是网络远程教育的用户，都能提供很好的撑持。同时咱们还在课堂中联合进了教学场景的特色模式，比方签到、投票、测验等等，能够把残缺的教学轨迹保留下来。” 超星团体副总经理、超星团体研究院院长秦波澜 AI 智能和疫情减速教育行业颠覆洗牌，学乐云董事长陈冬华认为，将来教育信息化将出现教学化、学生化、数据化、集采化、购买服务化 5大新趋势，并且只有突破数据孤岛，实现数据互联互通能力更好构建智慧教学。“智慧课堂肯定要长在互联互通的平台之上。我认为教育真正的扭转不仅仅是围绕老师的减负，咱们更要做的是重塑评估形式，变更教学模式。”同时，他还强调，在一个学习环节之中，“课堂和作业”的评估规范的高下决定了学校的教学质量，“学生的工夫 95%花在课堂和作业上，因而要扭转教学质量，就要扭转课堂和作业，把重点放到数据上，从初一到高三大略一万节课，把每一节课 45 分钟的齐全数据模型建设起来，围绕每一节课去发展教育信息化工作，教育品质和教育偏心的问题就解决了。 学乐云董事长陈冬华 全品AI教育创始人朱本福介绍：“教育信息化产品的特点是个性化、重服务、决策周期长、高度扩散，全品通过剖析校长、学生、老师、家长等角色的诉求，基于本身的技术劣势打造了安全智慧校园解决方案、智慧职教云平台。同时，往年全品在声网的反对下，进一步拓展业务范围，打造了三个课堂云平台、城乡一体化解决方案。在谈到抉择与声网单干的起因时朱本福示意，“声网的实时互动能力与咱们的‘傲秀策略’十分好的联合起来，声网领有视频通话、电子白板、互动直播、云录制等全功能，反对100多家不同接口协议的直录播设施，兼容性弱小，业务撑持牛，技术支持快，为咱们的产品提供了强有力的保障。” 全品AI教育创始人朱本福 教育行业的新变动、新技术、新机会在沙龙最初的圆桌环节中，嘉宾们针对后疫情时代，教育行业的新变动、新技术、新机会等话题进行了探讨和交换。 对于各行各业来说，疫情带来的影响是旷古绝伦的，后疫情时代，教育行业呈现哪些新变动？在陈冬华看来，后疫情时代最实质的变动，是让教育信息化成为了刚需。作为在智慧校园继续布局的企业，朱本福称，全品看到人脸识别技术在疫情后的接受度比拟高。“疫情之后大家开始刷脸测温，咱们向学校提供刷脸的设施也变得更容易。” 后疫情时代，在场景和技术上都有了大量摸索，李华强调，“比方近期在线自习室火了，阐明在线陪伴、探讨、在线虚拟化监督也产生了踊跃价值。过来每一个教室配备十分奢华，但基本上是孤立的，将来心愿奢华的配备能够都被链接起来，要放弃开发的态度。” 对于教研层面来说，疫情也让农村中小学采纳线上的培训形式成为可能，奥鹏教育老师培训中心总监刘宇飞示意，“咱们做了很多农村老师的教研流动，专门做复式教学，以前老师不是特地喜爱这种教学方式，但疫情之后，它让咱们找到了技术和利用的价值所在，而不是一种模式。” 疫情让大部分人习惯了线上工作和生存，也让实时音视频技术从幕后走向台前，本次圆桌探讨，嘉宾们也聚焦在“实时互动技术为教育信息化带来哪些新的倒退方向？”发表了本人的认识。朱本福认为，当初都是做音视频直播，将来通过3D、VR等技术的倒退会与实时互动产生更多的联合。“实时互动是傲秀策略的重要环节，将来咱们跟声网单干不仅仅局限在这一块，可能在新的采集形式上，后端、显示端的设施上咱们也会有深刻的单干。”陈冬华也认可实时互动技术对教育带来的新倒退，“原来受限于技术，很多资源是用不起来的，随着实时互动技术的倒退，让需要的满足，提供更多不便，我认为这是瓜熟蒂落的。” 在刘宇飞看来，“过来的治理、辅助工具基本上不能参加到课堂外面，和课堂是割裂的。有了线上课堂之后，不仅能够实时互动，通过AI的形式，能够采集到学生的关注度、坐姿、间断在线时长等等，咱们可能更细、更深的参加到培训中。尽管现阶段老师还没有齐全筹备好，还处于萌芽期间，但咱们会始终朝这个方向致力。” “如果咱们坐在不同的城市里，我做了一个握手的姿态，仍然能让你真正感觉到温度，这是咱们始终在致力的。”李华总结道，“随着5G甚至6G的利用，线上学习气氛必定是一个大趋势，咱们须要做的是服务好所有教育息化服务商，通过你们再服务好所有教育行业的老师和学生，这就是咱们声网的价值体现。”

声网Agora 教育 aPaaS 产品灵动课堂现已降级至 v1.1.0 版本。声网Agora 灵动课堂能够帮忙教育机构和开发者最快 15 分钟上线自有品牌、全功能的在线互动教学平台，节俭 90% 开发工夫。灵动课堂自 1 月 20 日公布，截至 3 月 31 日注册用户数超 1000 家，反对的课堂数量超过 50 万/月，寰球笼罩学生数累计超过 400 万。 在新版本的灵动课堂中，咱们针对此前“UI 不易于批改”的问题，将 UI 代码与业务逻辑隔离，并提供 UI Kit ，从而能让开发者能够更容易地批改、增加 UI 控件。既保证了低代码开发，又提供了更高的自定义灵便度。 同时，为了让大家能够替换、增加灵动课堂的一些功能模块，甚至针对本身业务需要减少功能模块，咱们还减少了自定义插件性能，即 ExtApp。你能够像搭积木一样，将本人实现的一些课堂性能，比方倒计时、抢答等，退出灵动课堂。 接下来咱们来具体讲讲 v1.1.0 版声网Agora 灵动课堂的新性能与优化。 课堂 UI 自定义更灵便在新版本的 UI 方面，咱们做了两项降级。首先，咱们从新设计了三套针对 1 对 1 互动教学、在线互动小班课、互动直播大班课场景的 UI。开发者能够间接应用，部署上线。同时，咱们还将 UI 代码与外围业务逻辑隔离开，提供了 UI Kit，让开发者能够在此基础上批改出更合乎本身品牌调性的界面。 在基于 UI Kit 批改 UI 时，开发者无需理解灵动课堂的外围业务逻辑，只需基于咱们提供的 UI Kit 简略批改 UI 组件，就能够调整界面的色彩、菜单栏大小、图标和按钮的地位等各功能模块的 UI。在 agora-classroom-sdk 下的 ui-components 目录中,蕴含了所有 UI 组件的组合规定, 你还能够在这里退出其它 UI 组件, 或调整整体布局。 ...

步入2021年，新冠疫情仍旧重复，各地相继出台线下教培机构的复课告诉，教培机构再次面临生存挑战。 对于教育行业来说，过来的一年，教培机构在变与不变之间经验着行业洗牌的考验，线下教育企业在线化步调放慢，“教育OMO”成为2020年教育行业重复提起的关键词之一，那么线上线下教育的交融到底从何而起？到何处去？咱们又该怎么做？明天，咱们一起梳理一下。 一、什么是“教育OMO”？OMO 即 Online-Merge-Offline，字面意思是线上与线下的交融。 2017年11月22日，翻新工场董事长兼CEO李开复在“经济学人”（The Economist）杂志专栏文章中首次提出“OMO”的概念，他提到“智能手机的大规模利用”、“晦涩的领取零碎”、“质优价廉的传感器”和“人工智能技术的提高”四大因素助力OMO的实现，因为中国在这些畛域倒退速度惊人，因而，中国将来将无望首先实现OMO，而教育则是OMO的次要利用场景之一。 那么教育OMO是如何走到明天的？这里不得不回顾一下在线教育的倒退。 二、在线教育的倒退回顾在线教育的倒退，大体经验了4个阶段。 第一阶段：慕课2012年，美国多家顶尖大学开设网上学习平台，提供收费课程。2013年，慕课被翻译成中文引入中国，突破了工夫和空间的限度，学生足不出户就能够学习到寰球最顶尖的课程。慕课的用户群体次要集中于大学生，尽管解决了学习内容的问题，然而不足对学习效果的监督。 第二阶段：O2O教育2011年当前，O2O模式在生存生产畛域疯狂扩张，这一热潮也延申到了教育行业。2013年“互联网+教育”风口正盛，线下巨头教育机构开始在线上发展网络教育授课，本来在线上做教育的企业开始倒退线下教育，O2O教育更多的是将用户从线上进行引流，这种线上导流线下的形式为K12在线教育提供了可能，然而O2O教育适度依赖于名师效应，名师出奔，学生不再。 第三阶段：双师教育2015年到2016年，教育界巨头像新东方、好将来、高思等机构纷纷布局双师教育，通过线上名师授课、线下辅导老师进行作业批改、答疑、督学等服务，保障学习效果。双师教育模式在肯定水平上解决了教育资源不平衡的问题。 第四阶段：OMO教育2018年起，教育行业逐步开始对教育OMO的摸索，疫情的起因减速了教育OMO的倒退。教育OMO基于经营服务和教学内容两个层面的摸索，通过互联网、人工智能和大数据等新技术买通教育各环节的数据，并深度融合线上与线下的学习场景，实现教学流程标准化和教育服务个性化的完满联合。 三、在线教育的变与不变有人认为，“教育OMO”在往年被频频提起是因为疫情的影响，教培机构转型OMO也只是疫情下求生存的备选，然而，咱们更偏向于认为教育OMO是未来在线教育的支流模式。 说到教育行业的变动，纵观在线教育的倒退，科技始终是影响教育倒退的重要因素，相比于传统行业，教育随着技术的改革也在改革。教育的在线化、直播技术带来的互动课堂、AI技术下的教学测评，这些教育的变动都是科技因素带来的；除此之外，政策对教育行业的疏导与监管、经济、社会等每个因素的变动随之而来的都是教育行业的微小机会。 然而，教学的模式虽产生了变动，但教育的内核则是始终不变的，包含师生间的情感连结、同学间的竞争性和互助性、以班级和小组为单位的群体心理效应、课后练习和定期测评的夯实作用等。 回顾疫情期间，少数机构都是找直播平台，简略的把课程搬到线上授课，但这并不是真正的教育OMO。教育OMO并不是线上线下教育的简略相加，而是线上和线下教育场景的深度交融，包含师资、教学、平台的搭建和应用、经营拓展所有环节融入新的线上线下教育体系内。 对于大部分机构而言，独立开发教学平台的老本昂扬，借助业余的服务平台，找到适合的OMO计划技术服务平台，才是实现教育OMO模式最高效和最便捷的路径。过来一年，教育技术服务商随教培机构的需要变动也纷纷进行了屡次产品迭代。 四、在线教育的制胜要害1. 在线教育制胜的关键在于教学效果和教育品质。 受制于网络、音视频技术等因素，直播间内老师与学生互动延时的难堪影响在线教学的交付成果，优质的教育内容须要优质的教育平台来承载，因而“多人参加、实时互动”曾经成为在线教育的刚性需要。 为实现多人互动直播无提早技术的实现，华为云优质合作伙伴---拓课云在寰球160多个国家和地区安排了网络服务器节点，独创了抗丢包算法，将小班课国内延时升高至200ms内，国内延时升高至300ms内，目前大班直播课堂最多反对10万人同时在线；互动小班课单个房间可包容1000人，反对最多24人同时公布音视频。华为云优质合作伙伴---拓课云帮忙机构“辞别延时“，实现了多人高质量通信的成果。 2. 在线教育的用户粘性和品牌信赖的造就很重要。 现在教培机构纷纷转型在线教育，但机构苦流量，用户苦操作，教学APP的大量装置和平台的简单操作，都为在线教育减少了应用门槛，因而便捷的登录入口和易上手的操作成为了在线教育产品的重要需要。为升高用户的应用老本，晋升机构经营效率，华为云优质合作伙伴---拓课云反对Web网页、PC客户端、手机APP多平台登录，不便用户抉择最优的上课形式。华为云优质合作伙伴---拓课云是国内第一批将WebRTC进行大规模商用的企业，用户间接链接浏览器即可开始上课，便捷的入口最大水平的保障了机构流量的留存。 但现有流量的积淀还不够，招生续费是教培行业永远绕不过来的话题。教培行业的用户粘性较强，造就用户对于机构品牌的信任度有利于教育口碑的二次流传和转化，因而华为云优质合作伙伴---拓课云反对机构的自主品牌定制，包含各登录平台及观看页的logo展现甚至是域名的自定义。 3.在线教育的实质在“教育“，企业获利更须要服务的精细化和差异化 线上和线下教育并不是代替关系，而是相互赋能，在线教育的教育场景尽管产生了变动，但其教育的实质不变，因而有继续造就业余老师的能力并匹配业余的教研能力是教育机构的共识，但企业想要在竞争中突出重围，是必须要将教育做到极致，也就是打造教育服务的精细化和差异化。 传统线下课堂师生面对面教学互动性强，在线教育心愿能有限靠近线下课堂的互动性，并在此基础上重视学生的个性化倒退。因而，华为云优质合作伙伴---拓课云除了满足师生实时音视频互动外，在课堂中也开发了动静课件、画笔、白板、奖杯、计时器、抢答器等教学互动小工具，依据不同的教学场景，华为云优质合作伙伴---拓课云也配置了多种教学布局和教学皮肤，力求让在线教学变得更加生动有趣。 在线教育的劣势是利用大数据做教学剖析和转化，华为云优质合作伙伴---拓课云AI智能剖析能更精准的满足“教学测评“的需要，从学生的手势、面对摄像头的姿态和面部情绪，甚至闭口谈话的工夫长短，帮忙老师智能化剖析学生的上课状态和学习习惯，数字化复现每个学生的学习行为。 2020年初，在线教育因为疫情放慢了倒退步调，传统教育机构在变与不变的犹豫中被裹挟上场，一年中，有人趁势而为，转型教育OMO；有人在疫情防控初见成效时回归线下。但疫情期间线上教学的常态化和一年的积淀，在无形中晋升了老师、学生以及家长的信息素养，教育科技倒退的大趋势也表明线上线下的深度交融是将来教育倒退的方向。 这种变动放之于教育行业的每个人来说，更多的是一种思维模式的转变，咱们须要以凋谢容纳的心态去接收它： 老师们能够从小的技术利用开始，逐步相熟和把握更多的信息化教学伎俩，从而一直冲破传统的教学思维模式，造成与时俱进的、凋谢容纳的教育理念。 学校和机构能够加大力度投入到软硬件设施的建设和欠缺，由内而外真正走向信息化。 作为教育技术服务商，须要了解教育的准则，从教育登程，正当利用智能技术，打造出一个在线交互场景，将教育机构的弱小之处施展进去。 华为云优质合作伙伴---拓课云作为业余的音视频底层服务商，有着对教育的思考和保持。拓课云作为华为云市场上在线教育赛道惟一一家通过严选自营审核的供应商，咱们期待可能继续为教育机构赋能，为教育赋能。

12月8-10日，36氪重磅新经济峰会WISE2020新经济之王大会将在北京举办。近日，2020新经济之王——中国最具影响力企业榜单陆续公布，寰球云通信服务商即构科技，凭借在企业服务畛域硬核杰出的技术体现和服务泛滥行业头部客户的实际能力，荣登「WISE2020中国新经济之王最具影响力企业」榜单，在企业服务赛道取得「最具影响力企业」奖项。 「新经济」代表了中国最具创新力和增长性的力量，2020年，新经济守业公司们无论是断臂求生还是转型冲破，都展现出了令人惊喜的生存能力，同时取得了投资机构的鼎力加持。 而因为疫情的催化，企业服务畛域关注度暴发，在其中，实时音视频技术的服务价值失去疾速浮现，迎来疾速倒退。实时音视频云通信形式也开始成为社会基础设施的重要组成部分，被更多人习惯和承受，也有更多行业在其助力下迎来转型倒退，走入行业新风口，开启全新赛程。 咱们看到了在线教育的疯狂减速。据统计，2020年，在线教育行业披露的融资金额共计约388亿元，较比2019年同期的108.75亿元，增长了256.78%，其中猿辅导和作业帮两家占总资额的80%左右。另一方面，传统企业的"上云"节奏也在放慢，医疗、金融、政务办事、企业合作、智慧交通等行业迎来破局倒退，这背地都有实时音视频技术在默默助力。而在5G 时代，云通信技术将成为产业互联网的基础设施，成为扭转将来的交互方式。 前不久刚实现C轮融资的即构科技成立于2015年，是服务寰球的云通信服务商。 即构核心技术班底来自腾讯，在业内有超过19年的技术教训积攒。凭借着自研的音视频引擎和自学习海量有序数据网络-MSDN，即构科技服务了泛娱乐、在线教育、社交、游戏、IoT、近程医疗等行业的百余场景，笼罩了这些行业70%的头部客户，好将来、掌门一对一、微微家教、一起作业网、映客、微博、咪咕、Blued、荔枝、酷狗、360、中国安全、喜马拉雅等，都是即构的长期客户。 成立5年来，即构的客户流失率仅为3%，服务思维驱动的即构科技，极其器重客户服务。尽管这是一家To B的技术公司，但并不是纯正的技术公司，反而提供的是"从技术研发、到客户交付上线的全流程的价值服务"。 在客户服务的层面上，即构并没有把To B当作一个只向客户提供交付的事件，而是做到了穿透客户的需要去了解用户的需要，具备基于服务思维的技术、产品和整体交付能力。疫情期间，即构流量暴涨4倍，日均音视频通话时长冲破20亿分钟，稳固服务了流量暴涨的泛滥客户。 近日马化腾在其公开演讲中提及了一个新概念：围绕着RTC技术开展的"全真互联网"。这是一个基于实时通信和音视频根底技术的全真状态，在其中不止有"万物互联"，更会有"信息接触、人机交互的模式"等更加丰盛的变动。 疫情减速了RTC技术一直迭代降级，现在咱们也能看到身边很多"连贯交互"的形式正在发生变化。通信、社交在视频化，视频会议、直播崛起，游戏也在云化…在将来全场景时代，实时音视频RTC技术将表演更为重要的角色，施展重要的基础性撑持作用。 据悉，本次最具影响力企业的评比是通过问卷调研的形式，宽泛收集市场上千家候选企业对于商业模式、团队组成、财务数据（近三年营业支出、毛利率）、研发投入、历年融资金额、估值等重要信息和数据，依据36氪各赛道分析师、十余名行业专家和投资人的访谈调研后果，联合人气投票对公司的综合影响力做出评判，评比出的「2020年中国新经济之王最具影响力力企业」 最终，即构从近千家企业中怀才不遇，斩获「2020年中国新经济之王最具影响力力企业」名称。

作者：maverick、buhe，本文首发于 RTC 开发者社区随着技术和基础设施的进一步演进，线下的教育、会议已有很大比重演进为线上的教育和会议，突破了空间的桎梏。需求的多样性爆发增长和场景的进一步拓宽也对技术产生了非常大的挑战，有别于传统视频会议的方案，现有方案更多考虑兼容性、平台多样性、移动化等，在产品的链路上也变的愈加丰富，从实时到录制、在到后期的信息检索和分析。在绝大部分在线教育、视频会议场景中，实时音视频互动与白板都是必备功能，然而实时音视频互动与白板都是需要很长时间和较高研发门槛才能实现的，尤其是实时场景下的内容记录和后续的回放更是颇有挑战。本系列的第一篇文章，笔者分享了在 Web 浏览器端，结合声网Agora SDK 的实时音视频互动能力与 White SDK 的在线白板能力，来实现一个简单但实用的在线教室。现在市场上的在线教室市面上所有的知名在线教育公司的教室都是由 RTC、白板、实时消息三部分组成。实时音视频：远程上课、师生互动的基石。白板：老师上课、讲解要点的重要载体。实时消息：师生信息交流的平台。从功能角度来看，就是 RTC + 白板 + 实时消息。从底层技术来看，就是实时信令+实时音视频。快速实现一个实用的在线教室整个开发流程分为两个部分。首先是引入音视频 SDK 并实现 Web 浏览器端 Demo。然后，我们在此基础上引入白板 SDK，实现在线教室中的白板功能。一、引入音视频 SDK音视频方案选择声网作为本次的技术方案，先从 https://www.agora.io/cn/downl… 下载声网最新的 SDK 备用。1.我们选择【视频通话/视频直播 SDK】的 Web 版本进行下载，本教程写作时最新版本是 v2.6.0 版本。下载下来进行解压，其中有这样一些文件：├── AgoraRTCSDK-2.6.0.js├── assets│ ├── mute48.png│ └── sound48.png├── index.html└── vendor ├── bootstrap.min.css └── jquery.js2 directories, 6 files2.其中 AgoraRTCSDK-2.6.0.js 是 SDK 主体文件，附带还有一个简单的 Demo 工程，我们可以用 Chrome 浏览器打开 index.html 文件，浏览器显示如下页面3.需要一个声网的 AppId 才可以进行下一步试验，去 https://dashboard.agora.io/cn… 注册一个项目然后创建一个测试项目，就可以获取到这个 AppId 了。4.去官网注册好之后，我们回到这个页面，复制 AppId 到这个输入框内，首先点击 Join 按钮，加入该 AppId 指定的测试项目的某个 channel ，channel 默认是 1000 ，这里我们使用默认值。5.点击后会提示是否可以使用麦克风和摄像头权限，这是为了保护用户的隐私，这里我们点击【允许】。我们发现本地摄像头的内容显示在了屏幕的右侧。另外再打开一个浏览器窗口，重复 4 ～ 5 步骤，比较有趣的事情就发生了，我们在两个浏览器窗口上分别看到了两个视频画面，其实一个是本地画面，一个远端的画面。我们可以想象成一对一教学的场景，老师和学生可以互相看到对方的脸听到对方的声音。二、引入白板 SDK白板方案选择 White SDK 作为本次的技术方案，文档中心：https://developer.herewhite.com/#/1.我们用 CDN 引入的方式引入白板 SDK 的 JavaScript 文件和 css 文件。在当前的 index.html 文件的 head 标签中加入<title>Agora Web Sample</title><!– 新加入代码开始 –><link rel=“stylesheet” href=“https://sdk.herewhite.com/white-web-sdk/2.0.0-beta.3.css"><script src=“https://sdk.herewhite.com/white-web-sdk/2.0.0-beta.3.js"></script><!-- 新加入代码结束 –>2.加入一个特定的白板需要 uuid 和 token 两个参数，我们在 <body> 标签中放置两个 input 用于输入这两个参数，加入一个按钮用于加入房间，在原有的 button 下面加入如下代码：<button id=“unpublish” class=“btn btn-primary” onclick=“unpublish()">Unpublish</button><!– 新加入代码开始 –>Room UUID: <input id=“room_uuid” type=“text” size=“32”></input>Room Token: <input id=“room_token” type=“text” size=“32”></input><button id=“join_room” class=“btn btn-primary” onclick=“join_room()">Join Whiteborad</button><!– 新加入代码结束 –>3.在原有 javascript 代码中加入 join_room 函数，逻辑也是比较简单的：创建 WhiteWebSdk 对象调用 joinRoom 方法加入某个特定的白板，这个白板由前面两个 input 框中的参数确定，uuid 为全局确定一个白板，token 则是加入这个白板的必备验证信息，当调用成功结束后得到 room 对象，room 对象持有对白板操作的一系列 API ，这里把他 room 绑定在 id 为 whiteboard 的 div 上。function join_room() { document.getElementById(“join_room”).disabled = true; var whiteWebSdk = new WhiteWebSdk(); whiteWebSdk.joinRoom({ uuid: room_uuid.value, roomToken: room_token.value, }).then(function(room) { room.bindHtmlElement(document.getElementById(‘whiteboard’)); });}我们在 body 中加入一个 <div> 用来容纳白板吧，白板成功加入后就会显示在这个 400px 宽、300px 高的 <div> 中了。<body><!– 新加入代码开始 –><div id=“whiteboard” style=“width: 400px; height: 300px;"></div><!– 新加入代码结束 –>5.步骤 3 中的 uuid 和 room token 是从哪里来的呢？首先请前往 https://console.herewhite.com 注册一个开发者账户，你就获取到一个 sdk token ，通过 sdk token 就可以调用 REST API 创建一个房间了。我们在 javascript 文件的开头加上如下代码。通过 REST API https://cloudcapiv4.herewhite.com/room 创建一个房间，返回值就是熟悉的 uuid 和 room token 了我们把他们赋给前面的两个 input 框，方便查看和记录。<script language=“javascript”>// 新加入代码开始var sdkToken = ‘WHITEcGFydG5lcl9pZD1DYzlFNTJhTVFhUU5TYmlHNWJjbkpmVThTNGlNVXlJVUNwdFAmc2lnPTE3Y2ZiYzg0ZGM5N2FkNDAxZmY1MTM0ODMxYTdhZTE2ZGQ3MTdmZjI6YWRtaW5JZD00JnJvbGU9bWluaSZleHBpcmVfdGltZT0xNTY2MDQwNjk4JmFrPUNjOUU1MmFNUWFRTlNiaUc1YmNuSmZVOFM0aU1VeUlVQ3B0UCZjcmVhdGVfdGltZT0xNTM0NDgzNzQ2Jm5vbmNlPTE1MzQ0ODM3NDYzMzYwMA’;var url = ‘https://cloudcapiv4.herewhite.com/room?token=' + sdkToken;var requestInit = { method: ‘POST’, headers: { “content-type”: “application/json”, }, body: JSON.stringify({ name: ‘我的第一个 White 房间’, limit: 100, // 房间人数限制 }),};fetch(url, requestInit) .then(function (response) { return response.json(); }) .then(function (json) { room_uuid.value = json.msg.room.uuid; room_token.value = json.msg.roomToken; console.log(“room uuid”, json.msg.room.uuid, json.msg.roomToken); })// 新加入代码结束6.重新用浏览器打开 index.html ，上半部分的空白则是白板的部分，我们点击【Join Whiteborad】按钮，成功加入白板后就可以使用鼠标在白板上进行涂写了。三、Demo 效果1.加入前2.加入后3、体验互动课堂1.我们打开浏览器的另一个窗口，将上一窗口中的 room uuid 和 room token 复制并覆盖新窗口中的值，点击新窗口中的【Join Whiteborad】按钮，则两个窗口加入到同一块白板中，任何一个窗口的涂写都瞬间在另一个窗口中显现。2.我们看看最终的效果吧，相信在调整了样式之后，基于 Agora 和 Netless 强大的云端能力，这样的在线教室已经具有产品就绪的能力。最后，我们已经将该 Demo 的完整代码上传至 Github，欢迎大家 fork 和修改，实现出你独特业务场景的产品：https://github.com/netless-io/Edu-Classroom-Demo ...

本文来自网易云信 资深音频算法工程师 李备在LiveVideoStackCon 2018讲师热身分享，并由LiveVideoStack整理而成。在分享中李备详细分析了在线教育的音频需求，以及一般软件音频框架，和行业的挑战。大家好，我是来自网易云信的李备，今天我将与大家一起探究教育场景下的实时音频解决方案。本次分享将围绕以下几部分进行：实时音视频的市场需求1.1 市场观察随着我国互联网行业的蓬勃发展与宽带水平的提升，消费者早已不满足于通过简单的文字图片浏览新闻，而是期待通过更佳生动精彩的音视频获取知识了解世界。根据网易云信平台观测的数据，音视频社交应用时长在近两年呈现飞速增长，随之增长的同样还有中国在线教育市场交易规模，从2010年至2017年增长近10倍，并预计在2018～2019年保持增长。可以说，实时音视频技术助力众多产业转型升级，并使得视频会议等经典应用场景重获新生。众多的新兴场景与行业借助实时音视频技术实现了更佳丰富炫目高效准确的场景表达与业务落地，同时也进一步促进了实时音视频的技术演进与行业探索。实时音视频正在各个千亿、百亿市场快速发展并逐渐成为基础设施型重要技术。1.2 应用场景我们的音视频行业主要存在以下应用场景：以网易公开课为代表的点播，以Finger为代表的直播，以网易云课堂为代表的互动直播与以各种P2P、小班教学、大型培训为代表的实时音视频。1.3 直播/点播框架下图展示的是直播与点播的技术框架。而与上述直播/点播框架不同的是，互动直播框架更加强调音视频的实时性与强互动性。来自Web 端连麦观众的音频数据会通过WebRTC网关传输至实时音视频中转服务器，并在此与来自手机连麦观众和PC端主播的音视频数据一起由实时音视频中转服务器转发至互动直播服务器。互动直播服务器会对这些数据做合成/推流处理，传输至融合CDN流媒体服务器，由流媒体服务器推送数据给观看互动直播的普通观众。与此同时，实时音视频中转服务器同样负责手机连麦观众与PC端主播的直播互动数据交换，从而实现互动直播的效果。软件层实时音频解决方案2.1 实时音框架的线程模型与数据驱动方式上图展示的是实时音频的简单框架线程模型，这里需要提醒的是，其中的解码主要由客户端完成，实时音的服务端不参加解码而是把来自各端的数据包筛选之后传递给其他端。我们以音乐教学场景为例，学生与老师正在上课，此时来自学生的音频信号被其移动终端采集模块采集，经过混音消除、降噪、自动增益控制等音频的前处理过程，由音频编码器进行编码。这里的编码器主要分为专属语音编码器与音乐编码器。音频数据经过编码器的编码处理后会被发送至网络，此时接收端会收到一个缓冲抵抗网络抖动的Jitter Buffer。解码后的音频数据经过快慢速调制与TSM后进行后处理，最后播放。播放时产生的回声会被捕捉并重复上述流程。在硬件层面，终端制造商对音频处理流程中所需要的硬件都有一套同一切完善的参数调整经验，例如麦克风的采集帧率、拾音距离、回声延迟等都有统一规范；而考虑软件层面的实时音频则需面临设备数量庞大的难题，我们需要统一海量设备与不同平台的复杂数据输入并且考虑到软件层面的不可预知性，也就是我们需要一个完善的音频处理系统，优化各模块之间的协同工作并保证算法的稳定性。因此在这里我向大家展示一下WebRTC线程模型的设计和数据驱动方式：不同的颜色代表不同的线程。首先，音频数据被采集模块采集后进行音频前处理，之后经由交付Buffer被交至音频Codec进行编码。（这里强调的是，我们不把音频Buffer和Codec放在一个线程的原因是音频Codec的实时性计算量要求较高，需要单独的一个线程运行。而经过网络发送时一般网络线程是直接将数据传输至Audio Jitter Buff-er，Audio Jitter Buffer获取数据后会在网络线程上接收数据包，并更新网络统计和策略，而playback的callback请求往上回调至Audio Jitter Buffer请求数据过程是运行在Playback的Callback线程上。经过解码后音频数据会进行TSM、MIX等（如果是处理多路MIX，有些厂家可能会使音频解码单独在一个线程上运行，这一点视应用场景而定，如果是处理一路MIX则可以简单地运行在播放线程上。）关于其中的驱动方式，一些开发者喜欢使用Timer机制驱动数据，但这在实时音频框架中并不推荐。以Audio三维算法处理为例，音频每一帧处理需要大约10毫秒的时间，对时间的精度要求很高；而简单的Timer驱动无法满足这种高精度，尤其是在复杂的系统中很容易出现延迟，这为整个音频处理系统带来的影响无疑是毁灭性的。因此我们一般采取将驱动运行在系统（回调）中的解决方案，因为系统（回调）的高优先级可确保整个系统的稳定运行。Google就曾经在I/O大会上面推荐把audio process放到系统的采集播放线程里 ；右侧展示的主要有两个系统：收包网络系统与底层的用来驱动音频解码、后处理、MIX的Playback。一个音频引擎框架的稳定性直接决定了其输出声音的质量与实时性。2.2 音频前处理框架捕捉到的音频数据会进入Audio 3A处理。其中Audio 3A由AEC、ANS、AGC组成。不同的应用场景三者的处理顺序也不同，如在WebRTC中音频数据回依次经过AEC和NS 或者 NS 与AECM（AECM 是WebRTC专门为移动端打造的算法，计算量低，而AEC 是为PC打造的）。而在AEC(回声消除算法)，为什么需要这个算法呢？当一个设备在播放声音经过空间中的多次反射会被麦克风再次捕捉并采集到系统当中，这时音频的输入既有空间反射的回声也有本端说话声，如果缺少此模块就意味着通话中说话人一直可以听到自己的声音回来，这是非常差的一种体验，这当然是需要我们避免的。这里AEC的作用就是通过播放的参考信号跟踪出回声并从采集信号中把回声消除掉，随后再经过降噪处理去除噪声。而其中的AECM是在NS模块之后通过获取clean与noise数据进行分析，AEC则是NS模块之前直接获取noise数据进行分析。音频数据完成AEC与NS的处理后会进行AGC处理，其包括AAGC（模拟域的自动增益控制）与DAGC（数字域的自动增益控制）。其中AAGC的主要作用是通过系统的采集音量设置接口调整输入信号（大多用于PC端，移动端一般没有输入音量的系统接口），如借助Windows上的的API调整采集音量等参数。AAGC可为输入的音频数据带来明显的质量优化，如提高信噪比，避免输入信号溢出等。但由于我们服务的跨平台要求，我们需要构建一个面向多平台设备的框架，在不同的输入平台和设备都会有不同的输入音量，DAGC可以根据对输入信号的跟踪，尽量的调整信号到达期望大小(幅值或能量)，从而避免不同设备采集带来的音量差异过大。完成AGC处理的音频数据，即可进入Audio Encode进行编码操作。这里我想特别介绍一下Audio Jitter Buffer，由于视频的发送码率较高容易对网络造成较大冲击比较大，而音频在窄带与中等码率的情景下的发送码率在50KBPS上下，不会为网络带来较大压力，很多厂家在做音频QOS的时候并不会控制发送带宽(因为宽带的音频带宽不高，对于网络拥塞贡献不大)，而把重点工作都放在接收端的jitter buffer策略上。但我们的人耳对连续性非常敏感，一旦有包没能及时传递出现丢包，那么观众就可体验到瞬间的卡顿，这种频繁的卡顿会让用户体验大打折扣。因此我们需要一个抵抗抖动的Buffer来抵抗网络抖动的冲击，从对Delay要求高、平滑稳定过渡的角度考虑我们希望选择较长的Buffer，而从实时性出发我们又希望尽可能缩短buffer。为了平衡网络抖动与实时性，我们引入Audio Jitter Buffer进行处理。一般用来在接收端控制网络抖动，而在不同模式下采取的抗抖动方案也不尽相同。Jitter Buffer框架与其包含的模块展示在这张图中，其中黄色代表网络线程。Audio Play Callback的数据首先传输至Manager，同时上传一些必要信息，此时音频数据会经过Jitter Policy处理传输至Audio Decode并在播放端触发callback，再由Callback驱动整个抓包流程。JitterBuffer请求包时会根据Jitter Policy进行音频解码或PLC/CNG、Slience等。最后经过后处理与MIX的反复处理，数据被传输至Audio Play Callback。不同厂商的Jitter Policy处理方案也不一样，如较为出名的WebRTC NeTEQ算法，其中集成了自适应抖动控制算法以及语音包丢失隐藏算法。除此之外， JitterBuffer在跟踪预测准每一个包的jitter的时候，也需要考虑实际的缓存播放策略，比如三个包的jitter 分别是100ms，50ms和150ms，如果每次都紧跟预测的jitter，当第一个包来的时候需要缓存100ms，然后第二个包来的时候发现只需要缓存50ms，实际缓存多了需要TSM 调整，直到第三个包来，发现要缓存的又要变化了，又需要需要TSM 调整，那么这样最后的效果将是非常糟糕的。JitterBuffer的目标就是缓存适合的数据可以抵抗网络jitter的抖动，自适应既要兼顾考虑时延，又不能变化过于频繁破坏声音体验，也不能不跟不上网络变化造成缓存不足造成丢包。行业痛点音频行业之痛主要是复杂的网络对音频的冲击与碎片化的终端设备背后差距悬殊的硬件。尤其是对Android平台而言，软件层面不同厂家定制系统的处理流程、硬件层面手机的工业设计、处理器、传感器等都不相同，难以用统一的平台解决方案处理这些设备的音视频问题，主要体现在算法的挑战难度上；与此同时，我们希望算法鲁棒性更强，这就意味着需要考虑更多的案例，而算法不可能考虑到所有的案例，我们必须根据实际情况进行相应取舍……这些都是在未来亟待解决的行业痛点。想要阅读更多技术干货文章，欢迎关注网易云信博客。了解网易云信，来自网易核心架构的通信与视频云服务。网易云信（NeteaseYunXin）是集网易18年IM以及音视频技术打造的PaaS服务产品，来自网易核心技术架构的通信与视频云服务，稳定易用且功能全面，致力于提供全球领先的技术能力和场景化解决方案。开发者通过集成客户端SDK和云端OPEN API，即可快速实现包含IM、音视频通话、直播、点播、互动白板、短信等功能。