2023年寰球人工智能开发者先锋大会（GAIDC）于2月25日、26日在临港胜利举办，大会深刻贯彻党的二十大报告指示精神，以“向光而行的开发者”为主题，围绕AI开发者所关注的前瞻摸索、开源凋谢、人才引育、生态培养等方面开展。本届寰球人工智能开发者大会汇聚寰球顶尖行业大咖，邀请到Linux凋谢元宇宙基金会执行董事Royal O’Brien、中国科学院院士鄂维南、中国工程院院士王坚、商汤科技联结创始人徐立，此外还有泛滥开发者红人、代码大神。
1小时42分观看李翔演讲视频
边无际北京科技有限公司的CTO李翔受邀参加论坛演讲，进行了“Shifu云原生赋能AIoT开发”的主题演讲，深刻解说了云原生和IoT的联合的技术门路，以及边无际公司在这该畛域的实际和教训。以下为演讲原文：
1、云原生进入边缘场景
云原生这个名词置信大家都不生疏了，当初十分风行。随着云服务厂商在各大畛域的逐步攻城略地，云原生作为一个开发理念也被带入了其余各个领域，简略来说它给咱们带来了四个个性：
首先是高扩展性，云原生能够依据咱们的需要进行弹性伸缩，保障不浪费资源，也不会缺资源。
第二是高灵活性，它是对之前这种耦合度很高的零碎进行解耦，造成一个个的小小的微服务，如此一来，服务其实就模块化了。如果哪个中央呈现问题，想减少哪些方面的需要，就能够只开发这一个微服务，而不须要管其余的服务。
第三是高适应性，云原生开发理念要求咱们的服务能够适应绝大多数软硬件环境，简略来说就是跨平台，不受外界环境的影响。
最初是高敏捷性，咱们须要对任何问题和需要产生快速反应，继续的开发和部署。服务器和容器化编排等技术其实都是发祥于云原生理念，对于企业来讲，它带来的益处就是更棒的降本增效。
云服务厂商给咱们提供了根底硬件和技术软件，咱们不须要花工夫和精力去思考怎么买硬件，怎么配置这些硬件，这就给咱们升高了很大的老本。同时，依赖于对立的开发工具，升高了软件开发者的学习老本。容器化提高效率，比如说云原生的开发者其实绝大多数都是在用麻利开发准则，因为它们之间是相辅相成的。
每次要开发一个货色，只有关注这部分的微服务，更改这一部分的代码，而不须要去思考是否会造成牵一发而动全身，是否会造成软件整体的间接崩塌。因为在微服务高度解耦的体系下是很难产生的，所以就不须要管不相干的服务带来的影响，只须要专一于问题自身。
如此一来，设计和开发的老本就会升高很多。同时咱们进行软件更新的时候，因为微服务架构以及云计算厂商提供了大量的冗余，软件更新不会导致服务的长时间离线，用户体验变得十分高。
云原生架构的外围概念一共有6个。
- 不可变基础设施。简略来讲它就是保障服务器是可替换的，或者说硬件是可替换的。咱们在设计软件的时候齐全不须要也不应该去思考软件变动会对硬件带来什么影响。咱们能够当做硬件不存在，或者说是当做这个硬件永远是适宜软件的就能够了。
- 微服务。微服务也是一个十分风行的名词，每个微服务之间彼此是独立的，这样在开发的时候就加重了很多累赘。
- 服务网格。服务网格其实就是一个不被感知的交换层，换句话说咱们在开发微服务的时候，只有保障微服务自身是能够交互的就能够了，至于他们怎么交互，微服务之间是怎么交换，微服务和用户之间是怎么交换，咱们不须要管，这是服务网格主动帮咱们解决的。
- 容器。容器也是一个十分风行的词了，它能给咱们带来很轻的环境、很少的资源节约、进步了扩展性，简略来说就是跨平台这种成果。咱们只须要把服务打包成容器镜像，那么它跑到哪个中央以及怎么跑都无所谓。
- 可继续集成和可继续部署，或者说CI/CD。它给咱们提供了一整套的开发和部署流程，咱们只须要把代码上传，剩下的包含编译、测试、部署都是由 CI/CD来实现的，咱们齐全不须要管。
- API。API是用户跟软件进行交互的最外围的货色，它是所有沟通的基石，其实用软件实质上来说就是在调API。
这六个概念能够合成一个简略的架构。用户先进行API调用，而后API调用信息通过服务网格传送给各个微服务，再进行解决。如果有新版本要更新，新版本会经由 CI/CD来部署到各个微服务之中，保障服务的顺利更新。最底下计算资源（不可变基础设施）齐全不必管，它就是在那，而且会始终反对咱们。
上图是对于云原生畛域的倒退进度。依据 CNCF （cloud native computing foundation）给的数据，从中能够发现：contributor，member，end user，project的数量逐年增长，而且越来越多，增长速度越来越快，所以咱们能够说云原生在各个领域的扩大是呈燎原之势或者说是不可阻挡的潮流。
上图是以云原生为根底开发的一系列我的项目。从中能够看到很多驰名我的项目，比方kubernetes，etcd以及helm等。这些咱们耳熟能详的我的项目其实都是云原生孵化进去的，而且的确都是在各个领域有了十分宽泛的利用，占有十分重要位置。
2、AIoT逐步在边缘场景风行
AIoT当初逐步成为一个十分炽热的风行概念，是因为随着边缘计算算力的一直增长，咱们能够把AI的工作放在边缘端进行。一旦提到边缘计算，那么显然这就是IoT的天下了。
当初有了AIoT这个词，或者说是AIIoT，因为AIoT是Artificial Intelligence of Things。咱们当初探讨的是设施之间进行万物互联，所以是AI 和IoT。当初的趋势是：首先设施自身是越来越智能；AI运算也逐步下沉到边缘端，很多设施自身都曾经开源，本人的API、甚至是设计图也开源了。所以咱们在物联网畛域会遇到越来越多的能够让咱们自在编程的设施、自在交互的设施。
咱们发现，在线下的社区中，有很多开发者甚至在本人制作这种人工智能设施。这种智能硬件越来越多，同时也给咱们带来了更多的 AIoT需要。所以当下是非常适合AIoT进行进一步的蓬勃发展。
ChatGPT的风靡寰球其实给咱们带来了很大启发：人类跟设施进行交互到底是在干什么？其实就是人与设施进行交换。按这个按钮是要通知设施：你要执行这个操作。而后设施反馈绿灯一亮就是在通知咱们操作执行实现了。所以这其实是在交换。
那么如果应用GPT3或者相似的LP模型来赋能设施的话，就会发现：咱们甚至就不须要看说明书来学习这个按钮是干什么的。咱们只须要给设施下命令，以自然语言跟它说：“请帮我做这个”，设施就会以自然语言来回复：“我做完了”。这对于用户体验的晋升以及学习老本的升高都十分无利。
上图是一个十分乏味且有启发性的Project。Ellee是一个以Jetson Xavier和GPT3联结训练进去的一个玩具熊。作者让玩具熊能够跟他孩子进行自在交换对话。
云原生其实给AIoT提供了很多十分有用的个性，甚至能够说云原生就是为AIoT开发了这些个性。比方以Kuberbetes为核心的编排零碎提供了CPU管理策略，能够间接隔离CPU，也就是说保障CPU资源间接被无效利用在CPU-heavy的工作中。这就保障CPU不去掺合AI这些事了。家喻户晓，AI是要用到GPU的，那么Kuberbetes提供的设施插件让利用领有能够用GPU的能力。拓扑管理策略用于保障资源无效地调配给GPU和CPU。Pod和Operator用于保障微服务的相互独立以及自动化运行。这都是非常适合AIoT在边缘端进行操作的一系列个性。
3、Shifu赋能云原生AIoT
所以边无际就开发出了Shifu这一云原生AIoT开发平台，其目标是为了把这些方才提到了云原生和AIoT的个性进行联合，开释出更大能量。
Shifu是基于Kuberbetes的开发框架，它的核心技术或者外围个性就是结构性虚拟化。Shifu把一个个设施虚拟化成一个个微服务，这些微服务对于用户来讲就是一个API，用户能够间接通过调用API来调用设施；同时因为这些API是对立的，用户基本不须要什么学习老本就能够操纵所有的设施，这是一个十分棒的交互能力。
如上图所示，是Shifu的技术架构。能够看到最底层的物理设施就是实在设施，曾经由Shifu变成了形象的虚构设施，一堆物理设施集群能够形象到虚构设施的集群，整个场景就变成了可编程的场景。由此也就有了虚构实验室和虚构工厂一类的货色。事物外部自身有这种平安框架，能够保证系统的平安。管控框架能够保障设施连贯和交互顺利运行，以及互联框架保障设施之间的单干，平台框架能够用UI进行操作，由主动调度零碎进行设施自动化以及资源调度，这就是Shifu的一个大抵构造。
Shifu提供的是从接入设施到整个零碎运维一整套的解决方案。首先，Shifu对市面上绝大多数的协定和驱动都是兼容的，能够即插即用，没有生态壁垒。在利用开发局部，Shifu其实给用户提供了一系列API，让用户能够自行调用，保障用户可能非常简单地调用任何设施。最初一环是零碎运维，是k8s原生架构。Kuberbetes自身是一个十分好的运维工具。鉴于已利用了这种微服务架构以及对立的API，所以在运维方面也是非常简单的，提供了超高的零碎稳定性，是一个从0-100的整套解决方案。
咱们给Shifu的定义是连贯云端和设施的桥梁。开源我的项目中有K3s、Edge X、EMQ之类的产品，也是服务于物联网局部，其实他们的个性其实并不齐全跟Shifu一样，Shifu采纳了云原生一体化架构将设施间接管起来。
所以，这是Shifu的一个十分好的竞争劣势。Shifu的次要发力点其实是在工业智能制作畛域，因为Shifu能够首先保障连贯所有设施，而后保障整个场景智能化，以及让开发更加疾速。Shifu给厂商或者客户提供了这一整套解决方案，会解决他们在云端、在边缘侧，以及在它的设施或者工业现场的接入、设施治理、运维的一系列痛点。
具体而言，咱们首先实现了十分好的云边协同。Shifu能够在云端做一些比较复杂的操作，在边缘端做一些比方边缘AI算力的部署，边缘AI利用的部署这些货色，保障云和他人之间的交换是通顺的。其次能够保障对设施的百分百兼容，保障云边端这三局部能够互通有无。如果没有云或者说不想联网，那么也能够保障只在边缘侧和设施侧进行部署，也是一个十分好的、十分残缺的私有化解决方案。
Shifu实现的成果是把这种传统的管制架构，比方图里的工业软件ANDON、EMS、SCADA跟底下的控制器设施进行连贯的复杂性升高。在实在的工业现场。异构设施PLC、HMI的联系方式不一样，所以咱们就须要思考如何连贯到MES零碎，这些是须要高度定制化的，而且牵一发而动全身，十分难以复用。
Shifu就是用来改善这个问题。Shifu能够把上层局部的这些业务全副兼容，北向凋谢的就是残缺对立的API，不须要任何学习副本，只须要进行调用。实际上咱们凋谢的是HTTP，比如说咱们在调用的时候间接调用HTTP API就能够实现这所有。这就是Shifu提供的一个十分好的对立计划。
4、Shifu利用案例
咱们方才提到了Shifu框架，其实该框架曾经在很多客户那里失去了正确和宽泛的利用。
第一个例子是工业4.0液体实验室。客户有一系列实验室，实验室里有一堆分液器、美标仪、液体定量器、主动导引车、机械臂等货色。咱们有必要理解这些货色是干什么的吗？其实没有必要，咱们不须要晓得它们是什么，只须要晓得有什么能力。比如说某个仪器提供摇试管的能力，那么Shifu就能够将其形象成API，摇这个动作就是一个API，用户就能够进行调用。
Shifu对所有的设施做的都是这些事，把设施自身变成一系列API。有一个乏味的事就是机械臂和主动导引车，这两个其实能够组装到一起的，而且咱们在Shifu外面也实际上真的把它俩组装成一起。这两个是一个数字实现或者说一个微服务，这是Shifu能够提供的比拟高级的能力，设施的聚合。
整个流程是把机械臂安在导引车上，而后拿这些试管别离送到分液器上，再送到酶标仪上，再送到震荡器里进行解决，而后再拿下来送到另外一个机器上。Shifu管制的就是这一套流程，它管控和编排所有的设施，而后运行用户的自动化的生产逻辑。
软件的架构如上图所示。其实也并不简单，Shifu这边有一个Shifu Controller，相当于一个中枢，这些node用户能够本人定义， processing unit蕴含了解决液体的货色，MovingArm是一个治理主动导引车加机械臂合起的一个聚合。其实这是一个非常简单的架构，Shifu能够反对边缘平台Prometheus，SQL，MQ等对底下数据利用。
以下是用户应用Shifu的办法。用户首先提供驱动文件（设施厂商提供），不论该文件是什么格局，是可执行文件也好，是Python Library也好，是动态链接库也好，都无所谓，间接提交到Shifu平台上，Shifu就能够给它打包，变成能够应用的货色。而后进行文件配置。
配置文件就须要用户填写一些货色了。用户填写内容包含硬件设施sku、硬件设施的名字、驱动镜像的名字、以及这个设施是怎么连贯的，它的连贯形式的名字以及它须要用到哪些API。就检测办法而言，无限状态机的自动化设置这些都是可选的，依据用户的需要来决定填什么内容。
简略来说无限状态机是一个比拟高阶的个性，它用于实现简略自动化，决定了设施在哪个状态下接管到另外一个命令，会转移到哪一个新的状态之中，其实简略来说就是依据以后的环境以及以后的命令，进行自动化应答的一个个性。
第二个例子是咱们跟中国船舶进行的第一轮单干，在中国第一艘自主大油轮船上部署有Shifu的生物降解零碎。“首制船”的生物线零碎是装置在每条船的一部分，而后而后船上会有很多个生物链零碎来解决厨余垃圾。咱们在船上部署了 Shifu Framework，保障了其能够很疾速敏捷地降级或者更改，以及操控生物业余零碎。
上图是交付发云边独立集群解决方案。首先咱们在云端应用 k8s收集船上所有的数据进行剖析，而后在边缘端（也就是船上）部署k3s，能够实现一些在边缘端做的简略利用，包含一些小AI解决，比如说实时报警、机电管制等。
第三个例子是咱们跟中国船舶进行的第二次单干实现云边端协同。利用阿里的OpenYurt实现了云边的买通。如此一来，咱们不仅能够保障这个零碎能服务于每一艘船，还能够服务于整个船所形成的船队，或者说寰球的所有船。
最初一个例子是给某央企提供的基于AR设施的AIoT近程操作和运维的场景。图示是一个AR巡检的场景，咱们的指标是应用AI对于工人操作进行领导和检测。简略来讲，工人通过戴 MR头盔，能够实时依据 MR头盔给他的提醒进行设施操作去进行学习，同时MR头盔也会检测操作是否出错，以及MR头盔会看四周的环境，来通知他下一步要干什么。
Shifu把MR头盔以及场景里的机器设备，以及包含传感器进行虚拟化，而后保障 AI在解决这些货色的时候，用到的资源是足够的，并且没有任何节约。
上图的软件架构十分像之前的液体实验室，惟一区别就是它多了一个AI core。在边缘端有一个AI core能够解决场景里的所有MR头盔给他发送的信息。MR头盔下面还也有一个AI on Device（机载AI/设施端AI），能够辅助设施解决工人当初的操作状况。Shifu接入的设施是MR头盔的数字孪生，机器下面的传感器，环境的传感器以及摄像头。
整个工作流程首先工人在这场景外面戴上MR头盔，头盔上会给他眼前显示出操作流程，工人就跟着操作流程进行解决。而后而后依据 MR头盔 POV，还有AI on Device就会判断工人操作是否正确，正确就进行下一步，谬误就立马叫停，再进行其余解决。
Shifu会记录所有检测到的操作，记录设施的报警，记录每一步他做了什么。如果开启，还会以视频流或者是照片的模式记录摄像头拍到的货色。若须要，还会上传到云端或者上传到边缘端。工程师也能够近程连贯到MR头盔的deviceShifu，而后开始开启视频通话。视频通话为双向通话，工程师能够看到工人的POV，工人也能够看到工程师的视频通话界面，这也是通过deviceShifu进行视频流传输来失去的。
Shifu自身也会收集来自头盔，设施，传感器，摄像头等设施的所有数据，并传输给边缘侧以及云端进行剖析。这些数据包含所有，比方读数、文本模式、声音视频等所有货色。最初云端或者边缘的AI会将本人剖析进去的后果传到上传到Shifu平台数据库，以及在必要的时候，通过deviceShifu通知工人下一步操作等更加下层的提醒，或者说是进行相干设施，保障操作不对其余的设施产生影响。
上述三个案例次要讲述了Shifu平台为液体实验室、船还有 MR车间到底提供了哪些云原生方面的帮忙，以及AIoT方面的帮忙。能够看到，客户对此是受益匪浅的。咱们也心愿把Shifu的这种能力提供给更多的AIoT利用场景，来帮忙大家更好的降本增效。
扫码增加小助手，支付演讲报告
开启物联网解决方案征询