作者： 王耀南，江一鸣，姜娇，张辉，谭浩然，彭伟星，吴昊天，曾凯
起源： 自动化学报
原文地址：「机器人感知与管制关键技术」最新 2023 钻研综述
入群邀请： 7 个业余方向交换群 + 1 个材料需要群
智能机器人在服务国家重大需要，引领国民经济倒退和保障国防平安中起到重要作用，被誉为“制造业皇冠顶端的明珠”。随着新一轮工业革命的到来，世界次要工业国家都开始放慢机器人技术的战略部署。而智能机器人作为智能制作的重要载体，在深刻施行制作强国策略，推动制造业的高端化、智能化、绿色化过程中将施展重要作用。
本文从智能机器人的感知与管制等关键技术的视角登程，重点论述了机器人的三维环境感知、点云配准、位姿预计、工作布局、多机协同、柔顺管制、视觉伺服等共性关键技术的国内外倒退现状。而后，以简单曲面机器人三维测量、简单部件机器人打磨、机器人力控智拆卸等机器人智能制作零碎为例，论述了机器人的智能制作的利用关键技术，并介绍了工程机械智能化无人工厂、无菌化机器人制药生产线等典型案例。最初探讨了智能制作机器人的发展趋势和所面临的挑战。
00 引言
近年来，智能机器人作为国民经济与社会倒退的基础性与战略性产品。在服务国家航空航天、轨道交通、陆地舰船、工程机械制造等畛域重大需要。引领国民经济倒退和保障国防平安中起到重要作用。被誉为“制造业皇冠顶端的明珠”。随着新一轮工业革命的到来以及人工智能、云计算、物联网等技术疾速倒退。机器人技术受到美国、欧盟等世界发达国家的高度重视。同时世界次要工业国家都开始放慢机器人部署的步调。
2013 年。德国率先提出“工业 4.0”。旨在推动工业现代化和数字化转型。在新一轮工业革命中霸占先机；2017 年。美国推出“国家机器人打算 2.0”。强调机器人可扩展性。通过多机器人合作实现简单环境下分布式的感知、布局、口头和学习。晋升机器人的作业范畴。2020 年美国公布的“机器人倒退路线图”以及 2021 年公布的“无尽前沿法案”。均将机器人与先进制作技术列为倒退重点；而欧盟早在其“火花打算”、“地平线 2020”等打算。以及日本公布的“机器人新策略”。都着重强调了机器人的作业能力；此外。我国的“智能制作 2025”等。也明确了机器人在推动制造业智能化转型降级中将施展重要作用[1−3]。
机器人感知与管制是实现机器人智能化作业的要害核心技术。机器人须要感知周围环境和辨认作业对象。从二维到多维信息的感知和交融。实现疾速、精准的环境感知和指标辨认。充当机器人零碎“眼睛”。感知环境之后。联合智能布局决策和自适应控制等办法。像“大脑”一样为机器人零碎提供最失当的管制命令。以使得机器人做出相应的动作和反馈。
近年来，随着深度学习、大数据、智能管制等技术的疾速倒退。机器人的智能感知与自主作业的程度也在迅速晋升。如 DeepMind 开发的 AlphaGo。能够让机器人在一直的游戏中自我学习与进步。从而实现更加智能的决策与管制；特斯拉的人形机器人。其搭载了激光雷达、摄像头、超声波传感器等。用于感知周围环境和避开障碍物。还装备了一个自主学习零碎。能够一直学习和改良本人的行为和决策。从而更好地适应不同的工作和场景；波士顿能源的 Spot 机器狗。能够与人类进行互动。如辨认和追踪人类。并在人类的批示下执行指定工作如检查和搬运物体。
以后，云计算、物联网和大数据等新兴信息通信技术疾速倒退。为机器人的高端制作利用提供了新的思路和倒退契机。数字化、网络化、智能化交融翻新引领将来工业倒退已获得宽泛共识。我国在《十四五布局和 2035 年近景指标大纲》也明确提出要“放慢推动制作强国、品质强国建设。深刻施行智能制作和绿色制作工程。倒退服务型制作新模式。推动制造业高端化智能化绿色化”。而传统的人工以及专机加工。加工品质一致性差、效率低且只能实现小批量生产。已无奈满足智能制作需要。区别于传统工业机器人简略、重复性劳动。高端制作机器人是更信息化、网络化、智能化、柔性化的机器人[4]。在智能工厂中，机器人的作业环境日益非结构化。作业工序趋于柔性化，作业对象日趋定制化，生产的动态性对机器人的环境感知与控制技术提出了越来越高的要求。在将来的智能工厂中，变批量、多种类、定制化、高柔性的生产模式将成为支流。机器人也将失去更加宽泛的利用。机器人感知与控制技术为智能工厂的高适应、高精度、智能化作业提供保障。
01 智能制作机器人共性关键技术
1.1 机器人感知关键技术
视觉感知是机器人零碎的重要组成部分，在简单的三维工业场景中利用视觉传感器获取周围环境的实在空间信息，并进行预处理、配准交融以及空间场景外表生成等过程，实现对外界环境实在的刻画及数字模型的重建，为机器人在工业制作中提供丰盛的二维和三维信息。智能制作机器人通过视觉等感知零碎，具备了实时察看作业场景的能力，能够极大地加强其智能化水平，如图 1 所示。本节将对双目三维环境感知、3D 点云配准、位姿预计等技术进行介绍。
1.1.1 三维环境感知
三维环境感知是计算机视觉畛域的外围，它通过模仿人类双眼视觉零碎的观测原理，利用双目相机对获取图像进行立体匹配失去图像中像素点的精确视差，联合双目相机参数获取周围环境的精确深度信息，并利用机器学习算法实现场景指标感知辨认与定位(图 2)。机器人通过双目视觉感知零碎，具备了实时察看作业场景的能力，极大地加强了其智能化水平，可能更加智能地实现简单非结构化作业环境下的各种加工作业工作。
双目立体匹配算法可划分为匹配代价计算，匹配代价聚合，视差计算，视差优化等四个步骤 [5]。匹配代价计算通过找出参考图像(通常为双目图像的左图像) 中待匹配像素与指标图像 (通常为双目图像的右图像) 中候选像素的匹配对应关系。为了进步匹配代价计算方法的鲁棒性，代价匹配函数 [6−7] 以像素为核心的部分邻域窗口为匹配单元，计算参考图像与指标图像中对应匹配像素间的相关性。
Martin 等 [6] 提出一种零均值归一化相互关代价函数办法，能够弥补图像部分增益的变动，并且能够打消高斯噪声的影响，同时放弃像素值的空间仿射一致性。Zabih 和 Woodfill[7]提出了 Rank 变换，利用部分区域像素值的绝对秩序性统计信息来实现匹配代价计算。匹配代价聚合 [8−10] 次要通过对匹配代价空间进行代价聚合来缩小谬误匹配或歧义匹配的像素区域。因为单个像素匹配代价的不稳定性，代价聚合往往在代价空间中通过对部分邻域内的匹配代价进行加权聚合，来进步立体匹配算法的性能。Tomasi 等 [8] 利用边缘等特色信息，采纳传统的双边滤波器算法实现代价聚合。Zhang 等 [11] 提出一种基于非规定部分十字臂区域的代价聚合算法，可能很好地利用场景的构造和轮廓等特色信息，缩小深度不间断区域的视差预计误差。视差计算通常应用 WTA(Winner take all)策略选取最佳匹配视差，然而间接应用 WTA 办法来计算视差可能会导致视差预计误差大。因而，为了取得精确的视差预计后果，视差计算通常能够转化为能量最小化与优化问题，通过结构能量函数，求取能量函数的最小化来确定最优视差，如基于图割 [12] 的视差优化办法、基于置信度流传 [13] 的视差优化办法、基于动静布局 [14] 的视差优化办法和基于随机行走 [15] 的视差优化办法。视差优化是双目立体匹配算法的后处理步骤，来进一步优化细化预测视差图的误差。罕用视差后处理算法次要包含基于宰割 [16] 算法和基于置信度度量 [17−19] 算法。基于宰割的视差后处理办法通过利用双目图像的边缘和轮廓等图像细节特色信息，来疏导视差优化算法细化视差预计谬误，进一步提高双目立体匹配办法的性能。如 Yan 等 [20] 提出一种基于超像素宰割的视差优化算法来解决双目立体匹配遮挡的问题。该办法利于超像素宰割算法来提取图像的边缘和轮廓特色信息，并联合超像素宰割图预测出毛糙的视差后果，利用马尔科夫随机场在毛糙视差图的 3D 邻域空间中检测并优化遮挡指标的匹配视差。场景指标感知算法次要利用机器学习算法实现场景指标感知辨认、检测与定位。如 Yang 等提出一种基于深度学习的单阶段指标检测网络模型，通过建设一种指标预测解耦检测新范式，来正当推断不同指标的最合适地位，实现目标辨认与定位 [21]。Wang 等提出一种新型边缘放弃和多尺度上下文神经网络，高效生成具备尖利对象边界的显著性特色图，实现高精度指标检测，解决传统基于像素的卷积神经网络(Convolutional neural network，CNN) 办法因为卷积层和池化层而产生的含糊边界问题[22]。
配备双目视觉感知零碎的机器人能够作为智能制作自动化生产线中的生产作业单元，承当产品、元件和零部件等指标物体的测量、检测、辨认与疏导加工等作业工作。依据机器人双目视觉感知零碎的利用场景，可将其划分为辨认、检测、测量与定位等四个方面的利用场景；
1）基于双目视觉的辨认性能 [23] 是指辨认指标物体的物理特色，包含形态、色彩、字符、条形码等，其准确性和辨认速度是掂量的重要指标，广泛应用于机器人自动化产品辨认、分类与分拣中。
2）双目视觉检测零碎 [24] 具备非接触、高效、低成本、自动化水平低等长处。基于双目视觉的机器人自动化检测可能代替传统的人工检测，解放人工，去除人工抽检带来的低效、误检与漏检等问题。
3）通过基于双目视觉的精细测量零碎[25]，机器人能够取得加工作业对象的形态、地位、尺寸和方向等作业信息，比方打磨、焊接、铣边等加工指标的余量测量，而后进一步在视觉的疏导下进行加工作业。
4）基于双目视觉定位的机器人作业 [26] 是指通过双目视觉获取指标物体的坐标和角度信息，主动判断物体的地位，来进一步疏导机器人抓取、搬运、焊接与拆卸等。
1.1.2 3D 点云配准技术
3D 点云配准在工业场景具备重要利用，通过求解出同一坐标下不同姿势点云的变换矩阵，利用该矩阵实现多视点扫描点云的准确配准，最终获取残缺的 3D 数字模型，在三维测量、逆向工程、即时定位与建图等畛域有诸多利用。
1.1.3 位姿预计技术
机器人在智能工厂中精确实现上料、拆卸、分拣、搬运工作，必须利用视觉零碎从作业场景中检测出指标物体并预测其三维位姿[49]
1.2 机器人布局关键技术
在智能工厂中，机器人平安正当的静止布局和任务分配是实现高效、稳固和平安实现简单作业工作的重要根底。在执行制作工作时，思考到狭小空间以及机器人简单多维构造，如图 4 所示，机器人有自主运动布局能力，可能实现避碰布局，满足由机械构造环境等带来的静止限度，是机器人在智能工厂中运行的必要因素。
1.3 机器人管制关键技术
在智能工厂中，机器人的管制性能不仅影响到最终的加工成果，还影响到加工过程的平安。高精、高效、高柔性、高稳定性的控制策略为工件的平安制作提供了保障(图 4)。
02 智能制作机器人利用关键技术
2.1 简单部件机器人三维测量
三维测量在工业制作畛域有大量的利用，依照基本功能能够分为尺寸测量、外表测量、坐标测量[114]。目前支流的工业三维测量方法包含，激光跟踪仪、激光三角测量、摄影测量零碎、构造光、航行工夫技术等，图 6 为工业三维测量技术倒退历程。三维测量包含数据获取、数据处理、测量剖析等次要过程，然而因为传统手工测量形式在数据获取过程不足自主性，须要引入视点布局、点云配准等技术，进步机器人三维测量的智能自主化水平。
2.2 简单部件机器人力控磨抛
磨抛加工是外表改性技术的一种，可能无效进步部件外表的平整度和光洁度，获取特定的外表粗糙度，打消焊接等加工过程中产生的应力，具备柔性灵活性强、作业效率高、加工一致性好等长处。KUKA、ABB、FANUC、YASKAWA 等机器人企业均发展了磨抛机器人的利用钻研。如图 9(a)所示，KUKA 公司研制的 KR 120 R2900 Fextra 机器人，通过将该机器人和负荷能力为 750kg 的三轴式定位安装，在不伤害工具且毛刺形状不同的状况下，可能确保高标准、高质量实现打磨工作。如图 9(b)所示，奥地利 FerRobotics 公司开发了基于气控系统的浮动打磨与抛光末端零碎，实现在繁多方向上的疾速浮动打磨与抛光，浮能源控制精度最高可达到 1N，用户通过疾速简便的编程，在晋升品质的同时节约更多老本。如图 9(c)所示，加拿大 ESI 公司依靠自研的合作机器人，开发了 E -Stial 柔性打磨机器人工作站，利用实时力控反馈、精细轨迹调整、精细接触力调整等先进技术实现了平安、稳固、高效的抛光打磨作业，克服了传统磨抛形式调试工夫长、成品品质不统一等毛病。美国 Carnegie Mellon University[133]等科研机构从前沿实践摸索的角度对磨抛机器人进行了钻研。文献 [134−135] 设计了磨抛机器人含糊 PID 管制办法，采纳末端地位和关节角度参数设计含糊规定，使 PID 控制器参数在每次采样时在线更新，进步了零碎的响应速度和稳态精度。基于含糊逻辑办法 [136] 和基于机器学习的办法 [137] 被用于对磨抛机器人要害模型信息进行估算，从而减小对于模型信息的依赖。国内的科研机构也对磨抛机器人的相干技术发展了继续的钻研，华中科技大学陶波传授等针对大型风电叶片加工区域大、形态简单、工作布局难等问题，提出了基于几何及工作信息的大型简单构件加工区域划分办法[138]。Zhao 等以风电叶片外表打磨为利用背景，构建了大型简单构件机器人挪动打磨硬件零碎，并在风电叶片外表打磨试验中进行了系统性验证[139−140]。
2.3 机器人柔顺智能拆卸
轴孔类零部件拆卸是工业机器人利用的重要场景。传统机器人拆卸依照示教或者离线编程所设定的动作进行，难以适应一直变动的环境。为满足小批量多种类的生产模式，实现更加简单的拆卸工作，现有钻研通过将视觉传感器、力传感器和工业机器人联合利用，使机器人具备对周围环境高度感知的能力，可能依据环境变动做出相应调整 Dietrich 等建设轴孔接触状态与力信息的关系图，通过关系图纠正轴孔之间的位姿误差，实现轴孔拆卸工作 [141]。Liu 等提出了基于螺旋插装策略的飞机尾翼轴孔拆卸办法[142]。Lefebvre 等[143] 提出机器人被动柔顺管制办法，通过接触状态布局结合力控算法，可能实现自主拆卸静止。Abdullah 等 [144] 建设了拆卸过程中轴孔之间的绝对地位与接触力 / 力矩的映射关系，并依据人为制订的决策规定来布局拆卸静止轨迹。
近年来基于强化学习的机器人拆卸办法也受到宽泛关注。传统机器人拆卸办法中不具备自学习的能力，强化学习算法通过管制机器人和环境一直接触试错学习到适合拆卸策略，可能自主实现简单拆卸工作。Inoue 等提出了基于深度强化学习的高精度轴孔拆卸办法，利用长短时记忆网络和强化学习算法联合无效的事实机器人拆卸工作[145]。Chen 等提出了一种根底策略迭代的强化学习办法，实现了具备未知零碎动静的间断工夫零碎的稳固管制[146]。Luo 等提出了面向齿轮的轴孔拆卸工作的机器人控制器，通过最优控制办法生成拆卸过程中的静止轨迹，可能通过几次训练稳固的实现拆卸工作[147]。
03 智能制作机器人典型利用案例
3.1 高端制作智能无人工厂
智能无人工厂也称智慧工厂，是在数字化工厂的根底上，利用工业互联网等技术晋升工厂制作效率和经营程度，进步生产过程的可控率，从而实现制作企业的降本提质增效以及转型降级。依照德国的 Scheer 传授提出的智能工厂构架实践，智能工厂能够分为基础设施层、智能配备层、智能产线层、智能车间层和工厂管控层五个层级 [148]。随着机器人、人工智能及增材制作等新兴技术信息迅速降级，为制造业推动智能工厂建设提供了良好的技术撑持。德国梅赛德斯飞驰的 56 号工厂是依照工业 4.0 规范打造的将来工厂，采纳了无人运输系统、数字孪生、主动分拣等技术。工厂大量的应用了 AGV 装配线，能够实现无轨装配工位，无轨主动运输，并与主动分拣、DTS(Data transmission service) 零碎相匹配应用，可实现多种车型混线生产。在保障大规模生产的同时，也保障产品质量并降低生产老本。三一团体的“18 号厂房”工程机械总装车间，采纳 5G+AGV 小车实现智能分拣和精准配送，在智能化调度零碎的管制下，上百台机器人可能高效协同工作(图 10); 采纳 5G 高清传感器，组装作业时能够主动修复偏差，缩小因磕碰导致的品质缺点; 大件激光切割软件及零碎，在多种类钢板物料特色辨认技术、基于激光测量的物料精确定位技术、激光跟踪与实时寻边技术、机器人位姿鲁棒控制与在线弥补技术以及基于激光寻边的切割轨迹光顺与优化技术等五个方面获得翻新冲破；通过制作经营零碎、物流管理系统、近程控制系统、智能搬运机器人等系统优化使用与深度交融，在数字化“加持”下，实现了从一块钢板进来到一台整车进来的全流程自动化生产。
3.2 高端制药机器人智能检测生产线
高端智能医药品质检测次要是指通过新兴的机器人技术来代替人工进行品质检测的过程。相比于传统人工检测而言，它具备稳定性好、继续工作工夫长、精度和效率低等长处。日本 Eisai 公司、德国 BrevettiCEA 团体、意大利 Seidenader 等企业纷纷发展机器人医药检测技术钻研。
我国制药配备需求量大，医药制作配备的性能是保障药品品质的根底。为解决传统药品品质检测环节依赖人工、漏检、误检频发等问题，需研制高端制药机器人视觉检测管制关键技术与配备，实现制药过程无菌化、无人化生产，保障药品品质平安。高端无菌化制药机器人面临的次要挑战包含: 制药技术装备工艺简单，无菌化管制难; 制药过程净化颗粒渺小、品种多、检测难; 高端制药过程中多工序、多任务、多机器的协同管制难。湖南大学团队针对高端制药配备感知与管制的重大需要，攻克高端制药灌装封口机器人合作管制、高端制药检测机器人视觉辨认、高端制药分拣机器人视觉管制等关键技术，研制出无菌化配药双臂机器人、药品灌装−转运−封口机器人、药品品质视觉检测机器人、药品分拣机器人等自动化生产线配备，如图 11 所示。
基于机器视觉的医药检测是在药物出厂前，通过对药物的静止图像或视频进行剖析和解决，从而实现对药物的一系列品质检测，例如，液体环境中的外来异物检测、冻干粉中的杂质检测、外包装和标签检测等。针对安瓿瓶型，Ge 等设计了一种自动检测安瓿注射杂质的零碎，采纳空间在线极限学习机算法，验证了该算法在辨别气泡和异物上的可行性[149]。针对药液中的不溶异物检测办法，张辉等提出了一种可行的高速度、高精度的机器视觉检测办法，能在线检测 30 多种强劲异物，检测精度达到 50μm，异物检出率 99。7% 以上，满足医药强劲异物品种繁多、特色多样、高速高精度的在线检测要求[150]。
04 智能制作机器人发展趋势及挑战
以后，云计算、物联网和大数据等新兴信息通信技术疾速倒退，为高端制造业的倒退提供了新的思路和契机。
1）“云−边−端”交融的智能制作。“云−边−端”交融的作业模式通过深度感知制作过程中生产实体的个性和状态，动静 / 在线地在工业云 (云) 和生产单元 (边、端) 间进行数据交换和计算散发，进而高效、无缝、通明地协同应用云端和边缘端的计算、存储及数据等资源，以实现网络化、智能化、柔性化生产。在智能制作机器人协同作业场景中，在“云−边−端”交融的架构集成了通信与计算技术，克服了个体设施信息存储和计算资源等的固有局限，可能较好地撑持机器人零碎运行(如图 12)。无效地建设云边交融的网络架构，增强云边端协同、智能共享的顶层设计，将是将来智能制作机器人钻研的重点。
2）新一代智能制作零碎由通信、计算、感知、管制与平安体系等组成，通过新一代人工智能技术，智能制作零碎将具备“感知−决策−执行”的闭环特色，而在动静环境中构建机器人的感知−决策−管制协同作业机制具备重要意义。 在工业互联网平台设施互联互通的根底上，利用分布式传感技术实现生产场景因素的全面感知，以适应简单制作场景下感知对象异构、烦扰因素多等挑战; 灵活运用集中式、分布式与群体智能，建设平安高效、强鲁棒、易扩大的任务调度和动静布局体系，设计机器人自主决策机制，保障大规模制作工作和工序颠三倒四地运行。
3）人机交融智能。 人机交融技术一直深入，标准化构造、柔性人机交互技术一直倒退，促成智能制作畛域工业机器人的便捷性和牢靠水平越来越高。人机交融在智能机器人生产设计中，越来越受到重视。人机协同既具备人类认知能力，又具备机器人的高效率，通过人类与机器人的智能合作，可能实现简单的加工、拆卸等工作，同时晋升了安全性与便捷性，是人机交融的一个重要倒退方向。同时，随着机器人技术日益成熟、智能仓储机器人等产品的疾速倒退，人机合作技术在电子、修建、家居等个别行业的利用也在迅速演进。
4）集群机器人技术。 智能制作机器人波及先进信息技术、机器人技术、自动化技术以及机械工程与资料工程穿插交融等前沿制作技术。面对大规模的智能制作工作，机器人往往处于扩散、低连通环境，为适应需要多变、异构感知对象、突发问题等状况，需依据特定感知工作，精确形容跨域多实体、多机器的动静协作关系，进而摸索自适应的群组动静合作感知与交融策略，实现智能制作机器人的跨域交融感知。还需在动静和多维信息收集的根底上，对简单问题进行自主辨认、判断、推理，并做出实时性的决策，实现集群机器人的精准感知与实时布局，集群机器人无望在新一代智能制作零碎施展重要作用，如图 13 所示。
05 论断
随着新一轮工业革命的到来以及人工智能、云计算、物联网技术的疾速倒退，世界次要工业国家都开始放慢机器人技术战略部署。本文首先对机器人感知与管制的要害共性技术进行了综述和介绍，如三维环境感知、3D 点云配准技术、位姿预计技术、静止布局技术、多机协同布局、精准控制技术、柔顺控制技术、视觉伺服技术等。而后介绍了机器人利用的关键技术，如机器人三维测量、机器人加工与拆卸等，最初总结了机器人零碎在智能制作畛域利用典型案例，并探讨了智能制作机器人的发展趋势和所面临的挑战。
1. 书籍举荐 -《强化学习与最优控制》
- 两万字详解主动驾驶开发工具链的现状与趋势！
- 主动驾驶布局管制罕用的管制办法有哪些？
- 无人驾驶零碎技术架构梳理：从感知、布局到管制
- 书籍举荐 -《机器人门路布局与合作：根底、算法与试验》
- 多车平面事件相机数据集：用于 3D 感知的事件相机数据集