自动驾驶 | 乐趣区

关于自动驾驶:Enhancing-WiFi7How-IPQ9574-and-IPQ9554-Collaborate-with-QCN9274

<article class=“article fmt article-content”><h2>Enhancing WiFi7 Network Efficiency: How IPQ9574 and IPQ9554 Collaborate with QCN9274</h2>In the fast-paced world of wireless networking, the pursuit of efficiency is paramount. With the advent of WiFi7, the latest iteration of wireless technology, the demand for faster speeds, greater reliability, and improved efficiency has never been greater. At the heart of this technological revolution lie the IPQ9574 and IPQ9554 system-on-chips (SoCs), working in tandem with the QCN9274 radio frequency (RF) chip to drive network performance to new heights.Understanding the Components Before delving into their collaborative efforts, it’s essential to grasp the roles of each component:IPQ9574: This powerful SoC serves as the brain of the operation, providing processing power and advanced networking capabilities. With support for the latest WiFi7 standards, the IPQ9574 plays a crucial role in enabling high-speed data transfer and low-latency communication.IPQ9554: Complementing the IPQ9574, the IPQ9554 offers additional processing capabilities and network management functions. Together, these two SoCs form a formidable duo, capable of handling the demands of modern wireless networks with ease.QCN9274: As the RF chip responsible for transmitting and receiving wireless signals, the QCN9274 plays a vital role in ensuring reliable connectivity and optimal performance. Its seamless integration with the IPQ9574 and IPQ9554 is essential for achieving maximum throughput and minimizing interference. Collaboration for Efficiency The collaboration between the IPQ9574, IPQ9554, and QCN9274 is evident in several key areas:Optimized Data Processing: The IPQ9574 and IPQ9554 work in concert to efficiently process data packets, prioritizing critical traffic and minimizing latency. By leveraging their combined processing power, these SoCs ensure smooth and responsive network performance, even under heavy load.Dynamic Channel Management: With support for advanced channel bonding and frequency agility, the IPQ9574 and IPQ9554 dynamically adjust channel configurations to maximize spectrum utilization and minimize interference. This collaborative effort enhances network efficiency by optimizing channel selection based on real-time environmental conditions and network traffic patterns.Beamforming Technology: The IPQ9574 and IPQ9554 leverage beamforming technology to focus wireless signals towards connected devices, improving signal strength and coverage. By working in tandem with the QCN9274’s RF capabilities, they ensure that data is delivered reliably and efficiently, even in challenging environments.Smart Antenna Management: Through intelligent antenna management algorithms, the IPQ9574 and IPQ9554 coordinate the operation of multiple antennas to mitigate signal degradation and optimize throughput. This collaborative approach enhances WiFi7 network efficiency by maximizing the use of available spatial diversity and minimizing the impact of interference.Conclusion The collaboration between the IPQ9574, IPQ9554, and QCN9274 represents a significant milestone in the evolution of wireless networking technology. By harnessing their combined capabilities, businesses and consumers can enjoy the benefits of WiFi7 connectivity, including faster speeds, greater reliability, and improved efficiency. As the demand for wireless connectivity continues to grow, the collaborative efforts of these innovative components will play a pivotal role in shaping the future of wireless networking.WallysTech: Your Partner in Wi-Fi 7 Innovation At WallysTech, we understand the significance of keeping pace with the ever-changing landscape of wireless connectivity. With the IPQ9574 chip at its core, our WiFi 7 routerboard is designed to meet the demands of modern networking. Whether it’s the lightning-fast speeds of the 2.4GHz and 5GHz bands or the groundbreaking capabilities of the 6E spectrum, our routerboard is built to deliver a seamless and efficient user experience. One of the key features of our IPQ9574 routerboard is its customization support. We recognize that each project may have unique requirements, and we are committed to catering to our customers’ specific design needs. While we will be launching a standard version of our product, we also offer OEM/ODM customization options for customers with special project requirements. In terms of hardware, our IPQ9574-based WiFi 7 routerboard has been developed with versatility in mind. It is capable of supporting the QCN9274 WiFi 7 DBDC or Single-band M.2 interface network card, providing increased flexibility for connectivity options. This adaptability ensures that our routerboard can seamlessly integrate into a wide range of projects and applications. Software-wise, the IPQ9574 routerboard comes pre-loaded with a specially developed software version by WallysTech. This software not only meets the basic demands and functions of modern networking but also provides a user-friendly interface for easy setup and configuration. We believe that technology should be accessible to everyone, and our software reflects this commitment to simplicity and usability.Explore WiFi 7 Network Card: DR9274 DR9274 (QCN9274) WiFi 7 M.2 Card is an exceptional wireless module developed and designed by Wallys. Powered by the Qualcomm QCN9274 chip, this M.2 module ensures outstanding reliability and performance for industrial wireless applications. It incorporates advanced features and supports the latest wireless standards, making it the ideal choice for various connectivity needs. Dual Band 2x2: This version supports both the 2.4GHz and 5GHz frequency bands or both the 5GHz and 6E frequency bands. Single Band 4x4: This version supports either the 2.4GHz, 5GHz, or 6E frequency band. Key Features: Dual-Band version Support: The QCN9274 WiFi 7 M.2 Card enables selectable operation on the 2.4GHz and 5GHz frequency bands or 5GHz and 6GHz frequency bands, providing enhanced network flexibility and improved data transmission rates. Single Band version Support: The Single Band version of the module is available for either the 5GHz or 6GHz frequency band, allowing users to select the frequency band that suits their specific requirements. We offer separate versions for the 5GHz and 6GHz frequency bands. Industrial-Grade Reliability: Engineered with industrial applications in mind, this wireless solution meets rigorous quality standards and delivers excellent performance in demanding environments. Advanced Connectivity: The QCN9274 WiFi 7 M.2 Card incorporates the latest wireless technologies, ensuring reliable and high-speed connections for industrial IoT, automation, and other wireless applications. Compact and Versatile Design: With its M.2 form factor, this card is designed for easy integration into a wide range of devices and systems, offering flexibility and convenience.Get in Touch with WallysTech For inquiries or to learn more about our WiFi 7 solutions, reach out to us at sales1@wallystech.com or visit website at https://www.wallystech.com/Routerboard/DR9574-wifi7-Qualcomm-… In a world where connectivity is king, the evolution of WiFi 7, driven by Qualcomm’s chipsets and WallysTech’s innovative solutions, is poised to reshape the future of wireless networking. Stay connected and embrace the wave of connectivity innovation!</article> ...

关于自动驾驶:Jetson-AGX-Orin开箱及配置

Jetson系列是Nvidia自2014年针对低中端嵌入式产品业务线。2022年6月，在GTC上颁布Jetson AGX Orin，不仅是堆料的降级，更是进一步设计教训的降级。Jetson AGX Orin 不仅囊括Nvidia最新模型减速技术DLA 2.0和CutLbass，更是以容器理念对Jetson开发平台的对立。通过docker 和 NGC container库，Jetson AGX Orin实现对任意Jetson开发环境的即时模仿。 Jetson Orin Nano 是2022年底颁布，2023年上市的最新Jetson开发板，搭载Jetson Orin芯片，更加面向集体开发者。Jetson Orin Nano 和 Jetson AGX Orin 一样应用eMMC内存。Jetson Orin Nano开发者套件次要分为官方版和CLB版本。从使用者角度来说二者差异不大，国产CLB版本是国产底板+Jetson Orin芯片，CLB版本带来的是能够购买HDMI版本和订制接口。官网版本则默认应用DP1.4接口。DP转HDMI线也会是潜在的坑，请应用带有DP口的显示器或者购买主动式DP转HDMI视频线。根底环境配置官网Getting Started链接 Jetson AGX Orin technical-brief 开机配置Jetson AGX Orin 和Jetson Orin Nano CLB版零碎预装在eMMC中，硬性要求通过显示器做Ubuntu开机配置，所以请应用DP线链接显示器，键鼠链接开发板，进行Ubuntuk开机配置。Ubuntu开机配置跟个别Ubuntu开机配置差不多，设置键盘，时区，语言即可。 Jetson AGX Orin 默认配装无线网卡，所以能够间接链接Wifi，对于Jetson Orin Nano，须要应用网线连贯网络。后续操作也根本会以Jetson AGX Orin为主。装置JetPack组件一个Jetson嵌入式开发板由以下几局部形成： Jetson Orin 芯片 + 底板 [开发板的硬件局部]Linux for Tegra Kernel [简称为L4T]Ubuntu System [Jetson agx Orin 为 Ubuntu 20.04]JetPack [包含CUDA，CuDNN， TensorRT等Nvidia开发工具SDK]Application SDK [包含Nvidia DeepStream 等]首先要确认以后L4T版本 ...

关于自动驾驶:2023-从纯小白到视觉SLAM开发者-学习路线图

【2023 从纯小白到视觉SLAM开发者学习路线图】共蕴含5个局部：（1）初学（Beginner）（2）相熟视觉SLAM（Get Familiar）（3）单目视觉SLAM（Monocular）（4）RGBD-VSLAM（5）Applying Deep Learning 前两局部，次要是根底知识点的梳理，各位搭档如果须要相干的书籍材料以补救根底，能够增加微信（puxiaoke6)，询问是否有相干的材料书籍举荐（收费服务）。论文集蕴含后三个局部中提到的各个次要论文，其中大部分论文均提供了代码或者我的项目地址，便于同学们在自学时深刻实际，取得更好地常识。注：1. 有些我的项目代码并非原作所提供的；2. 有些我的项目代码比拟早了，进行复现时应尽可能留神到当初与当初的技术变动；3. 每个人的根底不同，要依据本人的接触进行适合的学习路线调整，不要一味地依赖于现有的学习路线图！高清路线图&论文集及论文列表：https://t.zsxq.com/0eSgNxVLt 高清路线图&论文集及论文列表：https://t.zsxq.com/0eSgNxVLt

关于自动驾驶:视觉SLAM模型介绍算法框架及应用场景

作者：张长鸿湖南大学校稿：董亚微编辑：郑欣欣@一点人工一点智能入群邀请：7个业余方向交换群+1个材料需要群原文地址：视觉SLAM：模型介绍、算法框架及利用场景本文次要想应用尽量少的业余词汇来解释分明视觉SLAM是如何进行定位的（在某些表述上可能并不谨严），心愿对视觉SLAM有趣味的搭档能在刚接触SLAM时有个根本的理解，本文同时介绍了视觉SLAM的经典框架和利用场景。想要深刻学习的搭档，还请参考更业余更零碎的书籍和文献。 01 什么是SLAMSLAM（Simultaneous Localization and Mapping），也就是同时定位与地图构建，它是指搭载特定传感器的车辆、无人机等移动机器人，在没有环境先验信息（什么是先验信息？能够本人查一下）的状况下，在静止过程中，预计本人的静止状态，同时建设环境模型的一系列工作。目前大家接触比拟多的，曾经将SLAM技术利用于理论生存中的，就是扫地机器人了。咱们来想一下：扫地机器人来到一个生疏的环境后，是怎么去打扫一个垃圾呢？一个直观的想法就是机器人先确定本人的地位，而后确定垃圾绝对于本身的地位，这样就有了一个终点和起点，机器人只须要从终点挪动到起点就能打扫这个垃圾了。然而这是很直观的想法，而这个想法的前提是：咱们分明房间的地图结构，这样咱们能力更好地实现垃圾打扫的工作。所以扫地机器人须要实现的流程应该是：理解本人四周的环境，构建房间地图，确认本人与垃圾的地位，而后布局路线，挪动过来，实现打扫。而这整个流程中，构建地图、进行本身的定位，就是咱们SLAM的次要工作了。通过这样一个小例子，就能够体现出SLAM的作用，艰深地讲，SLAM要解决的次要是两个问题：我在什么中央？----定位周围环境是什么样？ ----建图而依据传感器类型的不同，SLAM能够分为不同的类型，如表1所示本文次要介绍的就是以相机为传感器的视觉SLAM。视觉SLAM是依据一张张间断输出的图像，从中推断相机的静止，以及周围环境的状况。接下来将介绍相机模型和相机静止，咱们将看到相机模型是如何利用已知的图像信息结构观测方程，并从观测方程解出相机静止，而获取相机静止后，到此也就实现了定位。咱们先从相机模型开始，一步步推导到最初实现定位。 1.1 相机模型相机的成像模型表示的是一个真实世界中的三维点到图像二维像素点的对应关系，即相机视线中的三维点能够在图像上找到对应的像素点，在不思考畸变的状况下，单目相机成像的现实模型为针孔模型，如图1所示，光心$ O$即镜头的核心，光轴即通过光心与物理成像立体垂直的直线，$ f $代表焦距，即针孔到物理成像立体的间隔，代表在相机坐标系下任意的三维空间点，通过光心，投影到二维物理成像立体中点，每个三维空间点对应物理成像立体上的一个像素。针孔模型通过成像过程中的几何关系建设三维世界到二维像素立体的映射关系，在数学上的形容就是一个函数关系式，即，也称之为观测方程，其中，二维像素坐标，三维空间点坐标P,K为相机内参矩阵，由相机本身的个性决定。 1.2 相机静止理解相机静止之前，须要先理解几个基本概念：世界坐标系：在视觉SLAM中，通常把拍摄第一张图像时的相机坐标系指定为世界坐标系，在被指定后不变且惟一，能够将世界坐标系了解为笛卡尔坐标系中的原点。相机坐标系：以相机的光心（小孔）作为原点的坐标系，其随相机的挪动而发生变化。相机的静止是刚体静止，刚体静止的坐标变换可由一个旋转矩阵（$R$）和一个平移向量（$t$）示意，思考一个三维空间点$P$，$P$点在世界坐标系下的观测值为，在相机坐标系下的观测值为，点P在不同坐标系下的观测值转换关系如下所示：（1）视觉SLAM零碎输出的信息是不同时刻的相机图像，咱们所要利用的就是图像的像素信息，假如在第一帧坐标系下，已知某一个空间点$P(X,Y,Z)$，$P$在第一帧图像和第二帧图像上的成像点别离是$p_1$，$p_2$。（2）通过相机模型，能够失去如下两个观测方程，$R$和$t$代表着第一帧坐标系到第二帧坐标系的旋转和平移$p_1=\frac{1}{Z_1}KP,p_2=\frac{1}{Z_2}K(RP+t)$。（3）能够依据8个这样的匹配点对$(p_1,p_2)$，求解上述方程，失去$(R,t)$。（4）$(R,t)$即代表着两个坐标系的转换关系，通常状况下，第一帧坐标系将被定为世界坐标系，因为世界坐标系是固定不变的，因而就能够失去第二帧相机坐标系的地位和姿势，也即实现了定位，定位也就是取得任意时刻的相机坐标系绝对于世界坐标系的地位和姿势。以上的几个步骤是对问题做了很多简化才失去的，理论状况下思考的因素要多得多，如相机类型的差别，相机静止示意办法的不同，对应的具体的求解过程都是不同的，须要更深刻的钻研和学习。 1.3 建图建图是指构建地图的过程。地图是对环境的形容，这种形容有很多种形式，要依据需要的不同构建相应的地图，地图的表现形式，次要被分为度量地图和拓扑地图两类。在SLAM畛域，研究者更关注度量地图。度量地图强调准确地示意地图中物体的地位关系。度量地图又分为浓密地图和稠密地图两类，其中，稠密地图仅示意环境中有代表性的空间点，如桌子的边缘等较容易从图像中辨认的点，而其它不具备代表意义的点则被疏忽，稠密地图次要用于SLAM的定位。绝对于稠密地图，浓密地图则重建环境中所有的空间点，如桌子的整个立体，二维的浓密地图由正方形的网格组成，三维的浓密地图由立方体的网格组成。通常，一个小块含有占据、闲暇、未知三个状态，以表白该网格内是否有物体，浓密地图次要用于机器人或智能汽车的导航和避障。 02 SLAM算法框架经典的视觉SLAM算法框架如图3所示，次要包含：传感器信息读取，前端（里程计），后端，回环检测和建图。须要阐明的是，不同类型的SLAM技术仅在前端的解决有所不同，后端所采纳的优化算法都是通用的。本节中呈现的专业名词会略多，如果不分明的话，须要急躁的多读几遍，波及到前沿的钻研方向如果感兴趣的话，能够找到原文理解一下。输出：采集相机图像，并进行预处理。前端（视觉里程计）：依据短时间内采集到的相机图像，计算相机的在移动机器人坐标系中的地位和姿势，也就是位姿，并建设部分地图。前端的支流办法有特色点法（间接法）和间接法两种。特色点由关键点和形容子两局部组成，关键点是指该特色点在图像中的地位，它能够在多帧图像中被检测到，并通过比拟形容子来建设配对关系，通过最小化重投影误差来优化相机位姿，最经典的间接法是orb-SLAM2。间接法没有特征提取的步骤，间接利用像素的灰度信息，通过最小化像素的光度误差来优化位姿，最经典的间接法是DSO。间接法和间接法的实践根底曾经较为欠缺，目前的改良方向就是在已有的实践框架中减少先验束缚如：尺度束缚，立体特色束缚，平行线特色束缚等，2022年美团在ICRA学术会议上发表的工作《EDPLVO：Efficient Direct Point-Line Visual Odometry》即对前端做了改良，将线特色扩大到间接法中，取得了最佳导航论文奖。后端：依据不同时刻视觉里程计计算的相机位姿，３维地图点和回环检测信息，对位姿和３维地图点进行全局的优化，后端解决的是SLAM过程中的噪声问题，在数学上被建模为最大后验概率预计问题来解决，支流的办法有以扩大卡尔曼滤波为代表的滤波器办法和非线性优化办法。滤波器办法模式更简洁，实用于计算资源受限的场景。非线性优化办法能更准确的优化相机位姿和地图点地位，但计算工夫更长，所需计算资源更多。回环检测：判断机器人是否达到过先前的地位，如果检测到回环，能够提供时隔更加长远的束缚，能够打消累积误差，次要是通过图像之间的相似性来判断，最经典的办法是词袋模型。随着深度学习的疾速倒退，基于CNN（卷积神经网络）和RNN（循环神经网络）的办法能够无效进步回环检测的效率。建图：依据预计的轨迹，建设与工作要求对应的地图。对于SLAM来说，地图是用来辅助定位的，但对于导航、避障和三维重建等工作来说，地图在其中扮演着更重要的角色，为了实现不同的工作，地图的模式也是不同的，常见的地图类型包含占据网格地图、八叉树地图、语义地图等以上是视觉SLAM倒退近20年所造成的经典框架，是研究者们多年工作的结晶，也是咱们发展本人钻研的根底，对于视觉SLAM这个畛域来说，目前越来越多的工作是联合深度学习发展的，包含语义宰割网络、深度预计网络、注意力机制等，这些网络能够与视觉SLAM的许多环节相结合，如特征提取和匹配、深度预计、姿势预计和重定位等，来进步视觉SLAM的整体性能，当然联合深度学习的视觉SLAM技术当初还不够成熟，确定做视觉SLAM的搭档，不妨一试哦~ 03 SLAM的利用场景这部分将次要介绍SLAM的三大利用场景：主动驾驶的高精度定位、自主移动机器人和室内场景的三维重建。在不同场景下，对算法的精度，计算资源和计算速度的需要是不一样的。针对不同的场景，要抉择适合的算法。 3.1 主动驾驶的高精度定位定位是高阶主动驾驶的要害一环，目前高速场景下的主动驾驶定位次要依赖于组合导航技术，高速场景下路况简略，车辆交互少，也无需频繁换道，在该场景下达到车道级/分米级的定位精度即可，组合导航（GNSS／INS）技术就能够满足该场景下的精度要求。在低速城区场景中，车道较窄，车流量大，尤其在十字路口这样简单的场景下，还会呈现车道变动，为了防止车辆变道压线或车辆碰撞，这时就须要车辆达到厘米级的定位精度，在该场景下，通常须要组合导航、视觉SLAM、激光SLAM等多种技术进行交融定位，来达到厘米级的定位精度。在没有GNSS信号的公开车库，隧道等场景，此时组合导航（GNSS／INS）算法生效，就必须依赖于视觉SLAM或激光SLAM进行定位。 3.2 自主移动机器人随着移动机器人的智能化水平逐步晋升，主动移动机器人曾经开始呈现在家庭服务、物流仓储与搬运、故障检测等畛域当中，已经只存在于工业特种场景下的移动机器人，正逐步走进咱们的日常生活中。不同场景下的机器人须要执行不同的简单工作，但良好的自主导航是实现绝大多数简单工作的前提要求，导航是指机器人可能从以后地位行驶至指定指标点，而精确的实现定位是自主导航的要害，如果谬误的预计了本身的地位，最初导航的后果可能就会差十万八千里，机器人天然就不可能实现指定的工作。 SLAM技术就能够满足机器人定位的需要，能够使机器人在未知环境下，在前进过程中同时实现本身的定位与建图，当确定了机器人在地图中的地位以及周围环境后，便能够设计门路布局算法，计算出机器人达到指定地位的轨迹，而后管制机器人沿着指定的轨迹静止，即实现了导航工作。目前视觉SLAM和激光SLAM技术在移动机器人上都有利用，因为激光传感器受环境影响较小，并且激光SLAM倒退技术较早，目前曾经能够大规模商用落地。相较于激光SLAM算法，因为相机易受光照和环境构造的影响，视觉SLAM算法的鲁棒性还无奈和激光SLAM达到同一水准，因而须要借助和IMU的联合，实现更好的鲁棒性和更高的精度。对于SLAM技术来说，要实现导航工作，构建地图是必要的，地图能够实现路标以及环境的可视化，此外，地图能够辅助机器人进行更优的定位以及失落地位后的从新定位，移动机器人须要的是3D浓密地图，而地图的规模是随着场景的增大而增大的，地图越大就意味着咱们须要更多的内存资源去存储地图，因而如何判断是否更新地图，如何高效存储、表征和更新地图是值得咱们钻研的。常识扩大：除了SLAM，目前支流的移动机器人定位技术还有组合导航（GPS/INS）、二维码导航/磁导航。 ...

关于自动驾驶:地下环境-九种3D-LidarSLAM算法评估

原创：董亚微一点人工一点智能编辑：一点人工一点智能原文：公开环境 | 九种3D Lidar-SLAM算法评估当机器人处在照明条件有余且无奈应用GPS的公开（SubT）环境中，其自主导航是一项极具挑战性的工作，这也促成了姿态预计和建图算法的钻研。受在此类环境中理论部署自主机器人需要的启发，本文介绍了3D SLAM算法的试验比拟钻研。该钻研侧重于具备开源实现的最先进的激光雷达SLAM算法，这些算法是 i）仅激光雷达，如BLAM，LOAM，A-LOAM，ISC-LOAM和HDL图SLAM ii）激光雷达惯性，如LeGO-LOAM，Cartographer，LIO-mapping和LIO-SAM。这些办法的评估是在地下隧道执行工作期间从装备3D激光雷达Velodyne Puck Lite和IMU Vectornav VN-100的Boston Dynamics Spot机器人收集的数据集进行的。在评估过程中，将机器人位姿和SLAM算法的3D隧道重建互相比拟，以找到在位姿精度和地图品质方面性能最牢靠的办法。 01 介绍同时定位与地图构建（SLAM）是一项具备挑战性的工作，它解决了未知环境下机器人自主导航的问题。在SLAM过程中，机器人应用车载感知和惯性传感器获取环境地图，同时尝试将本人定位在该地图内。鲁棒姿势预计是移动机器人管制的一项要害工作。在实验室环境中，它能够通过动作捕获零碎来解决。但并无奈满足将其部署到机器人导航的任何指标区域。因而，机器人的指标之一是可能独立于基础设施进行自主导航。在户外、宽阔地带，机器人能够应用全球定位系统（GPS）进行姿势预计。然而，在公开区域等GPS有效的环境中，这种解决方案将不起作用，尽快有时能够抉择装置额定的设施，然而这并不是实用于任何状况的。目前，曾经有了基于相机和测距传感器的SLAM算法，不过，这些算法通常须要疾速挪动计算机来提供实时地图构建和姿势预计。随着便携CPU、传感器小型化和长续航电池的技术倒退，SLAM算法能够在板上运行，这有助于将机器人利用带入具备挑战性的SubT环境。在这些环境中，关键因素是人类平安，能够通过机器人进行自主查看来进步人类平安，并通过提供环境重建来进步人类工人对环境的态势感知。这对地图绘制品质和定位精度提出了很高的要求。在照明较差的SubT环境中，视觉SLAM办法往往体现出较差的性能，这是不可承受的。与之相同，基于激光雷达的办法能够在姿势预计和环境地图显示方面提供牢靠的性能。然而，因为SubT环境的特殊性，如无特色、自类似的隧道区域、多尘隧道和传感器限度，它们的性能可能会随着工夫的推移而降落。在本钻研中，咱们将在公开环境中对九种开源的ROS兼容的3D Lidar-SLAM算法进行试验评估。这项工作的次要奉献是：（1）评估了九种基于SOTA激光雷达的3D SLAM办法，应用SubT数据集来证实它们在此类环境中的性能。（2）对所有办法的姿势预计和生成的环境3D图进行定量和定性比拟，这将使机器人开发团队易于评估和了解其优缺点，包含为该利用抉择SLAM算法框架。注：评估数据集是在波士顿能源点的勘探工作期间沿着一个有多个隧道的公开区域收集的。车载传感器套件由Velodyne Puck Lite激光雷达和Vectornav vn-100 IMU组成，前者是一种用于自主导航的SoA传感器，后者是多个机器人零碎中罕用的硬件，与SubT钻研工作高度相干。 02 SLAM算法在这项钻研中，咱们抉择了所有支流的SLAM算法，这些算法具备实时操作能力，并应用3D激光雷达的点云作为输出，也能够将其与IMU测量相耦合。本章节先介绍了机器人平台，其次介绍了SubT环境，最初介绍了SLAM办法。所有抉择的办法都用ROS Melodic和Ubuntu 18.04进行了测试。 2.1 机器人平台和数据集应用了由波士顿能源公司开发的机器人平台用于数据收集（图1）。该机器人可能以高达1.6米/秒的速度挪动，同时携带高达14公斤的有效载荷，并穿梭具备挑战性的地形。在Spot的顶部搁置的有效载荷包含3D激光雷达、IMU、spotCore和电池，如图1所示。板载计算机采纳Intel Core i5 CPU，16GB RAM，Ubuntu 18.04和ROS Melodic。为了为3D激光雷达提供畅通无阻的视线，它被装置为一个柱状构造，位于前端，带有独立的LED灯条Lustreon DV12V 10W，尺寸为170×15 mm，指向前、左、右。图1 装备传感器的Spot机器人，用于在地下隧道中收集数据集数据集是从瑞典Lulea港口的地下隧道收集的，该隧道具备手动管制的Spot，如图2所示。它被记录在一次通过中，将来自IMU和3D激光雷达的测量后果存储在ROS bag文件1中。3D重建地图的俯视图如图2所示。数据是用图1所示的传感器配置收集的，IMU公布速率设置为200Hz，3D激光雷达发射速率设为10Hz。在SubT环境中取得根本事实是一项具备挑战性的工作，因而在本钻研中只提供了算法的绝对比拟。图2 3D激光雷达生成的地图俯视图（数据从现场测试环境中扫描而来）。实线示意穿过隧道的导线，而箭头示意导线的方向。在上面的大节中，咱们将简要介绍所抉择的算法。 2.2 BLAMBerkeley localization and mapping（BLAM）是一个开源ROS包，用于基于图的激光SLAM。它通过应用左近姿态的扫描进行迭代最近点（ICP）扫描匹配来计算环路。对于地图优化，它应用Georgia技术平滑和建图（GTSAM）库。BLAM可能在线构建十分浓密和准确的地图，这也使得它成为一种计算成本昂扬的办法Nava Chocron（2019）。 2.3 LOAMLaser Odometry and Mapping（LOAM）或LOAM velodyne是一种实时办法，可能同时预计里程计并应用3D激光雷达绘制地图。该办法通过将SLAM工作合成为两种算法来解决SLAM工作。一个用于计算里程计，另一个用于增量地图构建，此外它还预计激光雷达的速度。LOAM没有闭环检测，这使它无奈辨认以前拜访过的区域，相同，它实现了特色点匹配，从而确保疾速的里程计计算和精确的地图构建。该办法具备IMU反对，与仅应用激光雷达相比，能够取得更高的精度。 A-LOAM是LOAM的高级实现，它应用特色库进行线性代数运算，并应用Ceres Solver 解决相应的优化问题。 ...

关于自动驾驶:无人驾驶系统技术架构梳理从感知规划到控制

原文：无人驾驶零碎技术架构梳理：从感知、布局到管制无人驾驶零碎技术架构梳理：从感知、布局到管制无人驾驶零碎的外围能够概述为三个局部：感知（Perception），布局（Planning）和管制（Control），这些局部的交互以及其与车辆硬件、其余车辆的交互能够用下图示意：感知是指无人驾驶零碎从环境中收集信息并从中提取相干常识的能力。其中，环境感知（Environmental Perception）特指对于环境的场景理解能力，例如障碍物的地位，路线标记/标记的检测，行人车辆的检测等数据的语义分类。一般来说，定位（Localization）也是感知的一部分，定位是无人车确定其绝对于环境的地位的能力。布局是无人车为了某一指标而作出一些有目的性的决策的过程，对于无人驾驶车辆而言，这个指标通常是指从出发地达到目的地，同时防止障碍物，并且一直优化驾驶轨迹和行为以保障乘客的平安舒服。布局层通常又被细分为工作布局（Mission Planning），行为布局（Behavioral Planning）和动作布局（Motion Planning）三层。最初，管制则是无人车精准地执行布局好的动作的能力，这些动作来源于更高的层。 1. 环境感知为了确保无人车对环境的了解和把握，无人驾驶零碎的环境感知局部通常须要获取周围环境的大量信息，具体来说包含：障碍物的地位，速度以及可能的行为，可行驶的区域，交通规则等等。无人车通常是通过交融激光雷达（Lidar），相机（Camera），毫米波雷达（Millimeter Wave Radar）等多种传感器的数据来获取这些信息，本节咱们简要地理解一下激光雷达和相机在无人车感知中的利用。激光雷达是一类应用激光进行探测和测距的设施，它可能每秒钟向环境发送数百万光脉冲，它的外部是一种旋转的构造，这使得激光雷达可能实时的建设起周围环境的3维地图。通常来说，激光雷达以10Hz左右的速度对周围环境进行旋转扫描，其扫描一次的后果为密集的点形成的3维图，每个点具备（x,y,z）信息，这个图被称为点云图（Point Cloud Graph），如下图所示，是应用Velodyne VLP-32c激光雷达建设的一个点云地图：激光雷达因其可靠性目前仍是无人驾驶零碎中最重要的传感器，然而，在事实应用中，激光雷达并不是完满的，往往存在点云过于稠密，甚至失落局部点的问题，对于不规则的物体外表，应用激光雷达很难分别其模式，在诸如大雨天气这类状况下，激光雷达也无奈应用。为了了解点云信息，通常来说，咱们对点云数据进行两步操作：宰割（Segmentation）和分类（Classification）。其中，宰割是为了将点云图中离散的点聚类成若干个整体，而分类则是辨别出这些整体属于哪一个类别（比如说行人，车辆以及障碍物）。宰割算法能够被分类如下几类：1）基于边的办法，例如梯度过滤等；2）基于区域的办法，这类办法应用区域特色对邻近点进行聚类，聚类的根据是应用一些指定的规范（如欧几里得间隔，外表法线等），这类办法通常是先在点云中选取若干种子点（seed points），而后应用指定的规范从这些种子点登程对邻近点进行聚类；3）参数办法，这类办法应用事后定义的模型去拟合点云，常见的办法包含随机样本一致性办法（Random Sample Consensus，RANSAC ）和霍夫变换(Hough Transform，HT)；4）基于属性的办法，首先计算每个点的属性，而后对属性相关联的点进行聚类的办法；5）基于图的办法；6）基于机器学习的办法；在实现了点云的指标宰割当前，宰割进去的指标须要被正确的分类，在这个环节，个别应用机器学习中的分类算法，如反对向量机（Support Vector Machine，SVM）对聚类的特色进行分类，最近几年因为深度学习的倒退，业界开始应用特地设计的卷积神经网络（Convolutional Neural Network，CNN）对三维的点云聚类进行分类。然而，不论是提取特色-SVM的办法还是原始点云-CNN的办法，因为激光雷达点云自身解析度低的起因，对于反射点稠密的指标（比如说行人），基于点云的分类并不牢靠，所以在实践中，咱们往往交融激光雷达和相机传感器，利用相机的高分辨率来对指标进行分类，利用Lidar的可靠性对障碍物检测和测距，交融两者的长处实现环境感知。在无人驾驶零碎中，咱们通常应用图像视觉来实现路线的检测和路线上指标的检测。路线的检测蕴含对道路线的检测（Lane Detection），可行驶区域的检测（Drivable Area Detection）；路线上路标的检测蕴含对其余车辆的检测（Vehicle Detection），行人检测（Pedestrian Detection），交通标志和信号的检测（Traffic Sign Detection）等所有交通参与者的检测和分类。车道线的检测波及两个方面：第一是辨认出车道线，对于蜿蜒的车道线，可能计算出其曲率，第二是确定车辆本身绝对于车道线的偏移（即无人车本身在车道线的哪个地位）。一种办法是抽取一些车道的特色，包含边缘特色（通常是求梯度，如索贝尔算子），车道线的色彩特色等，应用多项式拟合咱们认为可能是车道线的像素，而后基于多项式以及以后相机在车上挂载的地位确定后方车道线的曲率和车辆绝对于车道的偏离。可行驶区域的检测目前的一种做法是采纳深度神经网络间接对场景进行宰割，即通过训练一个逐像素分类的深度神经网络，实现对图像中可行驶区域的切割。交通参与者的检测和分类目前次要依赖于深度学习模型，罕用的模型包含两类：· 以RCNN为代表的基于Region Proposal的深度学习指标检测算法（RCNN，SPP-NET，Fast-RCNN，Faster-RCNN等）；· 以YOLO为代表的基于回归办法的深度学习指标检测算法（YOLO，SSD等）； 02 定位在无人车感知层面，定位的重要性显而易见，无人车须要晓得本人绝对于环境的一个确切地位，这里的定位不能存在超过10cm的误差，试想一下，如果咱们的无人车定位误差在30厘米，那么这将是一辆十分危险的无人车（无论是对行人还是乘客而言），因为无人驾驶的布局和执行层并不知道它存在30厘米的误差，它们依然依照定位精准的前提来做出决策和管制，那么对某些状况作出的决策就是错的，从而造成事变。由此可见，无人车须要高精度的定位。目前应用最宽泛的无人车定位办法当属交融全球定位系统（Global Positioning System，GPS）和惯性导航零碎（Inertial Navigation System）定位办法，其中，GPS的定位精度在数十米到厘米级别之间，高精度的GPS传感器价格也就绝对低廉。交融GPS/IMU的定位办法在GPS信号缺失，强劲的状况下无奈做到高精度定位，如公开停车场，四周均为高楼的市区等，因而只能实用于局部场景的无人驾驶工作。地图辅助类定位算法是另一类宽泛应用的无人车定位算法，同步定位与地图构建（Simultaneous Localization And Mapping，SLAM）是这类算法的代表，SLAM的指标即构建地图的同时应用该地图进行定位，SLAM通过利用曾经观测到的环境特色确定以后车辆的地位以及以后观测特色的地位。这是一个利用以往的先验和以后的观测来预计以后地位的过程，实际上咱们通常应用贝叶斯滤波器（Bayesian filter）来实现，具体来说包含卡尔曼滤波（Kalman Filter），扩大卡尔曼滤波（Extended Kalman Filter）以及粒子滤波（Particle Filter）。SLAM尽管是机器人定位畛域的钻研热点，然而在理论无人车开发过程中应用SLAM定位却存在问题，不同于机器人，无人车的静止是长距离的，大凋谢环境的。在长距离的静止中，随着间隔的增大，SLAM定位的偏差也会逐步增大，从而造成定位失败。在实践中，一种无效的无人车定位办法是扭转原来SLAM中的扫描匹配类算法，具体来说，咱们不再在定位的同时制图，而是当时应用传感器如激光雷达对区域构建点云地图，通过程序和人工的解决将一部分“语义”增加到地图中（例如车道线的具体标注，路网，红绿灯的地位，以后路段的交通规则等等），这个蕴含了语义的地图就是咱们无人驾驶车的高精度地图（HD Map）。在理论定位的时候，应用以后激光雷达的扫描和当时构建的高精度地图进行点云匹配，确定咱们的无人车在地图中的具体位置，这类办法被统称为扫描匹配办法（Scan Matching），扫描匹配办法最常见的是迭代最近点法（Iterative Closest Point ，ICP），该办法基于以后扫描和指标扫描的间隔度量来实现点云配准。除此以外，正态分布变换（Normal Distributions Transform，NDT）也是进行点云配准的罕用办法，它基于点云特色直方图来实现配准。基于点云配准的定位办法也能实现10厘米以内的定位精度。尽管点云配准可能给出无人车绝对于地图的全局定位，然而这类办法过于依赖当时构建的高精度地图，并且在凋谢的路段下依然须要配合GPS定位应用，在场景绝对繁多的路段（如高速公路），应用GPS加点云匹配的办法相对来说老本过高。 03 布局3.1 工作布局无人驾驶规划系统的分层结构设计源于2007年举办的DAPRA城市挑战赛，在较量中少数参赛队都将无人车的布局模块分为三层设计：工作布局，行为布局和动作布局，其中，工作布局通常也被称为门路布局或者路由布局（Route Planning），其负责绝对顶层的门路布局，例如终点到起点的门路抉择。咱们能够把咱们以后的路线零碎解决成有向网络图（Directed Graph Network），这个有向网络图可能示意路线和路线之间的连贯状况，通行规定，路线的路宽等各种信息，其本质上就是咱们后面的定位大节中提到的高精度地图的“语义”局部，这个有向网络图被称为路网图（Route Network Graph），如下图所示：这样的路网图中的每一个有向边都是带权重的，那么，无人车的门路布局问题，就变成了在路网图中，为了让车辆达到某个指标（通常来说是从A地到B地），基于某种办法选取最优（即损失最小）的门路的过程，那么问题就变成了一个有向图搜寻问题，传统的算法如迪科斯彻算法（Dijkstra’s Algorithm）和A算法（A Algorithm）次要用于计算离散图的最优门路搜寻，被用于搜寻路网图中损失最小的门路。 3.2 行为布局行为布局有时也被称为决策制定（Decision Maker），次要的工作是依照工作布局的指标和以后的部分状况（其余的车辆和行人的地位和行为，以后的交通规则等），作出下一步无人车应该执行的决策，能够把这一层了解为车辆的副驾驶，他根据指标和以后的交通状况指挥驾驶员是跟车还是超车，是停车等行人通过还是绕过行人等等。行为布局的一种办法是应用蕴含大量动作短语的简单无限状态机（Finite State Machine，FSM）来实现，无限状态机从一个根底状态登程，将依据不同的驾驶场景跳转到不同的动作状态，将动作短语传递给上层的动作布局层，下图是一个简略的无限状态机：如上图所示，每个状态都是对车辆动作的决策，状态和状态之间存在肯定的跳转条件，某些状态能够自循环（比方上图中的循迹状态和期待状态）。尽管是目前无人车上采纳的支流行为决策办法，无限状态机依然存在着很大的局限性：首先，要实现简单的行为决策，须要人工设计大量的状态；车辆有可能陷入无限状态机没有思考过的状态；如果无限状态机没有设计死锁爱护，车辆甚至可能陷入某种死锁。 ...

关于自动驾驶:首个开源室外点云分割工具箱提供多篇论文算法的强基线复现模型已开源

PCSeg高性能点云宰割开源框架强力来袭！反对多个公开数据集上多种SOTA算法高精度复现，训练工夫更短、宰割精度更高，开箱即用。室外点云全景宰割钻研必备，目前已开源，欢送star 一、PCSeg高性能点云宰割开源框架点云语义宰割工作旨在将点云中的每个点调配类别甚至实例标签。然而，作为主动驾驶3D感知的要害工作之一，现有开源工具箱大多仅围绕室内场景进行，不足对室外场景的反对。于是，上海人工智能实验室智能交通平台组（ADLab）公布PCSeg高性能点云宰割开源框架，在Waymo Open Dataset和SemanticKITTI等公开数据集上反对了多种SOTA算法，并提供了强基线复现模型。代码地址：https://github.com/PJLab-ADG/PCSegPCSeg 专一于主动驾驶畛域的室外点云宰割，致力于推动三维场景了解及其相干畛域的对立和凋敝。在PCSeg的帮忙下，开发团队以谋求偏心、效率和性能的形式，在通用的大规模点云数据集上对各种办法进行基准(Benchmark)测试。 PCSeg在领有较高训练速度及推断速度的同时，对几种SOTA算法的实现宰割精度均超过了原论文报告的宰割精度。目前，PCSeg反对MinkowskiNet、Cylinder3D、SPVCNN、RPVNet的高精度复现；并反对SemanticKITTI、ScribbleKITTI、Waymo Open Dataset在内的数据集，后续会提供对A2D2、nuScenes的反对；同时也会在近期更新Panoptic nuScenes、Panoptic SemanticKITTI、4D Panoptic SemanticKITTI等对全景宰割工作的数据与办法反对。下表为在几个SOTA办法在SemanticKITTI数据集上的PCSeg实现性能和原论文报告性能，能够看到，PCSeg实现的SPVCNN和MinkowskiNet相比原论文报告的性能具备显著劣势。 PCSeg框架的深度学习逻辑由PyTorch实现，整体采纳简洁易懂的模块化编程。在架构上局部参考了OpenPCDet框架[5]，故而对相熟点云畛域的钻研和工程人员比拟敌对。所有模型构造和超参数由Yaml文件管制，并为SemanticKITTI数据集上的几个代表性办法提供了预训练模型参数。二、已反对的大规模点云数据集● SemanticKITTI下载地址：https://opendatalab.com/SemanticKITTI ● ScribbleKITTI下载地址：https://github.com/ouenal/scribblekitti ● Waymo下载地址：https://opendatalab.com/Waymo 参考资料[1]4DSpatio-Temporal ConvNets: Minkowski Convolutional Neural Networks[2] Cylindrical and Asymmetrical 3D Convolution Networksfor LiDAR Segmentation[3]Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution[4]RPVNet: A Deep and Efficient Range-Point-Voxel Fusion Network for LiDAR Point Cloud Segmentation[5]OpenPCDet Toolbox for LiDAR-based 3D Object Detection 作者丨上海人工智能实验室智能交通平台组（ADLab）更多主动驾驶数据集，欢送拜访OpenDataLab官网查看与下载：https://opendatalab.org.cn/

关于自动驾驶:点云压缩研究进展与趋势

作者 | 张卉冉，董震，杨必胜，黄荣刚，徐大展起源 | 武汉大学学报编辑 | 东岸因为@一点人工一点智能入群邀请：7个业余方向交换群+1个材料需要群原文：点云压缩研究进展与趋势以激光扫描为代表的被动采集配备在易操作性、机动灵活性、智能化、高效化等方面日益成熟，利用三维成像技术采集密集点的空间坐标、色调纹理和反射强度等信息，可高保真且疾速重建被测指标的三维实体，在工程测量、生物医学、智慧城市、虚拟现实(VR)、加强事实(AR)等迷信与工程钻研中施展非常重要的作用[1-4]。随着多平台、多分辨率采集设施的性能逐步进步，三维成像传感器可能从三维场景中获取具备空间地位和属性信息的海量点集，失去多细节档次的点云模型，给用户以活泼真切的可视化体验，具备极强的交互式和沉迷式成果。点云模型通常蕴含几十万至数千万空间域的点，在不经压缩的状况下，对于每帧100万个点的点云模型，30帧/s的传输速率占用总带宽为每秒3 600兆位，这给存储空间容量和网络传输带宽带来了累赘与挑战[5]，因而对点云数据压缩编码的钻研具备重要意义。过来因为计算机计算能力和点云采集效率的限度，根本沿用构建网格的办法，或按需采样来实现对点云模型的压缩与传输，导致时空压缩性能较低和几何属性特色信息失落。当初钻研人员次要以计算机图形学和数字信号处理为出发点，通过对点云数据施行分块操作[6-10]或联合视频编码技术[11-13]对点云压缩办法进行优化。静止图像专家组(MPEG)于2017年收回了点云压缩的提案征集邀请，并于2018年公布对立的点云模型压缩编码钻研框架。目前还没有一种办法能适应指数级减少的点云数据容量，以及在高压缩比、低失真率和计算成本三者之间达到均衡。因而，无效晋升点云几何信息和属性信息压缩编码的效率，既能有效应对海量点云数据的存储和传输，也能按需保留宏观信息和细节特色，在点云数据处理与利用中贯通始终。本文围绕点云压缩编码的外围，重点论述点云几何和属性压缩研究进展、点云压缩公开数据集、点云压缩公开基准算法性能评估等3个方面，并对点云压缩的重要倒退方向予以瞻望。 01 点云压缩研究进展点云压缩编码方案的需要一劳永逸，寰球最具影响力的MPEG和国内外学者独特致力于钻研点云压缩规范框架，力求建设欠缺的点云压缩零碎，有效应对多源、多尺度场景点云数据的压缩工作。文献[15-16]别离从空间维度压缩技术和MPEG标准化框架角度登程，对以后的点云压缩办法进行调研与概述。 1.1 点云压缩办法分类点云压缩工作依照不同的规范能够将办法划分成不同的类型，次要有以下规范：(1)依据还原品质分类；(2)依据解决办法分类；(3)依据空间维度分类；(4)依据信息类型分类。表 1依据不同的分类规范对以后点云压缩办法进行了汇总。表1 点云压缩办法分类汇总依据信息还原品质的高下，点云压缩分为无损压缩和有损压缩。无损压缩通过辨认并打消统计冗余，使数据结构更加紧凑，解码后的点云与原始点云雷同，包含点的数量、各点关联的属性信息。这种办法为尽可能地放弃原有数据的特色，使得压缩性能较无限。有损压缩通过量化删除了非必要、视觉上无用的信息，从而减小了数据量，使得原始点云数据和解码后的点云数据之间存在一些差别。这种办法应用了适当的率失真管制，因此在感知数据品质和比特率之间进行了均衡。依据解决办法的不同，点云压缩分为传统压缩办法和基于深度学习的压缩办法。首先，传统办法基于点云的构造划分进行一系列的预测编码去除了一部分冗余；而后，通过变换与量化将空间域的点云变换到频域并压缩变换系数；最初，通过熵编码进一步压缩失去比特流。这类办法在示意过程中依然暗藏着大量的冗余信息，如反复的部分构造、形态特色显著的物体类别，冀望在压缩过程中利用此冗余信息来进一步升高比特率。深度学习办法通过卷积神经网络将点云数据编码为暗藏示意，再量化暗藏特色，基于学习熵模型和熵编码将上下文输出的状况下每个符号呈现的概率压缩并产生比特流，因此须要训练大量的点云数据样本以取得编码器端和解码器端非线性变换。基于深度学习的点云压缩办法能够更好地适应部分构造复杂性，因而具备作为将来基准编码工具的后劲。依据空间维度的特点，点云压缩分为一维遍历压缩、二维映射压缩和三维去相干压缩，基于维度的划分办法间接决定了点数据的拜访容易度，从而影响压缩效率。首先，一维压缩办法通过利用各点之间的间隔邻域关系来构建基于树的连贯；而后，程序遍历生成树各节点将几何数据转换为一维，适应预测的信号。这种办法提供了绝对简略的实现形式，但未齐全思考三维空间相关性使压缩性能受到很大限度。二维压缩办法将点云解释为3D空间中的二维离散流形，通过映射、网格划分和图像编码对点云进行编码，这种压缩办法波及到映射过程，导致信息局部失真。三维压缩办法采纳稳固构造对点云所在的空间进行合成，再对该构造进行预测与变换以缩小冗余，并对上述后果进一步编码即可实现点云压缩，这种办法思考了点云的散布个性、获取与利用，已成为压缩办法的最次要钻研方向。依据信息类型的差别，点云压缩分为几何信息压缩和属性信息压缩，其中后者通常波及预处理，且须要与几何信息建设对应关系。首先基于不同的数据结构对点云进行结构化解决，如树、线元、面元和块等；而后进行一系列的预测编码、变换编码、量化、熵编码操作；最初取得比特流。 1.2 几何信息压缩点云几何压缩办法多基于树结构或块构造组织划分点云，通过对结构化的点云进行形容与编码，文献[24]提出了一种基于八叉树的几何编码方法，首先，在相邻帧之间作异或运算；而后，用八叉树编码运算的后果。该办法既能获得较高的压缩效率，也能无效升高编码计算复杂度，是点云库(PCL)中举荐的点云压缩框架算法。文献[50]利用二叉树构造将无序点云划分为子空间，通过旅行商算法预测各子空间外部的几何信息，通过浅层神经网络的无损压缩算法PAQ实现预测残差编码。然而仅应用树结构或块构造的编码方式压缩未充分利用点云之间的空间相关性，导致大量冗余信息被编码，大大限度了压缩性能。改良办法沿用树结构或块构造编码近似值的核心思想，退出三角形外表模型[77]、立体外表模型[51, 70]或聚类算法[71]对层间预测和残差计算进行领导。为了进步压缩计算效率，文献[69]提出了分层压缩的概念，首先，利用八叉树结构实现点云的粗粒度编码和表白；而后，在增强层通过图形傅里叶变换实现点云细节的压缩和重建，是目前压缩效率最高的点云几何信息压缩办法。此外，文献[33]提出针对城市大场景的点云压缩框架，首先，对整个点云中最大的立体进行迭代检测；而后，应用Delaunay三角剖分法对立体进行合成；最初，对三角形以及立体的面积和点数进行编码。文献[66]将几何形态隐式示意为符号间隔函数的程度集，对近乎平坦的外表采纳较少系数示意，为简单的曲面保留更多系数，对基系数进行量化和熵编码。参考深度神经网络在图像和视频压缩方面获得的停顿，从实践上讲，能够在压缩过程中利用基于超先验疏导与隐空间表白冗余信息来进一步升高比特率。文献[75, 84]提出了基于深度学习的点云几何压缩办法，首先，利用神经网络编码器学习点云的高阶隐含向量；而后，利用算数编码、行程长度编码等熵编码方法对隐含向量进行编码；最初，利用神经网络解码器重建三维点云。基于卷积神经网络(CNN)已宽泛用于特征提取、指标检测、图像编码等，文献[86]提出CNN与主动编码器联合的压缩办法，能无效利用相邻点之间的冗余，并示意出对数据编码的适应性。为了进步隐含向量编码的压缩比，文献[86]提出基于变分编码器(VAE)的点云压缩办法，通过学习隐含向量的超先验，使得熵模型的编码概率与隐含向量的边缘概率更加吻合，从而缩小算术编码的内存耗费。 1.3 属性信息压缩属性压缩以缩小点云属性之间的冗余为目标，次要依附重建后的几何信息来进行，首先，基于几何信息在三维空间档次划分；而后，在压缩性能和保真度之间达到均衡，进行后续的预测、变换编码。在压缩时，依据理论须要抉择适合的预测、变换算法十分要害，学者们的钻研方向大抵分为两类：基于信号处理技术，联合图像视频编码技术对点云进行去相干操作；基于图变换的思维，对点云数据进行分块、分层来解决。以信号处理为主导的点云属性压缩通常参考信号处理办法及图像视频编码技术，以实现点云数据的预测编码和变换编码。文献[37]基于视频编码中帧内预测的立体模式进行点云属性编码，首先，将点云空间划分为根本单元块；而后，沿着被预测块的3个正交基方向寻找邻接的单元块，依据邻接块中点云的属性联合最近邻算法，失去被预测块邻接面上的属性值；最初，借鉴planar模式求出被预测块内各点的属性预测值。文献[41]在几何编码的前提下引入基于联结图像专家组的压缩办法，首先，依照深度优先遍历的程序将点云属性值映射到结构化的网格上；而后，进行属性预测编码、离散余弦变换和熵编码。为了晋升信号处理点云模型的压缩性能，学者提出利用图形学的办法，以进一步利用点云数据的相关性进行编码。基于图变换的钻研内容包含空间划分合理性和各子图维度平均性，文献[32]提出了基于图变换(GT)的点云属性压缩办法，首先，通过树结构对点云空间进行体素划分，并利用体素的相邻关系结构图形拉普拉斯矩阵；而后，对拉普拉斯矩阵做特征值合成取得图变换矩阵GT，并利用GT对属性冗余信息进行去相关性解决实现点云属性压缩。为了升高GT办法的复杂度，文献[40]提出了一种区域自适应分层变换的压缩算法，通过在子带中对系数进行压缩编码获得与GT相当的峰值信噪比，同时显著升高了计算复杂度。为了进一步摸索点云属性的统计个性，文献[44]采纳安稳高斯过程对点云属性建模，显著进步了点云属性压缩的性能。文献[56-57]为了减小属性预测的残差，别离应用了K-均值聚类算法和均值漂移算法对点云数据进行聚类，因为在聚类时将属性信息类似的点集中在一起，从而优化属性预测的残差大小，进步预测的准确性。深度学习的疾速倒退带动了数据压缩方面技术的倒退，且有局部体现成果在图像和视频压缩方面远超过传统办法，为点云压缩带来极大的借鉴意义。文献[92]提出了基于深度学习网络的点云属性办法，首先，将点云属性映射到一个折叠的二维流形空间；而后，利用传统的熵编码算法进行压缩；最初，利用神经网络解码器复原三维点云。基于深度学习的点云属性压缩办法能够更好地适应部分几何复杂性，因而具备作为将来基准编码工具的后劲。 02 点云压缩公开数据集MPEG点云压缩规范框架颁布了3种通用的点云测试数据集[100]：用于示意动态对象和场景的动态点云，用于沉迷式视频和VR利用的动静点云，用于主动驾驶与导航的动静获取点云。所有的测试序列均可在MPEG的官方网站下载获取。对于动态点云和动静点云，次要由微软公司和8i公司，采纳激光扫描仪、红外线深度摄影机等伎俩获取指标的几何信息，多个传感器或成像摄像机以每秒传输帧数30的速度获取指标的属性信息，包含捕捉色彩信息并计算平面深度。动态点云和动静点云数据示意如图 1所示。图 1 动态点云和动静点云数据示意图对于动静获取点云，采纳装置有惯性传感器(IMU)、寰球导航卫星零碎(GNSS)、激光雷达和色彩空间RGB摄像机的移动式测绘零碎。其中，GNSS和IMU用于确定车辆的实时地位，激光雷达用于捕捉指标的几何信息，而色彩空间RGB摄像机则通过拍摄图像或视频序列取得指标的属性信息。通过多源数据交融、冗余点和离群点去除等预处理步骤，取得的点云数据包含三维坐标代表的几何信息以及与每个点相关联的色彩、反射率等属性信息，动静获取点云数据见图 2。图2 动静获取点云数据示意图 03 点云压缩评估指标压缩效率和重建品质是点云压缩算法性能评估的两项重要指标。在压缩效率方面，依据压缩文件比特数进行掂量，针对点云数据通常应用存储每个点所占的比特位数(BPP)来比拟，BPP越低，压缩效率越高。在重建品质评估方面，采纳点云在三维空间中的坐标(x，y，z)和色彩属性(色彩RGB或空间YUV)及其他可选属性来评估原始点云和解码点云之间几何地位或属性表白的相似性。其中主观评估次要指目视评估，主观评估包含几何信息评估和属性信息评估。主观评估次要采纳点到点(C2C)取得的峰值信噪对解码点云的几何品质进行评估[101]，主观评估将原始点云的属性值与解码后的点云中最近点的属性值进行比拟，取得对应的峰值信噪比[102]。 1）对称均方根(root mean square，RMS)间隔。以原始点云为参考，计算解码点云基于几何间隔的均匀间隔误差的最大值：式中，$ V_o $和$V_r$ 别离示意原始点云和解码点云；$v_{o(i)}$ 和$v_{r(k)}$ 别离示意原始点云和对应的最邻近解码点云；K 是原始点云中的点数；||⋅||示意两个值之间的欧氏间隔；$D_{RMS}$ 为最近点之间的均匀间隔。$D_{RMS}$ 针对原始点云中所有点计算，也针对对应解码点云中所有点计算，因而有必要计算对称间隔$s_{RMS}$ 。 2)对称Hausdorff间隔。示意要评估的两个互为邻域的点云之间最大的几何间隔：3)几何信息峰值信噪比(PSNR)。以原始点云作参考，思考了原始点云的边界框最大宽度和对称均方根间隔，计算基于几何形态的地位偏差：式中，$B_{width} $ 为原始点云边界框的最大宽度；$ g_{PSNR} $ 为几何信息峰值信噪比。$g_{PSNR} $ 越大，压缩失真越小。此外，几何信息评估也会用到点到外表(C2S)品质评估指标和点到立体(C2P)品质评估指标，前者通过思考与原始点云关联的一些参考曲面来评估解码后的点云品质，后者通过思考与原始点云关联的一些参考曲面来评估解码后的点云品质。C2S和C2P品质评估指标均思考到被比拟的点对相关联外表的相关性，次要毛病是它们取决于所应用的特定外表重构算法。 4)属性信息峰值信噪比。以色彩为例，将原始点云的每个色彩重量与解码后的云中最近点的色彩进行比拟，从而得出YUV色彩空间中每个重量的峰值信噪比：式中，默认采纳8位色彩示意，式(4)应用255作为峰值信号；dy 示意原始云和解码后的云之间在均匀色彩误差方面的差别；变量y(⋅) 是每个点的亮度值；属性信息峰值信噪比越大，压缩失真越小。图像压缩品质评估会用到信息保真度准则(IFC)[103]、视觉信息保真度(VIF)[104]和构造相似性(SSIM)[105]作为评估指标，其中IFC和VIF在信息保真度上引入了图像与人眼之间的分割，SSIM则从综合亮度、对比度和构造3方面评估解压缩后图像的失真状况，是合乎人眼视觉零碎个性的主观评判规范。 ...

关于自动驾驶:书籍推荐自主无人系统的智能环境感知技术

书籍：Environmental Perception Technology for Unmanned Systems作者：毕欣出版：华中科技大学出版社，Springer入群邀请：7个业余方向交换群+1个材料需要群原文：书籍下载-《自主无人零碎的智能环境感知技术》 01 书籍介绍随着传感器技术、网络技术、通信技术的倒退，自主无人零碎近年来获得微小冲破，并取得社会各界关注。自主无人零碎所波及的环境感知、数据交融、自主决策等关键技术也正成为钻研热点。本书围绕着自主无人零碎的环境感知原理及利用开展了零碎的论述，次要内容包含自主无人零碎的倒退、智能传感器技术、传感器数据交融技术、定位导航技术、自主门路布局。本书对自主无人零碎最新及最经典的技术进行总结，对关键技术的原理、外围算法及其在自主无人零碎中的利用实例进行了具体介绍，并对其优缺点开展了探讨。本书各局部内容既互相独立又具备内在联系性，语言简练而不失逻辑性，适宜在校学生、企业钻研人员等多层次读者学习参考，置信可能失去广大读者的青睐。 02 作者介绍毕欣同济大学汽车学院研究员/博导前中国科学院沈阳自动化研究所研究员 2014年美国麻省理工学院（MIT）留学拜访。ISO/TC204-WG14专家成员，SAC/TC268委员，SAE International技术委员会委员、中国电子学会高级会员、上海市人工智能技术协会专家委员会委员，中国科学院青年翻新促进会会员。CCTV中国十大守业楷模，江苏省“双创”人才。从事信号与信息处理、机器人和无人零碎环境感知技术钻研与开发，次要波及毫米波雷达探测与成像技术、自主无人零碎与智能网联汽车交融感知与仿真测评技术等，参加国内多个地区智能网联测试示范区布局、建设与经营。个人主页：https://auto.tongji.edu.cn/info/1161/6608.htm 03 书籍纲要 1. 书籍举荐-《机器人编程：应用树莓派3和Python构建和管制自主机器人》书籍举荐-《机器人感知与认知中的深度学习》从ChatGPT思考主动驾驶将如何前行一文带你理解机器人是如何通过视觉实现目标跟踪的！激光雷达中是如何做到和GPS工夫同步的？BEV感知中的视觉-毫米波雷达交融综述

关于自动驾驶:书籍推荐地貌学家的点云技术从数据采集到处理

书籍：Point Cloud Technologies for Geomorphologists: From Data Acquisition to Processing作者：Christopher Gomez出版：Springer入群邀请：7个业余方向交换群+1个材料需要群原文：书籍举荐-《地貌学家的点云技术：从数据采集到解决》以地貌学的具体案例为例，这本教材向读者解释了从点云获取到最终产品生成的点云数据处理技术和相干办法。在过来的几十年中，地球科学经验了一个范式转变，从收集足够数据的挑战转变为创立可能解决数十亿数据的新解决工具的需要。随着越来越多地应用从摄影测量、激光扫描仪取得并由业余软件解决的外表点云，这一转变已转向地貌学，因而，下一代地貌学家必须精通这些技术。 01 书籍介绍本书通过具体示例解释了如何应用点云技术，从数据收集到解决和最终产品生成。本书编著的两个准则第一：应用点云技术不用成为技术奇才，让你从新关注迷信；第二：书中点云办法实现条件是集体能够负担得起。本书应用开源软件和R/Python语言代码示例在不同的地貌环境中提供了一组工作示例。这本书能够作为地貌学、地质学、天然地理学和工程学业余的教材，也能够作为想解决具体问题的经验丰富的科学家的材料书籍。 02 作者介绍Christopher Gomez是日本神户大学（University of Kobe，Japan）地球过程和环境危害的传授，传授地貌学、气候变化、沉积物危害、环境过程和灾祸危险等课程。他领导SABO实验室，专一于沉积物危害及其预防。他的钻研重点是在景观尺度上发挥作用的环境过程链，将水文、沉积物、植被和人类流动联合起来，重点是危险的地球过程。 03 书籍纲要1. 书籍举荐-《实用指南 | 基于Python的CT和PET的3D图像重建》书籍举荐-《3D点云剖析：传统、深度学习和可解释的机器学习办法》书籍举荐-《基于深度学习的计算机视觉》书籍举荐 -《自主移动机器人导论》书籍举荐-《机器人手册》第二版书籍举荐-《3D计算机视觉》

关于自动驾驶:书籍推荐GNSS惯性和多传感器组合导航系统原理

书籍：Principles of GNSS, Inertial, and Multisensor Integrated Navigation Systems作者：Paul D. Groves出版：Artech House入群邀请：7个业余方向交换群+1个材料需要群原文：书籍下载-《GNSS、惯性和多传感器组合导航系统原理》 01 书籍介绍这本《GNSS、惯性和多传感器集成导航系统原理》为您提供了对卫星导航、惯性导航、高空无线电导航、航位推算和环境特色匹配的最新全面了解。它既介绍了导航系统，又深刻介绍了INS/GNSS和多传感器交融。本书为第二版，提供了丰盛的补充和更新资料，包含对于无线电定位原理的全新章节，以及专门介绍该畛域重要利用的章节。其余更新包含地图匹配、基于图像的导航、姿势预计、声学定位、行人导航、先进的寰球导航卫星零碎技术以及若干高空和短程无线电定位技术的扩大解决。本书向您展现了卫星、惯性和其余导航技术的工作原理，并重点介绍了解决链和误差源。此外，您还能够分明地理解坐标系、多帧运动学、地球模型、重力、卡尔曼滤波和非线性滤波。本书提供了常见交融问题的解决方案，形容并比拟了不同的交融架构，并解释了如何对不同的谬误源进行建模。您能够全面深刻地理解以后技术，并理解该畛域的最新倒退，包含上下文相干和协同定位。 02 作者简介Paul D.Groves是伦敦大学学院（UCL）的讲师和学术教师，他在UCL的空间大地测量和导航实验室中主导对Robust Position和导航的钻研。此前，他是QinetiQ有限公司的科学家，专攻导航系统。Groves博士是一位特许物理学家、物理研究所成员、皇家航海研究所研究员和航海研究所成员。他曾就读于牛津大学，在那里他取得了物理学学士、硕士和原子与激光物理学博士学位。 03 书籍纲要（局部） 1. 书籍举荐-《基于深度学习的计算机视觉》书籍举荐-《机器人学原理》书籍举荐 - 《基于C++的机器学习实操》书籍举荐 -《自主移动机器人导论》书籍举荐-《机器人手册》第二版书籍举荐-《3D计算机视觉》

关于自动驾驶:如何在机器学习中处理长尾数据分布丨曼孚科技

如果代码品质是辨别软件系统好坏的规范，那么数据品质便是辨别AI零碎智能化的规范。对模型来说，应用正确的数据不可或缺。而理论训练中，常呈现场景数据分布不平衡的景象，长尾数据就是其中一个特例。长尾数据是指数据集中某些类别数量较少，而其余类别样本数较多的不均衡“长尾”状态。例如在自然语言解决中，一些少见的词汇呈现频率很低，而常见的词汇呈现频率很高；在图像识别中，一些常见的物体呈现的频率很低，而常见的物体呈现频率很高。这种状态下，模型会更偏差于头部数据，对于尾部数据则体现成果不佳，最终影响模型的训练能力与泛化能力。「训练能力」：相较其余类别，长尾数据中的多数类别样本数量较少，对模型的奉献较小。当集中训练的数据呈长尾散布时，模型偏向于对高频率呈现的类别进行优化，而对多数类别进行较弱的学习。这会导致模型无奈习得无效的分类边界，升高模型的分类性能。「泛化能力」：因为长尾数据中多数类别的样本数量较少，模型难以充沛学习该类特色，导致模型在未见过的数据中体现不佳，最初便会训练出无价值模型。在理论利用中，长尾数据中的多数类别通常更为要害，例如在医疗畛域中，对于一些常见病例的诊断，模型的体现尤为重要。因而，泛化能力的降落会重大影响人工智能的行业利用。而究其基本，数据品质是影响模型状态的决定因素。一方面，数据采集时可能呈现偏差，导致某些类别的数据量较少；另一方面，某些类别数据可能因获取难度大，导致其数据量较少。因而，需采纳一些针对性的办法来缓解此类问题。例如，能够应用类别加权损失函数、数据重采样、进步数据处理能力等办法，来均衡不同类别的数据，进步模型的性能。「数据收集」：长尾数据是因为某些类别的数据量过少而导致。因而，应扩充数据收集数量，尤其是那些数量较少的类别，帮忙数据集更加均衡，缓解长尾问题。「数据重采样」：重采样能够通过扭转数据集的样本分布来均衡不同类别的数据。欠采样是指从大多数类别中抉择一些数据点，使得数据集中不同类别的数据点数量绝对平衡。过采样则是向小类别中增加更多的数据，从而使不同类别的数据点数量绝对平衡。「标注解决」：简直所有数据集都存在谬误标注景象，其中多以边缘数据为主，因为与只看过一次的图像相比，看过1,000次的图像更容易正确标记。边缘数据的错误处理对模型的破坏性很大，这些类别的样本数量本就无限，如果标注谬误，模型性能将永远不会进步，相同，它更有可能倒退。因而，进步标注准确性，是解决长尾问题的重要措施。「迁徙学习」：将一个预训练的模型调整为新的分类工作，而后在新的数据集上进行微调。这种办法可能会帮忙加重长尾散布的问题，因为预训练的模型在解决各种数据集方面都具备肯定的泛化能力。「扭转损失函数」：在长尾数据分布的状况下，传统的损失函数可能偏差于优化大多数类别的预测性能，从而疏忽了多数类别的预测性能。为了均衡不同类别的数据，能够应用类别加权损失函数来均衡数据集不同类别的权重，进步多数类别的预测性能。曼孚科技曼孚科技是一家AI数据服务解决方案提供商，专一为人工智能赛道客户提供定制化数据标注服务。公司领有在图像识别，视频辨认，语音辨认，语义了解等畛域的业余数据服务，通过聚焦全栈式数字化智能平台的研发,买通感知与认知智能的边界,推动人工智能在更多垂直场景实现落地利用。

关于自动驾驶:100行Pytorch代码实现三维重建技术神经辐射场-NeRF

转载自：DeepHub IMBA原文：100行Pytorch代码实现三维重建技术神经辐射场 (NeRF) 提起三维重建技术，NeRF是一个相对绕不过来的名字。这项逆天的技术，一经提出就被泛滥研究者所器重，对该技术进行深入研究并提出改良曾经成为一个热点。不到两年的工夫，NeRF及其变种曾经成为重建畛域的支流。本文通过100行的Pytorch代码实现最后的 NeRF 论文。 NeRF全称为Neural Radiance Fields(神经辐射场)，是一项利用多目图像重建三维场景的技术。该项目标作者来自于加州大学伯克利分校，Google研究院，以及加州大学圣地亚哥分校。NeRF应用一组多目图作为输出，通过优化一个潜在间断的体素场景方程来失去一个残缺的三维场景。该办法应用一个全连贯深度网络来示意场景，应用的输出是一个单连通的5D坐标(空间地位x,y,z以及察看视角，),输入为一个体素场景，能够以任意视角查看，并通过体素渲染技术，生成须要视角的照片。该办法同样反对视频合成。该办法是一个基于体素重建的办法，通过在多幅图片中的五维坐标建设一个由粗到细的对应，进而复原出原始的三维体素场景。 01 NeRF和神经渲染的基本概念1.1 Rendering渲染是从 3D 模型创立图像的过程。该模型将蕴含纹理、暗影、暗影、照明和视点等特色，渲染引擎的作用是解决这些特色以创立真切的图像。三种常见的渲染算法类型是光栅化，它依据模型中的信息以几何形式投影对象，没有光学成果；光线投射，应用根本的光学反射定律从特定角度计算图像；和光线追踪，它应用蒙特卡罗技术在更短的工夫内取得真切的图像。光线追踪用于进步 NVIDIA GPU 中的渲染性能。 1.2 Volume Rendering平面渲染使可能创立 3D 离散采样数据集的 2D 投影。对于给定的相机地位，平面渲染算法为空间中的每个体素获取 RGB（红色、绿色、蓝色和 Alpha 通道），相机光线通过这些体素投射。RGB 色彩转换为 RGB 色彩并记录在 2D 图像的相应像素中。对每个像素反复该过程，直到出现整个 2D 图像。 1.3 View Synthesis视图合成与平面渲染相同——它涉从一系列 2D 图像创立 3D 视图。这能够应用一系列从多个角度显示对象的照片来实现，创建对象的半球平面图，并将每个图像搁置在对象四周的适当地位。视图合成函数尝试在给定一系列形容对象不同视角的图像的状况下预测深度。 02 NeRF是如何工作的NeRF应用一组稠密的输出视图来优化间断的平面场景函数。这种优化的后果是可能生成简单场景的新视图。 NeRF应用一组多目图作为输出：输出为一个单连通的5D坐标(空间地位x,y,z以及察看视角(;)输入为一个体素场景 c=(r;g;b) 和体积密度 ()。增加形容上面是如何从一个特定的视点生成一个NeRF: 通过挪动摄像机光线穿过场景生成一组采样的3D点将采样点及其相应的2D察看方向输出神经网络，生成密度和色彩的输入集通过应用经典的平面渲染技术，将密度和色彩累积到2D图像中上述过程深度的全连贯、多层感知器(MLP)进行优化，并且不须要应用卷积层。它应用梯度降落来最小化每个察看到的图像和从示意中出现的所有相应视图之间的误差。03 Pytorch代码实现3.1 渲染神经辐射场的一个要害组件，是一个可微分渲染，它将由NeRF模型表示的3D示意映射到2D图像。该问题能够表述为一个简略的重构问题：||A(x)−bbA(x)−bb||2 ，这里的AA可微渲染，x是NeRF模型，b是指标2D图像。代码如下： def render_rays(nerf_model, ray_origins, ray_directions, hn=0, hf=0.5, nb_bins=192): device = ray_origins.device t = torch.linspace(hn, hf, nb_bins, device=device).expand(ray_origins.shape[0], nb_bins) # Perturb sampling along each ray. mid = (t[:, :-1] + t[:, 1:]) / 2. lower = torch.cat((t[:, :1], mid), -1) upper = torch.cat((mid, t[:, -1:]), -1) u = torch.rand(t.shape, device=device) t = lower + (upper - lower) * u # [batch_size, nb_bins] delta = torch.cat((t[:, 1:] - t[:, :-1], torch.tensor([1e10], device=device).expand(ray_origins.shape[0], 1)), -1) x = ray_origins.unsqueeze(1) + t.unsqueeze(2) * ray_directions.unsqueeze(1) # [batch_size, nb_bins, 3] ray_directions = ray_directions.expand(nb_bins, ray_directions.shape[0], 3).transpose(0, 1) colors, sigma = nerf_model(x.reshape(-1, 3), ray_directions.reshape(-1, 3)) colors = colors.reshape(x.shape) sigma = sigma.reshape(x.shape[:-1]) alpha = 1 - torch.exp(-sigma * delta) # [batch_size, nb_bins] weights = compute_accumulated_transmittance(1 - alpha).unsqueeze(2) * alpha.unsqueeze(2) c = (weights * colors).sum(dim=1) # Pixel values weight_sum = weights.sum(-1).sum(-1) # Regularization for white background return c + 1 - weight_sum.unsqueeze(-1)代码的初始局部应用分层采样沿射线抉择3D点。而后在这些点上查问神经辐射场模型(连同射线方向)以取得密度和色彩信息。模型的输入能够用蒙特卡罗积分计算每条射线的线积分。 ...

关于自动驾驶:书籍推荐3D计算机视觉

原文地址：书籍下载-《3D计算机视觉》【入群邀请】7个业余方向交换群+1个材料需要群书籍：3D Computer Vision：Efficient Methods and Applications作者：Christian Wöhler出版：Springer 这本书介绍了三维计算机视觉的根底，并形容了该畛域的最新奉献。通过全面订正和更新，这一备受期待的新版回顾了一系列基于三角测量的办法，包含基于线性和BA的场景重建和相机校准办法、平面视觉、点云宰割以及刚性、铰接和柔性物体的姿势预计。还包含评估图像中像素灰度值以推断三维场景构造的基于强度的技术，以及利用光学系统成果的基于点扩散函数的办法。本文展现了整合这些概念的办法如何可能进步重建精度和鲁棒性，形容了在工业质量检验和计量、人机交互和遥感中的利用。 01 书籍介绍这本书介绍了三维计算机视觉的根底，并形容了该畛域的最新奉献。本书的每一章都提供了相应技术状态的宽泛概述，其中嵌入了利用特定零碎中新办法或评估后果的详细描述。基于三角测量的三维场景重建办法（参见第1章）次要是基于在摄影测量畛域倒退起来的BA（光束平差法）的概念。确定三维场景构造以及外部和内部相机参数，使得图像立体中的欧几里德反投影误差最小化，通常依赖于非线性优化过程。在计算机视觉畛域，过来二十年中呈现了一种基于投影几何的另类框架，它容许人们应用线性代数技术进行三维场景构建和相机校准。特别强调平面图像剖析和相机校准的问题，在此背景下，形容了各种最先进的相机校准和自校准办法以及对主动相机校准零碎的最新奉献，并给出了建设平面图像对之间点对应关系的经典和新的基于特色、基于相关性、密集和时空的办法。此外，还剖析了传统和新引入的点云宰割办法以及场景中刚性、铰接和柔性指标的三维检测和姿势预计办法（参见第2章）。另一类三维场景重建办法还有基于强度的办法（参见第3章），这类办法评估图像中的像素灰度值以推断三维场景构造。只有有足够的对于照明条件和外表反射率的信息可用，这些办法能够提供物体外表的密集深度图。在第三类不同的办法中，利用用于图像采集的光学系统的点扩散函数的行为，以取得对于场景的深度信息（参见第4章），进而产生场景点的相对深度值。引入一个半教训框架，用于建设场景点的深度和点扩散函数的察看宽度之间的关系。Depth from focus办法应用相机和场景之间的间隔作为参考，在该距离处察看到点扩散函数最小宽度，依赖于适当的校准程序。这三类三维场景重建办法是能够进行互补的；因而，将它们集成到对立的框架中是有益处的，该框架能够比独自应用任何一种办法产生更精确和更持重的后果（参见第5章）。BA和Depth from focus相结合，以确定场景重建后果的相对比例因子，如果没有先验信息，则无奈独自通过BA取得。暗影和暗影特色被集成到一个自统一的框架中，通过引入依赖于从暗影剖析中推断出的深度差别的正则化项，缩小暗影技术中形态的固有模糊性和大规模不精确性。另一种综合办法联合了光度、偏振和稠密深度信息，产生了在大尺度和小尺度上同样精确的三维重建后果。该办法的扩大为非朗伯曲面的平面图像剖析提供了一个框架，传统的平面办法往往会失败。此外，提出了一种将光度信息和应用有源范畴扫描设施获取的相对深度数据进行集成的办法。在单目三维姿势预计的背景下，三角测量、光偏振和散焦线索的集成被证实比仅依赖基于三角测量的信息的技术体现得更持重，并提供更精确的后果。在不同的利用场景中验证了已开发的三维场景重建办法。在可能的状况下，提供了与最先进零碎的比拟。在工业质量检查（参见第6章）的背景下，评估了刚性物体（例如塑料帽和电插头）以及易碎物体（例如管道和电缆）的场景重建性能。将综合外表重建办法利用于不同类型金属表面的检测。在须要人与工业机器人之间平安交互的局部自动化工业生产场景的文本中，评估了三维点云中物体检测和跟踪以及关节物体姿势预计的开发技术（参见图7）。此外，咱们确定了开发的三维检测和姿势预计技术如何与人机交互场景中最先进的手势识别方法相干，并在事实的工业试验场景中展现了典型的动作辨认后果。第三种利用场景齐全不同，通过绘制高程图来实现月球外表的遥感（参见图8）。尽管所波及的空间尺度与工业质量检查畛域中遇到的空间尺度相差许多数量级，但根本物理过程类似。本文介绍了太阳系天体地形测绘的最新办法。撞击坑深度和形态的预计是一个地质相关性特地高的问题。对于月球陨石坑，基于综合办法的三维外表重建能够生成高分辨率的地形图，在一些中央能够与最近的地形数据（轨道激光测高和平面摄影测量）进行比拟。另一个与地质学相干的畛域是月球火山建筑物的三维重建，尤其是月球圆顶。最初（参见第9章）总结了本钻研的次要后果和最重要的论断，并概述了将来钻研的可能方向。 02 作者介绍Christian Wöhler于1996年取得维尔茨堡大学物理学文凭，2000年取得波恩大学计算机科学博士学位，2009年取得比勒费尔德大学利用计算机科学训练。他在乌尔姆戴姆勒团体钻研和高级工程部环境感知部门负责钻研科学家。自2005年以来，他始终是比勒菲尔德大学技术学院的客座讲师。他的迷信趣味是模式分类、三维计算机视觉和摄影测量畛域，利用于驾驶员辅助零碎、工业机器视觉和行星迷信畛域。 03 要害内容通过联合光度平面和被动范畴扫描，查看强非朗伯外表的三维外表重建，并利用于工业计量（新）探讨在人类与工业机器人平安交互的背景下，人体部位的姿势预计和跟踪，以及在简单工业生产环境中执行的动作的后续辨认（新）回顾基于轨道图像和激光测高数据的高分辨率月球数字高程模型的构建，包含对最新月球航天器数据集的探讨（新） 04 书籍目录 1. 书籍举荐-《基于深度学习的计算机视觉》书籍举荐-《机器人学原理》书籍举荐 - 《基于C++的机器学习实操》书籍举荐 -《自主移动机器人导论》

关于自动驾驶:不想自己开车Python帮你搞定自动驾驶

原文：不想本人开车，Python帮你搞定主动驾驶 01 装置环境gym是用于开发和比拟强化学习算法的工具包，在python中装置gym库和其中子场景都较为简便。装置gym： pip install gym装置主动驾驶模块，这里应用Edouard Leurent公布在github上的包highway-env（链接：https://github.com/eleurent/h...）： pip install --user git+https://github.com/eleurent/highway-env其中蕴含6个场景：高速公路——“highway-v0”汇入——“merge-v0”环岛——“roundabout-v0”泊车——“parking-v0”十字路口——“intersection-v0”赛车道——“racetrack-v0”具体文档能够参考这里：https://highway-env.readthedo... 02 配置环境装置好后即可在代码中进行试验（以高速公路场景为例）： import gymimport highway_env%matplotlib inlineenv = gym.make('highway-v0')env.reset()for _ in range(3): action = env.action_type.actions_indexes["IDLE"] obs, reward, done, info = env.step(action) env.render()运行后会在模拟器中生成如下场景：绿色为ego vehicle env类有很多参数能够配置，具体能够参考原文档。 03 训练模型3.1 数据处理(1)statehighway-env包中没有定义传感器，车辆所有的state (observations) 都从底层代码读取，节俭了许多后期的工作量。依据文档介绍，state (ovservations) 有三种输入形式：Kinematics，Grayscale Image和Occupancy grid。Kinematics输入V*F的矩阵，V代表须要观测的车辆数量（包含ego vehicle自身），F代表须要统计的特色数量。例：数据生成时会默认归一化，取值范畴：[100, 100, 20, 20]，也能够设置ego vehicle以外的车辆属性是地图的相对坐标还是对ego vehicle的绝对坐标。在定义环境时须要对特色的参数进行设定： config = \ { "observation": { "type": "Kinematics", #选取5辆车进行察看（包含ego vehicle） "vehicles_count": 5, #共7个特色 "features": ["presence", "x", "y", "vx", "vy", "cos_h", "sin_h"], "features_range": { "x": [-100, 100], "y": [-100, 100], "vx": [-20, 20], "vy": [-20, 20] }, "absolute": False, "order": "sorted" }, "simulation_frequency": 8, # [Hz] "policy_frequency": 2, # [Hz] }Grayscale Image生成一张W*H的灰度图像，W代表图像宽度，H代表图像高度Occupancy grid生成一个WHF的三维矩阵，用W*H的表格示意ego vehicle四周的车辆状况，每个格子蕴含F个特色。(2) actionhighway-env包中的action分为间断和离散两种。连续型action能够间接定义throttle和steering angle的值，离散型蕴含5个meta actions： ...

关于自动驾驶:VSLAM1视觉SLAM的发展现状

原文地址： VSLAM（1）视觉SLAM的倒退现状 01 VSLAM中罕用的传感器VSLAM中应用的传感器通常包含单目相机、平面相机和RGB-D相机。单目相机和平面相机具备类似的原理，可用于各种室内和室外环境。RGB-D相机作为一种非凡模式的相机，次要通过被动发射红外构造光或计算航行工夫（TOF）来间接取得图像深度。它使用方便，但对光线敏感，大多数状况下只能在室内应用。事件相机作为近年来呈现的一种新型相机传感器，能够获取到不同于传统相机的图像。事件相机是“事件”，能够简略到“像素亮度变动”。事件相机输入的变动是像素亮度，基于事件相机的SLAM算法仍处于初步钻研阶段。此外，作为一种基于视觉的经典SLAM零碎，视觉惯性交融在许多方面都获得了优异的成果。在图1中，咱们比拟了不同相机的次要性能。图1 不同相机之间的比拟。事件相机不是特定类型的相机，而是能够获取“事件信息”的相机。“传统相机”以恒定的频率工作，并具备显著的毛病，如拍摄高速物体时的通畅、含糊和适度曝光。然而，事件摄像机，作为一种相似于人眼的基于神经的信息处理办法，并没有这些问题。 02 评估工具和数据集SLAM问题曾经存在了几十年。在过来的几十年中，呈现了许多优良的算法，只管关注点不同，但每一种算法都在不同水平上促成了SLAM技术的疾速倒退。一般来说，咱们能够从时耗、复杂性和准确性等多个角度评估SLAM算法。不过，咱们最关注它的准确性。 ATE（相对轨迹误差）和RPE（绝对姿势误差）是用于评估SLAM精度的两个最重要的指标。绝对姿势误差（RPE）用于计算雷同的两个工夫戳中姿势变动的差别，实用于预计零碎漂移。相对轨迹误差（ATE）间接计算相机姿势的理论值与SLAM零碎的估计值之间的差。ATE和RPE的基本原理如下：假如：给定的姿态估计值为$\Delta $ 。下标示意工夫t（或帧），其中假如预计姿态的每一帧的工夫与实在姿态对齐，并且总帧数雷同。 ATE：相对轨迹误差是预计姿势和实在姿势之间的间接差别，它能够间接反映算法的精度和全局轨迹一致性。须要留神的是，预计姿势和高空真实度通常不在同一坐标系中，因而咱们须要首先对它们进行配对：对于平面SLAM和RGB-D SLAM，尺度是平均的，因而咱们必须通过最小二乘法$S\in SE(3) $计算从预计姿势到实在姿势的变换矩阵。对于具备尺度不确定性的单目相机，咱们须要计算从预计姿势到实在姿势的相似变换矩阵$ S\in Sim(3)$。因而，帧i的ATE定义如下：与RPE相似，倡议将RMSE用于ATE统计。 RPE：绝对姿势误差次要形容由固定时间差$\Delta $分隔的两个帧的精度（与实在姿势相比），这相当于间接测量的里程计的误差。因而，帧I的RPE定义如下：给定总数n和距离$\Delta $，咱们能够取得$(m=n-\Delta) $RPE。而后咱们能够应用均方根误差RMSE来计算该误差，并取得总体值： $trans(E_i)$示意绝对姿势误差的平移局部。咱们能够从RMSE值的大小来评估算法的性能。然而，在实践中，咱们发现对于$\Delta $能够有很多抉择。为了全面掂量算法的性能，咱们能够遍历计算所有$\Delta $的均匀RMSE： EVO是一个SLAM零碎评估的Python工具包，可用于各种数据集。它除了ATE和RPE，还能够取得数据，还能够绘制测试算法和理论轨迹的比拟图，是一个十分不便的评估工具包。 SLAMBench2是一个公开可用的软件框架，通过可扩大的数据集列表评估以后和将来的SLAM零碎。它包含开源和闭源的源代码，同时应用可比拟和指定的性能指标列表。它反对多种现有SLAM算法和数据集，如ElasticFusion、ORB-SLAM2和OKVIS，集成新的SLAM算法与数据集非常简单。此外，咱们还须要应用数据集来测试算法的特定可视化。用于测试SLAM性能各个方面的通用数据集如表1所示。 TUM数据集次要包含多视图数据集、3D指标辨认和宰割、场景辨认、3D模型匹配、VSALM以及各个方向的其余数据。依据利用方向，可分为TUM RGB-D、TUM MonoVO和TUM VI。其中，TUM RGB-D数据集次要蕴含具备实在高空轨迹的室内图像。此外，它还提供了两种评估轨道部分精度和全局一致性的办法，即绝对姿势误差和相对轨迹误差。TUM MonoVO用于评估蕴含室内和室外图像的单目零碎。因为场景的多样性，高空真实性不可用，但执行了具备雷同起始地位的大型序列，从而能够评估循环漂移（cyclic drift）。TUM VI用于视觉惯性里程计的评估。KITTI数据集是卡尔斯鲁厄理工学院和丰田美国理工学院联结创立的驰名户外环境数据集。它是世界上主动驾驶场景下最大的计算机视觉算法评估数据集，包含单目视觉、双目视觉、Velodyne激光雷达、POS轨迹等。它是应用最宽泛的户外数据集。EuRoc数据集是苏黎世ETH开发的视觉惯性数据集。Cityscape是一个与主动驾驶相干的数据集，专一于像素级场景宰割和实例标注。此外，许多数据集用于各种场景，如ICL-NUIM、NYU RGB-D、MS COCO等。表1 SLAM的通用开源数据集 03 基于文献数据的SLAM倒退剖析自SLAM问世以来，它已广泛应用于机器人畛域。如图2所示，本文抉择了过来二十年中与移动机器人相干的近1000篇热门文章，并制作了该关键词热图。圆圈越大，关键字呈现的频率越高。圆圈层从内到外显示从过来到当初的工夫，色彩越红，越吸引人。连接线示意不同关键词之间存在分割（数据来自迷信核心网）。如图3所示，视觉SLAM和语义SLAM相干论文的援用数量正在疾速减少。尤其是在2017年前后，视觉SLAM和语义SLAM的援用量激增。传统的VSLAM钻研获得了许多停顿。为了使机器人可能从更高的档次感知周围环境，语义VSLAM的钻研受到了宽泛的关注。此外，如图4所示，本文从Web of Science外围汇合中抉择了大概5000篇文章。从发表的对于SLAM的期刊题目来看，SLAM是机器人学的一个热门话题。图2 移动机器人畛域的热词图3 最近几年无关可视化SLAM和语义SLAM的科学网文章的引文（数据截至2021年12月）。图4 科学网对于SLAM的出版物题目 04 卓越学者和团队此外，许多学者和团队为SLAM的钻研做出了不可磨灭的奉献。如图5所示，咱们剖析了2000年至2022年的约4000篇文章（数据来自科学网网站）。字体越大示意作者受到的关注最多，反之亦然。它们所属的国家如图6所示。德国慕尼黑工业大学的计算机视觉小组是这一畛域的领导者。该团队公布了多种经典的视觉SLAM解决方案，如DSO和LSD-SLAM，这些解决方案进步了视觉SLAM的各个方面的性能。瑞士苏黎世大学的机器人和感知小组也通过开发SVO和VO/VIO轨迹评估工具，为SLAM技术的疾速倒退做出了奉献。此外，苏黎世联邦理工学院计算机视觉与集成实验室也在这一畛域做出了大量致力。此外，他们在大规模户外地图的视觉语义定位畛域获得了许多突破性停顿。西班牙萨拉戈萨大学机器人、传感和实时组SLAM实验室是SLAM倒退的最大贡献者之一。实验室推出的ORB-SLAM系列是视觉SLAM中的标志性计划，对SLAM的钻研产生了深远的影响。此外，许多学者和团队的致力推动了视觉语义SLAM的疾速倒退，并为解决将来的各种问题奠定了根底。表2显示了一些优良团队的作品及其团队网站，供您参考。您能够通过团队名称后援用的数字查看团队的网站。表2 一些优良的团队及其奉献图5 视觉SLAM畛域的卓越学者图6 不同国家在SLAM畛域的奉献（从亮到暗的色彩示意从低到高的奉献）

关于自动驾驶:精华文稿｜视觉自动驾驶最新技术路线浅析

分享嘉宾 | 黄骏杰；转载自深蓝AI原文：精髓文稿｜视觉主动驾驶最新技术路线浅析 01 背景主动驾驶是逐步从预言阶段向工业化阶段的一个过渡，具体表现可分为4点。首先，在大数据的背景下，数据集的规模在疾速扩张导致以前在小规模数据集上开发原型的细节会被大量过滤掉，能在大规模数据上无效的工作才会被留下来。其次是关注点的切换，从单目切换到多目场景，导致复杂度晋升。而后是偏向于对利用敌对的设计，如输入的空间从图像空间向BEV空间的转移。最初就是从之前单纯谋求精度到逐步同时思考推理速度。同时主动驾驶场景下须要疾速响应，因而对性能的要求会思考速度方面，另外就是更多的去思考如何部署到边缘设施。还有一部分的背景是在过来10年里，视觉感知在深度学习的推动下疾速倒退，分类检测、宰割等支流的方向上有大量的工作以及局部相当成熟的范式。主动驾驶场景里的视觉感知在倒退的过程中，像特色编码的指标定义、感知范式和监督等方面都大量借鉴了这些支流的方向，因而在投身主动驾驶感知之前，这些支流的方向都应该去涉猎一下。在这些背景之下，过来一年涌现了大量针对大规模数据集的三维指标检测工作，如图1所示(标红的为已经第一过的算法)。图1 三维指标检测近一年倒退 02 技术路线2.1 Lifting主动驾驶场景中视觉感知和支流的视觉的感知区别次要在于给定的指标定义空间不同，支流的视觉感知的指标定义在图像空间，主动驾驶场景的指标定义在3维空间。在输出都是图像的状况下，获取3维空间的后果就须要有一个Lift的过程，这就是主动驾驶视觉感知外围的问题。咱们能够把解决Lift对象问题的办法分为输出、两头特色和输入，输出级别的一个例子就是视角变动，其原理是利用图像去推理深度信息，而后利用深度信息把图像的RGB值投影到三维空间，失去一个带色彩的点云，前面就沿用点云检测的相干工作。目前比拟有前景的是特色级别的变换或特色级别的Lift，如DETR3D这些都是在特色级别进行空间变动，特色级别变换的益处是能够防止反复的去提取图像级别的特色，计算量小，也能够防止输入级别的环视后果交融的问题。当然特色级别的转换也会有一些典型的问题，如通常会用到一些奇怪的OP，导致部署的时候并不敌对。目前特色级别的Lift过程比拟鲁棒的次要有基于深度和注意力机制策略，别离具备代表性的为BEVDet和DETR3D。基于深度的策略是通过计算图像的每一点的深度，而后依据相机的成像模型把特色投影到3维空间，从而实现Lift的一个过程。基于注意力机制的策略是通过事后定义3维空间中的一个对象当做query，通过内外参找到和三维空间中点所对应的图像特色当做key和value，再通过attention的形式去计算失去一个3维空间中对象的一个特色。以后所有的算法都基本上高度依赖于相机模型，无论是基于深度的还是基于注意力机制的，这就会导致对标定敏感以及计算过程广泛偏简单。而那些摈弃相机模型的算法往往会不足鲁棒性，所以这方面还没有齐全的成熟。 2.2 Temporal时序(Temporal)的信息能够无效进步指标检测的成果。对于主动驾驶的场景来说，时序具备更深层次的意义在于指标的速度是以后场景下次要的感知指标之一。速度重点在于变动，单帧数据并不具备充沛的变动信息，因而须要去建模来提供工夫维度的一个变动信息。现有的点云时序建模办法是把多帧的点云混合在一起作为输出，这样能够失去比拟浓密的点云，使得检测更精确。另外多帧的点云含有继续的信息，前面在网络训练过程中通过BP学会如何提取这个继续的信息，以解决速度预计这种须要继续信息的工作。视觉感知的时序建模形式次要来源于BEVDet4D和BEVFormer。BEVDet4D通过简略的交融两帧的一个特色，为后续的网络提供一个继续的信息。另外一个门路是基于attention的,同时提供单时帧和逆时针的特色作为query的一个对象，而后通过attention的形式同时去查问这两个特色，从而去提取时序的信息。 2.3 Depth主动驾驶视觉感知相比于雷达感知的一个最大的毛病就是深度预计的准确度。论文《probabilistic and geometric depth: detecting objects in perspective》通过替换GT的办法来钻研不同因素对体现分的影响水平，剖析失去的次要论断是准确的深度预计能够带来显著的性能晋升。但深度预计是以后视觉感知的一个次要的瓶颈，目前改良的思路次要就有两种，一种是在PGD外面利用几何束缚对预测的深度图进行refine。另一种是利用激光雷达作为监督去取得一个鲁邦性更好的深度预计。目前流程上优胜的计划BEVDepth，是在训练的过程中利用激光雷达所提供的深度信息去对变动过程中的深度预计进行监督，和感知的主工作同时进行。 2.4 Muti-modality/Multi-Task多任务是心愿在一个对立的框架下来实现多种的感知工作，通过这个计算可能达到节俭资源或者减速计算推理的目标。但目前的办法基本上都是在失去一个对立的特色之后，通过不同的档次去解决特色来简略的实现多任务，广泛都存在工作合并之后，性能降落的问题。多模态也差不多广泛都是在整个判断外面找到一个能够间接交融的模式，而后实现一个简略的交融。 03 BEVDet系列3.1 BEVDetBEVDet网络如图2所示，特征提取过程次要是提取的图像空间的一个特色转化成一个BEV空间的特色，而后进一步的去编码这个特色，失去一个预测可用的特色，最初用浓密预测的形式进行指标预测。图2 BEVDet网络结构视角变动模块过程分两步走，首先假如要变换的特色的大小是VxCxHxW，而后在图像空间以分类的形式去预测一个深度，对于每一个像素失去一个D维的深度分布，那么就能够利用这两个将不同深度的特色进行渲染，失去一个视觉特色，而后利用相机模型将它投影到3维空间中，对3维空间进行体素化，其次进行splat过程失去BEV特色。视角变动模块的一个十分重要特点是在数据增缓中起到了一个互相隔离的作用。具体而言就是通过相机的内参，能够投影到3维空间中失去相机坐标系上的一个点，当数据增广的作用在图像空间上点的时候，为了维持在这个相机坐标系上点的坐标不变，则须要做一个逆变换，即在相机坐标系下面的一个坐标在增广前和增广后是不变的，这就起到了一个互相隔离的成果。互相隔离的毛病是图像空间的增广并不会对BEV空间的学习起到正则化的作用，长处能够进步BEV空间学习的鲁棒性。咱们从试验上能够失去几个比拟重要的论断。首先，在应用了BEV空间的编码器之后，算法更容易陷入过拟合的状况。另外一个论断是BEV空间的增广会比图像空间的增广对性能的影响更大。还有就是BEV空间的指标尺寸和类别高度的相干，同时指标之间的重合长度很小会导致一些问题，察看到在图像空间外面设计的非极大值克制办法并非是最优的。同时减速的策略的外围是利用并行的计算形式去给不同小的计算工作去调配独立的线程去达到并行计算减速的目标，长处在于没有额定的显存开销。 3.2 BEVDet4DBEVDet4D网络结构如图3所示。该网络的次要关注点在于怎么把逆时帧的特色利用到以后帧，咱们抉择输出的特色作为一个保留的对象，但没有抉择这个图像特色，因为指标的变量都是定义在BEV空间，而图像的特色并不适用于间接的时序建模。同时也没有抉择BEV Encoder前面的特色去作为继续交融的特色，因为咱们须要在BEV Encoder的中进行一个继续特色的提取。思考到视角变动模块输入的特色比拟稠密，因而在视角变换后接了一个额定的BEV Encoder去提取初步BEV特色，再去进行一个时序的建模。在时序交融的时候，咱们把逆时帧的特色通过对齐之后和以后针进行简略的拼接就实现这个时序的一个交融，其实咱们在这里就是把这个时序特色的提取的工作就交给了前面的BEV去做。图3 BEVDet4D网络结构怎么去设计与网络结构相匹配的指标变量？在这之前，咱们首先要理解一下网络的一些要害的个性，首先是特色的感触野，因为网络是通过BP学习，特色的感触野是由输入空间所决定的。主动驾驶的感知算法的输入空间个别会定义在自车四周的肯定范畴内的空间，特色图就能够视为该间断空间上一个均匀分布，角点对齐的一个离散采样。因为在特色图的感触野是定义在自车四周的肯定范畴内就会随着自车的静止而产生了变动，因而在两个不同工夫节点，特色图的感触野在世界坐标系下面是有肯定的偏移的。若间接把两个特色进行一个拼接，动态指标在两个特色图中的地位是不同的，动静指标在这两个特色途图中的偏移量等于自测的偏移量加上动静指标在世界坐标系中的偏移量。依据模式统一的一个准则，既然拼接的特色外面指标的偏移量是跟自车相干的，因而在设定网络的学习指标的时候，应该是指标在这两张特色图中的地位的变动量。依据上面的公式去进行推导，能够失去一个学习的指标是跟自测的静止是不相干的，只跟指标在世界坐标系上面的一个静止相干。咱们从上述推导失去的学习指标和以后支流办法的学习指标区别就在于去掉了工夫成分，而速度等于位移/工夫，但这两个特色中并没有提供工夫相干的线索，所以如果学习这个速度的指标，须要网络去精确的预计出这个工夫的成分，这就减少了一个学习的难度。在理论中，咱们能够把训练过程中两帧的工夫设定为恒定值，一个恒定的工夫距离网络是能够通过学 BP学习到的。在时域的增广当中，咱们在训练过程中随机的采纳不同的工夫距离，在不同的工夫距离下，指标在两张这张图中的偏移量不同，学习的指标偏移量也不同，以此达到模型对不同偏移量的鲁邦成果。同时，模型对于指标的偏移量是有肯定的灵敏度的，即如果距离太小，两帧之间变动太小就很难被感知到。因而在测试的时候抉择一个适合的工夫距离，能够无效进步模型的一个泛化的性能。 3.3 BEVDepth这篇是利用雷达去失去一个鲁棒性的深度预计，如图4所示。它通过利用点云去对变动模块中的深度分布去进行监督，这个监督是稠密的，这个稠密是相比于指标所提供的深度监督来说是浓密的，然而也没有达到每个像素都有一个精确的深度监督，也是绝对稠密。不过能够提供更多的样本，进步这个深度预计的一个泛化的性能。图4 BEVDepth网络结构这篇工作另外一个方面是把特色和深度分了两个分支进行预计，并且在深度预计的分支外面减少额定的残差网络以进步深度预计分支的感触野。钻研人员认为这个相机内外参的精度问题会导致context和深度是不对齐的，当这个深度预计的网络的感触不够大的时候，会有肯定的精度损失。最初就是将这个相机的内参作为一个深度预计的分支输出，应用了一个相似于NSE的形式，对输出特色的通道进行一个通道层面的调整，这能够无效进步网络对于不同的相机内参的鲁棒性。 04 局限性与相干的探讨首先，主动驾驶的视觉感知最终服务于部署，而在部署的时候会波及到数据的问题和模型的问题。数据的问题波及到一个多样性的问题和数据标注，因为人工标注是十分低廉的，因而看当前能不能够实现自动化的标注。目前来说对于动静指标的标注还是前所未有的，对于动态指标能够通过3维重建去失去一个偏自动化标注或者半自动化的标注。另外是模型方面，当初的模型设计对标定是一个不鲁棒的或说是对标定是敏感的，那么怎么样去让模型对标定鲁棒或者说不依赖于标定这也是一个值得思考的问题。另外就是网络结构减速的问题，能不能用通用的OP去实现视角的变动且这个问题会影响到网络减速的过程。精彩举荐来呀！用Python能实现主动驾驶！下载 | 《2022高精度地图利用白皮书》将来主动驾驶必须解决哪些感知问题视觉3D指标检测，从视觉几何到BEV检测两万字 | 视觉SLAM钻研综述与将来趋势探讨基于SLAM的机器人自主定位导航全流程

关于自动驾驶:COS数据湖存储引领大数据存储和自动驾驶存储发展趋势

COS数据湖存储引领大数据存储和主动驾驶存储发展趋势数据是企业的外围资产，随着数据规模的快速增长，企业对存储性能和性能的要求也在一直减少。对云厂商和企业用户来说，如何在晋升业务性能的同时降低成本是一微小挑战。11月26日在QCon大会上，腾讯云数据湖存储研发负责人严俊明和技术专家程力受邀分享了数据湖存储的关键技术，并分享了数据湖存储在大数据及主动驾驶场景下的落地实际，助力用户业务降本增效。上面，让咱们一起回顾下两位老师的精彩演讲内容数据湖是一种可拓展的技术架构，将数据存储、计算、剖析、AI等能力集成整合为一款多元化的解决方案，从数据中开掘价值；反对多种数据源，无缝对接各种计算剖析和机器学习平台，突破数据孤岛；利用私有云对象存储做数据湖存储底座，让数据具备高弹性扩大、高持久性、高可用性，并升高了存储老本。数据湖存储的底座-可靠性12个9的ZB级海量对象存储COS对象存储(Cloud Object Storage) COS 是腾讯云推出的无目录层次结构、无数据格式限度，可包容海量数据且反对 HTTP/HTTPS 协定拜访的分布式存储服务。技术架构应用了YottaStore自研存储引擎，单集群最多可扩大至百EB数据规模，弹性伸缩策略让数据主动进行缩容或扩容，帮忙用户平缓度过业务暴发期。 COS推出的新一代高可用机制，保障机房故障时读写申请失常执行，业务拜访可用性达到99.995%以上，让用户近乎无时无刻能够拜访到数据。此外，COS新一代同城多活架构基于Block EC能力，将小文件在多正本层暂存，积攒成逻辑Block后进行EC编码，在利用EC编码技术将数据分块、分机房存储，数据可靠性晋升至12个9以上，为数据安全保驾护航。 COS作为一款云端存储产品，用户无需进行传统硬件的洽购、部署和运维，从而节俭了运维工作和托管老本；反对按量付费，且无容量限度，用户无需事后领取任何预留存储空间的费用；COS还提供多样化的存储类型，笼罩数据热、温、冷和离、在线存储能力，用户更可通过生命周期治理进行数据降冷，进一步降低成本。 COS三级减速GooseFS打造大数据存储行业性能标杆客户为教育行业当先企业，原在友商云中自建大数据集群，但在双减的背景下面临严厉的老本压力，须要降级集群运行和保护老本。原有的存算一体技术架构弊病也逐步凸显，用户计算和存储资源配比无奈按需调整，存储占用容量高导致节点数量无奈缩减，使得存储资源利用率不高，不足弹性能力，客户大数据业务的架构降级势在必行。腾讯云存储将客户原有的存算一体计划革新为EMR+COS存算拆散计划，通过GooseFS缓存层和元数据减速晋升数据拜访性能，COS减速对COS热数据做读减速，客户整体作业执行工夫缩短20%；此外大量应用基于AMD的SA2低成本机型再叠加对象存储COS，仅局部节点部署GooseFS Server，该存算拆散计划帮忙客户升高40%以上老本。数据湖加速器GooseFS赋能混合云，助力主动驾驶训练近几年间，主动驾驶行业飞速发展，越来越多的车企抉择数据上云。车企IDC通过云联网同腾讯云建设高速网络连接，数据在私有云存储和IDC存储之间自在流动，无缝应用云上弹性计算资源，帮忙用户聚焦本身业务。腾讯投入构建主动驾驶云专区，供全套DevOps工具，联结主动驾驶行业优良的算法、仿真引擎和产业链生态利用，造成以主动驾驶数据为外围、服务算法研发与继续迭代优化的闭环解决方案，提供牢靠、平安、稳固的主动驾驶专有云服务。在存储层面，依据业务需要，客户抉择可抉择存储一体机TStor OneCOS和对象存储COS产品，通过GooseFS系列产品（全家桶），全面笼罩主动驾驶业务场景，减速大数据和AI训练业务。 GooseFS系列产品（全家桶）：GooseFS：计算端COS缓存，提供HDFS、POSIX语义，利用计算节点资源，为数据预处理、训练场景，提供低成本、海量小文件读取减速服务。GooseFS-Lite：计算端轻量级COS数据接入，提供POSIX语义；针对仿真大文件、高吞吐数据读取场景。GooseFSx：高性能并行文件缓存，高度兼容POSIX语义；为数据预处理、模型训练提供数据输入（写）服务，反对Windows零碎对接能力。这里分享一位主动驾驶行业高端车企的案例，客户在AI训练的过程中，将训练、仿真、测评、模型、地图等数据存储在本地IDC，存在硬盘老本过高，EKS集群数据无奈共享等痛点。主动驾驶专云解决方案将采集到的车辆原始数据先写入本地IDC，之后通过TStor OneCOS将数据上传到云上对象存储COS，为客户在本地IDC提供海量、低成本对象存储服务。原始数据在进行预处理后（抽帧，标注），生成训练数据集；黑石GPU集群通过 GooseFS缓存减速，运行TensorFlow训练任务。这里GooseFS缓存服务来大幅晋升存储性能，进步业务效率。

关于自动驾驶:恶劣天气下如何保证自动驾驶的可靠性

统计数据显示，雨雪等顽劣天气下行车事变的发生率较失常天气高出70%。风沙、浓雾、雨雪等极其天气，对路况条件、驾驶员视线和场景判断带来极大烦扰。无论是老成持重的老手司机，亦或是驾龄丰盛的老司机，雨雪天行车均无异于一场噩梦。而对于“模拟”有人驾驶的主动驾驶汽车，顽劣天气对环境感知零碎的影响则更为严重。是否具备顽劣天气条件下的失常行驶能力，是测验主动驾驶汽车是否上路的终极“试金石”。一.天气对感知零碎的影响为了确保主动驾驶车辆在不同场景下均能够做出正确判断，须要对周围环境信息进行实时动静获取和辨认，这些信息包含但不限于自车的状态、交通流信息、路线情况、交通标志等，以满足车辆决策零碎的需要。换言之，环境感知起着相似人类驾驶员“眼睛”、“耳朵”的作用，是实现主动驾驶的前提条件。目前，环境感知技术有两种技术路线，一种是以摄像机为主导的多传感器交融计划，另一种是以激光雷达为主导，其余传感器为辅助的技术计划，这两种计划罕用的传感器品种包含但不限于激光雷达、毫米波雷达、超声波雷达、摄像头等。不同传感器在面对不同天气时，所受到的影响是不同的，目前临时没有任何一种传感器能够完满应答任何天气。 1.激光雷达激光雷达+高精地图，是目前主动驾驶一种支流传感器组合计划。激光雷达精度高、穿透力强，能够实时扫描周围环境建设三维模型，领有很高的可靠性和精确性，但对顽劣天气的适应性则略微差一些。雨天对激光雷达的影响绝对较小，除暴雨等极其降雨条件下，激光雷达根本不会受到任何影响。雪天和风沙天则会对激光雷达造成显著影响。与降雨不同，雪由固体物和雪花组成，很容易沉积造成障碍物(风沙天也容易造成堆积物)，从而影响激光雷达的扫描间隔，或者导致激光雷达的谬误探测。 2.毫米波雷达毫米波雷达探测距离远，精度虽没有激光雷达高，但在泛滥传感器类别中仍处于较高水准，次要作为测距和测速传感器而存在。毫米波雷达对雾、烟、灰尘的穿透能力极强，在顽劣天气条件下，整体体现更好。但毫米波雷达也并非全无毛病，其在有雨有雾或大雨的天气下体现欠佳，性能会呈现大幅降落，且毫米波雷达也存在对行人辨认有余的问题。 3.超声波雷达超声波雷达具备频率高、波长短、绕射景象小、方向性好、可能成为射线而定向流传等长处，但探测间隔很短，因而罕用于短距离测量，如泊车场景。超声波雷达受天气情况影响大，不同温度状况下，测量的间隔也不尽相同，在测量较远距离指标时，其回波信号会比拟弱，无奈准确形容障碍物的地位。 4.摄像头摄像头是受天气影响最为重大的一种传感器。一滴雨、一粒沙子、一片雪花都会对摄像头造成遮挡，无奈正确感知周围环境。此外，摄像头也是少有的在失常天气下，也会呈现被烦扰的传感器。晴天阳光的照耀、玻璃的反射都会使摄像头的可见度升高到简直为零，光引起的外表反射也会呈现混同视线，从而造成误判的状况。二.如何保障顽劣天气下的可靠性?主动驾驶一项重要潜在利用劣势就是进步行车安全性。现实状态下，通过利用车联网等技术，主动驾驶汽车能够无效感知路况信息，自动控制与四周车辆间距，交通事故发生率会维持在一个非常低的水准。为了达到现实状态下的主动驾驶，以后仍需解决各种技术问题，天然也包含顽劣天气下的行车安全性。目前，晋升顽劣天气下主动驾驶汽车行车安全性的形式次要有多传感器交融、顽劣天气训练数据集、模仿仿真等多种形式。 1.多传感器交融繁多传感器在面对顽劣天气时会呈现各种各样的问题，但通过多传感器交融的形式，能够做到优势互补，取长补短。此外，多传感器交融也能够在某些状态下，如某一种传感器呈现故障的环境下，额定提供肯定平安冗余度。这种谬误或故障可能是由天气起因或是人为起因(例如，对摄像头或雷达的电子干扰或人为烦扰)导致。 2.训练数据集感知算法的训练与调优离不开各种数据集。为了让主动驾驶汽车能在各种环境下均能精确辨认路况信息，并做出正确判断，就须要为算法投喂品种多样的路况数据。目前，用于感知算法训练的数据集多以良好天气场景为主，如晴天或阴天。顽劣天气场景下的数据集不仅总量少，场景覆盖度也同样有余。呈现这种情况的起因一方面是因为顽劣天气呈现的概率绝对较小，实现主动驾驶是一个循序渐进的过程，优先解决大场景，后续逐步解决小场景是一种事实且卓有成效的计划。另一方面起因则是顽劣天气数据的采集离不开有人驾驶采集车。顽劣天气下，有人采集车上路行驶同样会面临较高的行车平安危险，采集存在肯定难度。事实上，除了采集存在难度以外，顽劣天气数据集的标注解决同样也是一个难题。不同于良好天气下采集的数据，顽劣天气下采集失去的数据集往往存在图像含糊、无奈精确分辨物体等问题，解决效率和数据品质均较难以满足理论需要。曼孚科技深谙顽劣天气数据集的标注解决之道。无论是雨天、雪天还是风沙天等，曼孚科技均积攒了较为丰富的教训，MindFlow SEED数据服务平台也针对顽劣天气场景做出优化，AI预辨认算法加持下，含糊图像的辨认解决准确率失去无效晋升。无论是数据处理效率亦或是数据产出品质，均能够满足大规模顽劣天气感知算法的训练需要。 3.仿真与模仿风沙、雨雪等顽劣天气受节令、地区等因素影响较大，热带地区无奈采集到降雪环境相干数据集，水草丰茂地区也很难呈现风沙天气。然而哪怕是在适合的区域，顽劣天气的呈现也是一件小概率事件。为了采集失去足够多的数据集，须要付出的工夫老本与人力老本均非常昂扬。另外，正如上文所述，顽劣天气对采集车的行车平安也是一项考验，有人驾驶的数据采集车在顽劣天气下并不能做到百分百平安。仿真与模仿平台的呈现则很好地解决了此类问题。实验室能够代替理论环境做测试。通过在关闭环境下模仿雨雪、雾霾、风沙等天气，既与实在环境相差无几，又高度可控，对人员或设施的平安危害能够升高到一个很低的程度。除以上三种形式以外，V2X、路面检测、先验地图等也是解决顽劣天气主动驾驶平安行驶的无效形式。随同着泛滥解决方案的利用，主动驾驶汽车在顽劣天气下的体现愈发持重，全场景、齐全主动驾驶将来可期。

关于自动驾驶:MindFlow-SEED由自动驾驶而生的全能高效数据标注平台

当初汽车行业混同着一个概念，认为只有堆料，就能造出主动驾驶。作为智能汽车的命根子，数据是主动驾驶量产决胜的正负手，在少数人眼中，数据量越大、数据学习速度越快，主动驾驶就能更快实现数据闭环，实现主动驾驶技术的指数级倒退。数据确有着扭转乾坤的能力，但一个要害前提，只有高质量数据才能够。数据品质定义模型性能。如果只将眼光一味停留在堆数据上，或者就是负薪救火，换句话说，“求量”只是根底，“求质”才是主动驾驶车企对数据的最终目标。正所谓人强不如家伙强，高质量数据的诞生离不开数据处理平台，相比数据标注行业广泛的小作坊模式，大中型数据标注公司领有更业余的平台技术，不仅具备丰盛的标注工具、全面的服务教训，可能为用户不同场景需要提供定制化数据解决方案，且领有严格的数据安全防线，在服务期间为用户数据隐衷保驾护航。因而，为标准研发标注工具，进步标注效率，建设正当的治理及质检流程，帮忙算法研发人员获取优质的训练数据，升高数据标注老本，曼孚科技精心打磨了一套数据标注平台——MindFlow SEED平台，用于疾速、精确地为算法研发人员提供标注数据。现阶段，MindFlow SEED已更新至第三代，平台反对主动驾驶、高精地图、导航等多个模型需要，为寰球主动驾驶车企提供数十种标注工具，局部工具展现如下：曼孚科技在探寻主动驾驶市场时发现，要想满足各家需要，一个可能高效产出海量数据，且具备强延伸性，满足各种场景的业余数据标注平台是数据服务企业的标配。而MindFlow SEED平台——就是一款集上述特点于一身的优质产品。上面就具体论述下曼孚科技打造的数据智能服务平台到底有哪些闪光点。丰盛的工具产研团队将MindFlow SEED平台裁减至三大标注模式以及四维标注工具，全面笼罩计算机视觉、自然语言解决、语音交互等利用场景。在具体标注类型上，提供图像(2D框、旋转2D框、多边形、关键点、多段线、曲线、3D框、椭圆、日形框等)、语音(ASR转写)、文本(OCR转写)、3D点云(单帧、间断帧、点云交融、点云语义宰割)等多种自定义标注计划。在主动驾驶3D点云标注效率与数据产出品质方面曼孚科技均处于国内领先地位。 AI预标注MindFlow SEED平台利用18种不同类型AI预标注辅助工具，全面笼罩各类垂直标注场景，效率较行业平均水平晋升20%以上，局部场景标注效率可晋升2-3倍以上。AI辅助筛查下，数据精准度可达100%级别，直击数据需要痛点。全生命周期群治理齐备的我的项目数据生命周期治理模块是MindFlow SEED平台高效执行工作的要害。该治理模块蕴含数据集治理、团队人员治理、角色权限治理、工作流治理等，并创新性的引入调度功能模块，实现我的项目数据与集体能力高度匹配，以规范化、标准化的流程取代传统口耳相传的业务执行模式。数据安全保障MindFlow SEED平台提供全流程密态爱护、精细化权限管制、全链路监控回放、用户风控系统等数据安全管控形式，从数据安全建设的多个维度，剖析反抗内部歹意攻打、防备外部误操作行为、躲避物理平安危险、强化平安治理等。部署多元化提供以MindFlow SEED数据服务平台为外围的产品部署服务。根据不同部署形式以及功能模块，收取不同的部署费用+服务费。次要模式包含私有云、公有云、混合云等，满足不同业务场景需要。总结曼孚科技以PLG(产品驱动式)模式为公司倒退的外围，现阶段，MindFlow SEED平台已实现数据全生命周期治理能力+供应链治理+我的项目协同+AI人机协同+自定义权限+全场景笼罩标注能力，给数百家主动驾驶企业交付了高质量的结构化数据集。在将来，曼孚科技将加大对MindFlow SEED平台研发投入，为智能汽车畛域搭建更具行业属性的数据服务平台，缩小智能改革老本,减速主动驾驶时代进化。MindFlow SEED——由主动驾驶而生的全能高效数据标注平台

关于自动驾驶:ros编译工程失败

编译lidar2imu标定的时候始终失败，最终发现是cmake版本的问题，原本cmake在装置完ros后是3.10.2，然而起初为了别的程序编译，将cmake升级成了3.24.1导致始终编译失败。正文了 .bashrc 中的cmake门路后，source之后再进行编译，胜利！https://github.com/chennuo012...

关于自动驾驶:上海自动驾驶再上热搜为什么是它丨曼孚科技

“最近，智能汽车板块有一个重磅音讯，三年后，上海将至多有七成汽车具备主动驾驶辅助或无人驾驶能力。” 9月5日，上海印发的《上海市放慢智能网联汽车翻新倒退实施方案》，将主动驾驶又一次送上了热搜。该计划指出，到2025年，上海具备组合驾驶辅助性能(L2级)和有条件主动驾驶性能(L3级)汽车占新车生产比例超过70%，具备高度主动驾驶性能(L4级及以上)汽车将在限定区域与特定场景实现商业化利用，上海将成为国内汽车智能化倒退的当先城市。显然，这一动作会成为智能汽车行业的方向标，为新能源汽车商业落地指明方向，真正将主动驾驶产业运作起来。至于为什么是上海?其实还是产业劣势所然。世界顶级主动驾驶城市——上海上海大力推广主动驾驶产业倒退，已不是久而久之之事。作为最早发展主动驾驶测试的城市之一，上海早已将无人智能融入社会，如无人驾驶出租车、主动驾驶AR小巴、智慧车列、智能5G重卡、智能批发、智能外卖配送等等，屹然是一座智能化大都市。值得一提，上海也是寰球主动驾驶测试企业最多的中央。加之欠缺的汽车产业配套设施，使其成为了寰球最优质智能驾驶赛道。此次颁布的网联实施方案，除聚焦车规级芯片、人工智能算法、激光雷达、车载操作系统、智能计算平台、线控执行零碎等要害畛域外，智慧路线基础设施也成为着重开辟对象。在智慧路线方面，上海将放慢落实重点区域笼罩，以根本满足车路协同、智慧交通等利用需要，智能出行规定、规范与监管体系将冲破优化，根本建成零碎欠缺的智能网联汽车管理体系。此外，多层次的智能网联汽车要害零部件产业体系构建也是重中之重。上海将继续推动智能网联汽车产业链建设，放慢布局骨干企业，反对企业围绕产业链上下游发展并购重组。而这一规定也将成为主动驾驶行业大洗牌的助推器。主动驾驶难有降维打击早在2021年，局部以Robotaxi为指标的L4级主动驾驶公司便开始分化新的业务，试图通过技术在商业支出方面有所突破。对于主动驾驶公司研发L2级辅助驾驶性能的景象，被局部人称为“降维打击”。他们向往真正的无人驾驶，认为L4级主动驾驶公司凭借精细的算法，能为智能汽车提供更丰盛的驾驶性能与体验，像科幻小说中高维生物顺手毁灭低维生物那般轻松。只是这种空想，在更多人眼中是不切实际的。维度不同，技术也不同，以软件算法为荣的主动驾驶公司进入对软硬件要求更严格的研发畛域，过程并不会顺利。只管外界声音一直，但能够必定，此次上海对L2、L3级技术的搀扶与对L4级的束缚，会减少更多跨维度转型的企业，给主动驾驶带来更前沿的新技术。危机下的抉择在特斯拉、蔚来、小鹏等L2、L3级主动驾驶企业风生水起时，反观L4级企业，几年前行工夫，它们离起点的间隔逐步缩短，但指标仍不在眼帘之内，资金的耗费随着主动驾驶车辆规模扩充而减少。这些困身于商业化迷雾之中的主动驾驶公司急寻一招助其冲破封闭的逆天技能。此次，上海对智能网联汽车的标准不堪称不及时。在考虑中，他们将看向L2、L3级辅助驾驶零碎。而另一方面，该赛道也会涌入更多带着高新软件算法的后起之秀，凭借着国家红利反对，在L4级主动驾驶开辟更细化、业余的场景利用。争抢要害窗口期2025将注定是不平庸的一年。在2025年，上海预计智能网联汽车市场规模将达5000亿元；百度团体预测寰球会呈现大范畴进行Robotaxi商业经营的企业;广汽预测智能汽车将呈现拐点，无人驾驶的整体产品体验和服务会有一个大的冲破，会对产品体验和将来商业的竞争产生十分大的变动。话里话外，2025年作为要害节点的重要性显而易见。事实上，不仅上海，全国其余城市也相继立下了出台主动驾驶汽车行业标准或搀扶的Flag，力争将来几年在主动驾驶畛域实现更大飞跃。以北京为例，在2021年8月北京就公布了《北京“十四五”高精尖产业布局公布》，该布局指出，要力争到2025年实现汽车产业产值冲破7000亿元，智能网联汽车(L2级以上)渗透率达到80%。而除政策搀扶外，主动驾驶要想真正实现冲破，技术也是一大难关。数据为王的时代人尽皆知，主动驾驶的三大主力为“传感器、计算平台、数据与算法”，而现阶段，算法成为妨碍智能汽车后退的次要难点之一，作为算法的根底，数据的位置变得越来越高。想要算法做到解决更多、更简单的场景，背地就需海量的实在路线数据做撑持，而这就须要依附数据标注。数据标注是车辆辨认根底障碍物的根底，是晋升模型品质的要害，海量且高质量、精细化的数据能够在很大水平上晋升汽车主动驾驶的安全性与实用性，助推主动驾驶落地化过程。市面上大中型数据标注公司沿用的是AI+私有化部署+平台的模式。以后，将技术引入数据标注流程已是业内通用做法，让训练好的AI模型反哺人工标注，也是标注技术公司的劣势所在。以曼孚科技为例，曼孚科技作为行业当先的AI基础架构与数据智能平台服务商，专一为主动驾驶企业提供从策略到技术落地的一站式数据解决方案。作为新一代技术导向型公司，曼孚科技自研了智能数据服务平台MindFlow SEED，该平台作为数据智能平台体系的重要组成部分，是实现重构AI基础架构的要害。 MindFlow SEED平台除领有目前市面上支流第二代平台的“多场景标注能力+无限项目管理能力”以外，还创新性的大量引入生命周期治理、AI加强等模块，造成了笼罩“数据全生命周期治理能力+供应链治理+我的项目协同+AI人机协同+自定义权限+全场景标注”的多维平面数据处理能力。在这些功能模块的加持下，平台数据标注效率均匀可晋升10倍以上，AI辅助筛查下，数据精准度可达99.99%级别，直击主动驾驶企业数据需要痛点，从源头端解决主动驾驶利用场景继续拓展对于多源异构数据的海量需要，为主动驾驶提供强劲的后盾撑持。在这个数据为王的时代，谁领有越精良的算法，谁就能在主动驾驶行业怀才不遇，而数据标注将是一条通往胜利的捷径。变动，主动驾驶的新赛道正所谓，天地一浮云,此身乃毫末。过来专一于某一场景是主动驾驶技术疾速倒退的秘诀，而现在，解脱自我束缚的边界，将技术以不同模式真正实际或者将是将来的新主题。不可否认，主动驾驶公司研发辅助驾驶之路刚起步，后方仍有不少艰难。但精诚所至,金石为开，属于主动驾驶的时代曾经到来。在这里，期待将来的主动驾驶可能还愿，在驾驶性能的量产方面获得新的停顿，早日实现真正的无人驾驶!

关于自动驾驶:计算讲谈社第十一讲｜商用车智能驾驶商业化实践科技保险模式探索

主动驾驶的“玩家”们继续在摸索技术的利用场景和商业化落地。商用车智能驾驶企业所托瑞安从“科技+保险”切入，摸索出一条主动驾驶商业化的路线。【计算讲谈社】第十一讲上线，所托瑞安创始人兼CEO徐显杰、所托瑞安CIO金彪、阿里巴巴研究员吴翰清（道哥）携学员针对该主题开展分享探讨。https://www.youku.com/video/X... 讲师介绍徐显杰：所托瑞安创始人兼CEO，清华大学管理学硕士，曾在韩国国立首尔大学国内学院替换学习。曾负责益源资本(EverYi Capital)联结开创合伙人，曾任职于美国安盈投资(AEA Investors)上海办公室并负责投资经理，参加了多个我的项目的投资和治理。在退出AEA之前，曾任职于美国贝恩公司(Bain & Company)大中华区的策略治理征询参谋，曾在其北京、上海、新加坡和曼谷办公室工作。金彪：北美产险精算师，现任所托瑞安CIO（首席翻新官），领有超过25年的保险行业从业教训，善于保险产品的设计,定价及风险管理。曾先后于日本东京海上保险，中国太平洋保险，美国Verisk，德国慕尼黑再保险等多家海内外顶级保险公司负责重要职位，领有丰盛的经营治理教训。退出所托瑞安后，他以对保险数据的全流程剖析与数据产品的开发及利用的粗浅见解及丰盛教训，主导了商用车“鹰眼”UBI及ABI等翻新业务的倒退，进一步坚固所托瑞安在中国商用车“渐进式”智能驾驶赛道的领军位置。吴翰清（道哥）：阿里巴巴研究员，阿里巴巴、淘宝、支付宝平安体系创建者，《白帽子讲 Web 平安》作者，MIT TR35 中国互联网安全畛域入选第一人，阿里云城市大脑晚期建设者之一，目前工作于大规模计算和人工智能畛域。学员介绍王刚（玄瞳）：阿里云 AI 产品专家，北京大学计算机硕士，深度强化学习和动作辨认方向。陈新（骏维）：阿里云高级产品专家，深耕 CDN 畛域。于开丞（杰柯）：达摩院算法专家，瑞士联邦理工博士，深耕视觉模型和 AutoML，阿里星。谭冠群（君扬）：阿里云高级产品专家，深耕平安畛域。肖子彤（栖风）：阿里云技术专家，秘密计算方向，DEFCON CTF 寰球总决赛冠军，阿里星。江波（云联）：阿里云高级产品专家，深耕云计算金融畛域。范佳莹（嘉壹）：阿里云高级产品专家，深耕产业智能-数字医疗方向。袁华良：国内视频 AI 产品晚期建设者，深耕视频云和人工智能联合畛域。【大咖说】是什么？简介：【大咖说】是阿里云推出的内容版块，由“大咖”主讲，提供理念、思维、方法论、趋势等内容，模式有嘉宾演讲、对话访谈等，意在通过传递“信息和观点”，表白对将来的洞察。（百度搜寻【阿里云大咖说】，观看更多精彩内容~）【计算讲谈社】是什么？简介：【计算讲谈社】是由阿里云【大咖说】推出的子系列，由吴翰清（道哥）主讲、联结八名学员和各领域专家，以“讲”和“谈”的模式，独特探讨“计算将来”；主张从本源上思考问题，敢于对固化“常识”或“教训”提出质疑，意在培养人才和积淀有价值的内容。

关于自动驾驶:手眼标定模型过程详解

1、手眼标定模型具体推导https://mp.weixin.qq.com/s/0E...2、两步法计算手眼标定模型https://blog.csdn.net/wjdexz/...https://blog.csdn.net/qq_3902...

关于自动驾驶:ubuntu-1804-安装-Melodic-版本的-ros-过程记录sudo-rosdep-init失败

参考连贯1）https://blog.csdn.net/KIK9973...这篇文章次要讲述了ros的具体装置过程，然而遇到了sudo rosdep init 失败的问题，该文章针对于这个问题的解决办法是生效的。2）sudo rosdep init失败问题解决路径：https://blog.csdn.net/qq_4493...这个因为我之前本人装置过anaconda，所以在base环境下间接能够应用pip，所以没有呈现pip找不到的问题，我想应该也能够间接装置一个pip从而解决问题。

关于自动驾驶:lidar和camera之间的联合标定

了解闭式解和数值解的区别闭式解也称之为解析解；数值解：通过有限元，插值，数值迫近的办法求得的解标定的基本思路：首先求得闭式解，而后在超定方程的数据撑持下，采纳数值优化的形式，寻找最优预计。闭式解的求解思路通过建设约束方程，进行求解联结标定的约束方程建设已知条件：3D激光点云能够确定棋盘格立体，失去在激光坐标系下的立体方程camera能够检测棋盘格上的角点，失去角点在相机坐标系下的点的空间地位通过点在立体上建设约束方程。求解的思路优化将约束方程进行变形，比方说分步求解旋转矩阵，在求平移矩阵，这样能够大大简化计算量失去闭式解后，通过数值的形式，以以后解为迭代终点，失去最优预计罕用的求解最优化的办法比方:LM算法，奇怪值合成等

关于自动驾驶:相机标定张正友标定方法

了解为什么至多须要4个角点能力实现标定？单应性矩阵的自由度是8，同时每个角点能够失去2个约束方程，所以须要4个角点能力求解。了解求解的是从世界坐标系到像素坐标系之间的关系，其中像素坐标能够通过图像检测角点的形式得出，世界坐标系通过认为定义起始点坐标和棋盘格的间隔能够得出了解相机的内参和外参指的是什么？

关于自动驾驶:双目标定

基本思路标定板上有一个点的世界坐标，能够了解为世界坐标系下的向量左右相机的主点在世界坐标系下已知坐标地位，那么同样能够了解为两条向量双目校对的确就是取得主点之间的旋转+平移的转换关系那么通过标定板上的这一个点形成的向量能够建设束缚关系根底概念主点：光轴与相机成像立体的点$P_w: 标定板上的某个点在世界坐标系下的坐标$$P_l,P_r :左右相机在世界坐标系下的坐标 $$R_l,T_l,R_r,T_r:标定板上的点(其实能够了解为向量)绝对左右相机主点(也是了解为向量)的旋转、平移矩阵 $单个相机标定实现后，标定板上的点到主点的转化关系是已知的旋转矩阵是单位正交矩阵，那么矩阵的逆等于矩阵的转置公式推导能够将标定板上的点形成的空间向量通过旋转+平移变换成左右相机主点形成的空间向量 $$\left\{\begin{matrix}P_l = R_l \cdot P_w+T_l \\P_r = R_r \cdot P_w + T_r\end{matrix}\right.$$ 通过反解出$ P_w $ 向量，能够建设束缚 $$\left\{\begin{matrix}P_w = (R_l)^{-1} \cdot (P_l-T_l) \\P_w = (R_r)^{-1} \cdot (P_r-T_r)\end{matrix}\right.$$ $$(R_l)^{-1} \cdot (P_l-T_l) - (R_r)^{-1} \cdot (P_r-T_r) = 0$$ 待求解方程 , （其中 R 和 T是须要求解的参数） $$P_r = R \cdot P_l + T$$ 将约束方程转换为上述求解式子模式，失去最终的解 $$P_r = [R_r \cdot (R_l)^{-1}]P_l + [T_r-R_r(R_t)^{-1}T_l]$$ 失去初始的标定后果 ...

关于自动驾驶:相机标定

相机坐标系1）世界坐标系2）相机坐标系3）图像坐标系4）像素坐标系世界坐标系转相机坐标系这个是刚体变换，刚体变换波及欧拉角+旋转程序的概念还有为了解决死锁问题，引入的四元素的概念$$\begin{bmatrix}x_{camera} \\y_{camera} \\z_{camera} \\\end{bmatrix}= R\begin{bmatrix}x_{world} \\y_{world} \\z_{world} \\\end{bmatrix} + t$$ 相机坐标系转图像坐标系实质是小孔成像原理，波及到的是透视变换，依照三角形类似失去： $$Z_{camera} \cdot\begin{bmatrix}x \\y \\{1} \\\end{bmatrix} = \begin{bmatrix}f&0&0&0 \\0&f&0&0 \\0&0&1&0 \\\end{bmatrix} \cdot\begin{bmatrix}x_{camera} \\y_{camera} \\z_{camera} \\{1} \\\end{bmatrix}$$ 图像坐标系转像素坐标系畸变改正todo （未完待续） tips 欧拉角和旋转矩阵之间的转换 https://zhuanlan.zhihu.com/p/...内旋和外旋的区别不同固定轴旋转矩阵的记忆办法以及轻微区别markdown中的矩阵公式语法https://zhuanlan.zhihu.com/p/...

关于自动驾驶:自动驾驶争议不断距离落地还有几道坎｜上云那些事

近日，某明星的车祸事件引起全网宽泛关注，对于主动驾驶、车联网等新技术的平安问题随即引发热议。尽管起火起因临时不明，但从各方对平安问题的探讨来看，在推动主动驾驶落地的过程中，平安、合规仍是当下亟需重点关注并解决的问题。以后，数字化技术、智能化技术已成为汽车产业倒退改革的重要驱动力，其一举一动也颇受关注。据腾讯智慧出行解决方案副总经理姚振介绍，主动驾驶和车联网平安问题屡遭热议次要有三个起因。首先，因为许多汽车品牌的适度宣传，公众对主动驾驶产生过高预期，甚至适度依赖主动驾驶零碎。例如网络上会售卖一些主动驾驶的辅助工具，搁置在方向盘上就能够解放双手，看似便当，实际上暗含着微小的安全隐患。其次，主动驾驶汽车的保有量越来越多，基数减少，因而也会呈现事变越来越多的状况。第三，任何新事物的诞生都会经验被狐疑的阶段，在这一阶段，主动驾驶产生的任何安全事故，都会受到公众的宽泛关注。比方说飞机的事故率就远低于海洋上的任何交通工具，然而每次产生事变都将是重大新闻。新技术须要工夫成长无可非议，不过对于产业链而言，无论是主机厂还是汽车行业，当下都应高度重视主动驾驶和车联网的平安合规问题。对此，姚振提到，二者的问题有所区隔，主动驾驶的合规问题更为简单、老本更高；而车联网合规问题在宽度上更广，波及行驶过程中的各种数据，包含驾驶员的驾驶习惯，甚至是用户的个人信息数据等。除此之外，《网络安全法》《数据安全法》《个人信息保护法》等各种法规也是车联网合规问题应重点关注的方面。专家特地揭示，车企应该从外部建设一套残缺的平安体系，尽管后期布局或者不须要消耗太大的精力，但建设的时候能够分步走；同时如果后期布局没有做好，一年或者两年当前为了满足合规再去重建零碎，老本将会十分高，因为平安的建设须要从一开始就深植其中。往年6月份，腾讯公布了一套一体化的汽车平安解决方案，从云管端法四个层面做了解读，对于车联网的数据安全应用、主动驾驶的数据应用，有较大的借鉴意义。同时，除了满足国家的法规以外，更重要的是国内的主机厂和国内汽车行业的产业链都应该器重起来。据理解，该计划以根底平安、企业平安、业务平安、网联平安“四位一体”，并提供贯通全流程的数据安全及合规服务，助力车企打造笼罩云管端的纵深平安防护体系，构建云上平安防线。新技术的倒退从萌芽走向成熟是一个长期投入的过程，专家建议车主和用户能更感性、辩证地对待问题，给新技术一个迭代和提高的空间。从久远上看，车联网和主动驾驶将有助于晋升人们的出行效率和生存程度。平安永远是第一红线，车企应该从汽车研发的阶段，就要投入精力做好平安建设，在驾驶的交互设计上思考平衡性和安全性。将来，置信在车企、行业、监管独特推动下，主动驾驶行业将会继续衰弱倒退，咱们离真正的主动驾驶也将不再边远。

关于自动驾驶:混合云存储点燃万亿自动驾驶市场加速产品落地

导语：以后，主动驾驶曾经在国内局部地区商业化试点，而一些造车新权势的量产车型，也广泛推出了主动辅助驾驶性能。随着主动驾驶的一直倒退，主动驾驶背地的技术也开始备受关注。万亿主动驾驶背地，混合云存储鼎力相助近年，自动化驾驶产品和服务日趋成熟，主动驾驶市场也在疾速倒退。据市场钻研机构 Guidehouse Insights 预计，到 2032 年，寰球主动驾驶卡车和客车市场规模无望增长到 120 万辆，其寰球市场份额预计将超过 19%。之前，麦肯锡也曾颁布一份钻研报告指出，如果主动驾驶的前景在中国铺展开来，这一产业的收益规模将达到数万亿美元。在万亿主动驾驶的背地，少不了车辆上搭载的传感器、摄像头和 AI 等智能设施和技术对其倒退的推动力量。其中，在 AI 产品迭代过程里，参加的数据量决定了 AI 准确性的高下，也决定算法是否能更加成熟。如果说，算法是 AI 产品的风帆，那么承载算法数据的存储就是船舰。算法数据量从小到大，IT 建设中存储规模也在逐渐扩充，从开始的依附独自硬盘到阵列，再到集群存储，倒退到当初的分布式存储，公有云、私有云到现在混合云的使用，逐渐实现云上云下资源联动的模式。目前国内 AI 行业大多数是在本地建设数据中心，将外围业务和数据留存在本地进行生产计算，算法迭代中预处理、训练、仿真等环节根本是在本地实现，云端作为业务弹性裁减的计划应用，这也促使了 AI 公司须要具备肯定的 IT 建设能力和运维能力。因为 AI 属于新兴行业，不同于其余有多年 IT 教训的行业，容易导致在建设上呈现程度档次不同的状况。例如，有应用部门级 NAS 存储作为生产存储，也有购买商业级存储，亦有基于开源架构进行尝试的 AI 企业，使得整体存储建设参差不齐。明天，咱们将基于一家在环境感知、决策布局等智能驾驶要害畛域领有核心技术，次要提供 L2+ 智能驾驶计划及衍生数据产品和服务的智能驾驶技术研发与利用企业，联合以后在 AI 行业主动驾驶场景下，生产存储方案设计和行业亮点性能利用的解决方案——如何利用跨云异构数据整合能力推动业务倒退。亟需高可用存储计划严密贴合业务场景智能驾驶技术研发与利用对数据存储、解决及平安合规提出了更高的要求，存储计划优化迫不及待，然而也面临多方难题： 1、在不同的业务阶段，数据流动工夫长当数据规模达到数十 TB 当前，在业务流程中，数据在每个环节都须要经验传统的拷贝形式，导致业务等待时间长，重大妨碍业务疾速倒退。 2、混合数据性能优化难不同场景下，数据状况不一样，性能难以满足训练要求。比方，在训练环节和仿真环节中，传统存储性能难以满足业务要求；在标注环节和训练环节中，小文件和大文件往往很难共存；亦或者，IOPS、元数据处理性能跟不上业务需要等等。 3、AI 行业倒退迅速，存储扩大能力跟不上节奏随着企业倒退到肯定水平，传统服务器共享模式或者单机 NAS 架构存储难以跟上业务成长，导致数据规模压力、存储扩大压力、业务并发压力一劳永逸。 4、IT 根底建设要贴合利用场景开展随同着私有云资源和公有云资源的遍及，业务发展趋向更高效率、灵便调度、更正当的老本收入，使得公有云数据与私有云数据买通成为下一个业务倒退模式。同时，企业也须要一款能缩小数据流转工夫老本、撑持训练环节、仿真环节高性能计算、解决存储可扩展性问题的存储平台，满足企业多方面需要。计划革新：构建业务驱动型的一站式存储解决方案在深刻理解该企业理论业务当前，焱融科技联合了大量的自动化驾驶存储我的项目实践经验，为本次我的项目制订跨云数据整合计划。本次计划宗旨是革新和晋升现有生产存储架构，通过 YRCloudFile 分布式文件存储系统承载业务数据，让依赖传统 NAS 的传统架构倒退为分布式架构，从根本上解决数据扩大问题和性能优化问题。一方面，YRCloudFile 提供了并行客户端协定利用，让企业性能实现冲破网关限度；另一方面，YRCloudFile 区别于其余厂商的存储计划，采纳了元数据和数据拆散治理形式，使得其在性能优化和扩大上失去了质的扭转。 “打通任督二脉”，一套存储撑持起所有从整体业务逻辑设计，YRCloudFile 实现将本来各个业务阶段的存储需要整合为一，买通了预处理、标注、训练、仿真各个环节之间的壁垒，省去了大量人工拷贝数据的工夫，晋升整体业务效率。存储弹性扩大，撑持业务快速增长依据客户业务剖析，布局存储年数据量成长为 200%-300%，所以存储扩展性也需满足疾速大容量高性能扩大，以匹配业务倒退要求。在 YRCloudFile 高扩大的个性撑持下，最大可扩大至 4096 个存储节点，容量足以撑持所有业务要求。 ...

关于自动驾驶:从存储角度看自动驾驶必经之路

以后，咱们生存在一个数字时代，一直通过技术与其他人分割曾经成为日常需要。生存中大家应用的机器也开始逐步变得更智能、更不便，包含每天在路上行驶的车辆。随着车辆联网水平变得越来越高，汽车联网逐步成为人们对车辆的失常需要，而不再是妄想。在疫情、燃料老本和环境的倒推下，寰球正在迅速向电动汽车过渡，减速向可继续化的方向倒退。一辆一般汽车每天都会产生大量的数据，车辆相当于是一台“长了轮胎”的电脑，每当它们挪动的时候，就会产生大量的数据。与一般汽车相比，电动汽车的静止部件就更少了，更像一台“长了轮胎”的智能手机，它们须要一个操作系统，不仅能够让车辆与用户有更多互动，还可能操控电动汽车的所有零碎和子系统，比方传动系统、电池管理系统、电机管制单元等等。能够说，现在汽车曾经远远解脱了单纯运输的局限，实现从基于数据的服务中发明微小的市场价值。据分析师预测，到 2025 年，联网汽车将减少 90%。同时，联网汽车将占据所有联网设施的 5% 以上。这也使得汽车行业开始利用软件的模式，通过模仿和基于设施数据收集解决方案的形式，解脱负载的模式。数据是新“石油”，信息是力量车联网的呈现，扭转了汽车的价值链和相干产业的整个生态系统。软件驱动的车辆具备独特的记录和共享能力，无效帮忙企业利用车辆数据实现真正个性化驾驶体验。如果说，在工业革命期间，石油是推动技术提高的燃料，那么当初的车辆数据将成为推动咱们数字反动时代的新催化剂。将来的汽车将是电动的、互联的和自主的，它们须要一直地积攒、解决和共享从传感器和信息娱乐零碎承受的数据。据相干机构预测，到 2025 年，寰球销售的汽车中约有 30% 将反对 2 级或以上的自动化。因而，将呈现越来越多的车辆领有本地收集、解决和存储数据的性能，并在适当的工夫上传云端。尤其是主动驾驶汽车，他们在日常训练过程中，不免产生大量的数据。以前置摄像头为例，它们在日常产生的数据大略是 70GB/小时到 300GB/小时之间，具体数据量还要取决于其分辨率、帧速率和压缩级别等等。另外，不同车辆类型也会产生不同的数据。依据 Counterpoint Technology Market Research 高级分析师 Aman Madhok 在 Autonomous Vehicles to Boost Memory Requirement 一文中所说，与乘用车相比，机器人出租车和 OEM 测试车辆对硬件老本的敏感性较低，将产生更多的数据。与具备雷同自主程度的乘用车相比，典型的 OEM 测试车辆将产生约 80% 的数据。通过 20 多种不同类型的传感器能够集成到 4 级 AV 的 ADAS中，车辆能够生成 1-2TB / hr 范畴内的数据，具体取决于它是乘用车、商用车还是机器人出租车。同时，与以后汽车中应用的 2D 地图不同，主动驾驶汽车的高精度（HD）地图在刷新率的频率和采样办法方面差别很大。高清地图将无线进行实时更新，以准确和平安的形式准确驾驶 AV。高清地图十分准确，能够补充一些传感器缺点，以进步地位精度。以后的 2D 地图只有一个动态图层，能够每月更新一次。然而，高动态地图具备动态图层、半动态图层、半动态图层和动态图层。高清地图每小时、每分钟和每秒更新一次。总而言之，主动驾驶汽车在疾速倒退过程，肯定会产生越来越宏大的数据量，随之而来就须要面临诸多存储挑战，诸如：海量小文件；存储性能局限；数据管理艰难；冷数据无从下手；数据类型繁冗。通常来说，汽车制造厂商更喜爱将数据存储在本地，因为本来汽车能生成的数据绝对较少。然而随着汽车开始向 L4-L5 自动化演进，云计算和边缘计算策略的联合将占上风。在这个阶段，数据存储面临更多的挑战，比方须要更审慎的数据收集、存储和应用策略。同时，主动驾驶车辆将面临设计和老本限度，以及网络和云将受到带宽、提早、安全性和连接性的限度。故而，主动驾驶汽车须要一个更智能的存储。如何从容应对主动驾驶数据洪流？针对主动驾驶企业经常面临的几大问题，焱融科技认为如果能全面晋升存储系统的元数据处理能力、目录热点、多级智能缓存、智能分层等方面，那么主动驾驶在现阶段面临的存储问题便能够迎刃而解。元数据压力大因为主动驾驶的训练数据文件通常会扩散在不同的门路下，读取文件须要消耗大量的工夫在 list 操作上。因为对象存储 list 操作性能较差，因而在进行大规模 list 时对 OSS 元数据压力很大，经常出现超时或者 list 失败的状况。 ...

关于自动驾驶:最全自动驾驶数据集分享系列三｜车道检测数据集

目前对于主动驾驶数据集你想晓得的，应该都在这里了，这是「整数智能」主动驾驶数据集八大系列分享之系列三：「本期划重点」Road Marking数据集是专门为为评估路线标线检测和辨认的性能而设计的数据集，简直蕴含了美国路线上所有常见的标记Unsupervised Llamas数据集是是最大的高质量车道标记数据集之一由卡尔斯鲁厄理工学院公布的KITTI Road数据集是目前主动驾驶畛域最重要的测试集之一，KITTI次要针对主动驾驶畛域的图像处理技术，次要利用在主动驾驶感知和预测方面，其中也波及定位和SLAM技术「八大系列概览」主动驾驶数据集分享是整数智能推出的一个全新分享系列，在这个系列中，咱们将介绍目前为止各大科研机构和企业推出的所有公开主动驾驶数据集。数据集次要分为八个系列：系列一：指标检测数据集系列二：语义宰割数据集系列三：车道线检测数据集系列四：光流数据集系列五：Stereo Dataset系列六：定位与地图数据集系列七：驾驶行为数据集系列八：仿真数据集01「 Unsupervised Llamas 」公布方：BoschN.A.Research下载地址：https://unsupervised-llamas.c...论文地址：https://openaccess.thecvf.com...公布工夫：2019年简介：该数据集是最大的高质量车道标记数据集之一，通过该数据集，公布方提供了一个基准和基线特色包含100,042张有标签的车道标记图像，来自约350公里的驾驶记录生成标记图像的管道利用主动创立的地图将标记投射到相机图像中，并依附优化程序来进步标签的准确性蕴含像素级的虚线标注，每个标记的二维和三维端点以及连贯标记的车道关联 02「BDD」公布方：加州大学伯克利分校下载地址：https://bdd-data.berkeley.edu/论文地址:https://arxiv.org/pdf/1805.04...公布工夫：2018年简介：这是过后用于计算机视觉钻研的最大，最多样化的开放式驾驶视频数据集。此外该数据集也实用于行人辨认，因为它蕴含的行人实例比此前的专用数据集还多特色数据集从每个视频的第 10 秒采样一个关键帧，并为这些关键帧提供正文它们在多个级别进行标记：图像标记、路线对象边界框、可驾驶区域、车道标记和全帧实例宰割这些正文能够帮忙理解不同类型场景中数据和对象统计信息的多样性 03「ApollpScape」公布方：BoschN.A.Research下载地址：http://apolloscape.auto/scene...论文地址:https://arxiv.org/pdf/1803.06...公布工夫：2018年简介：百度阿波罗数据集包含轨迹预测、3D 激光雷达指标检测和跟踪、场景解析、车道语义宰割、3D 汽车实例宰割、平面和修复数据集等特色车道语义宰割：110,000多帧的高质量的像素级语义宰割数据3D物体检测和追踪数据集：在中国北京的各种照明条件和交通密度下收集 04「CULane」公布方：香港大学下载地址：https://pan.baidu.com/s/1KUtz...论文地址:https://ojs.aaai.org/index.ph...公布工夫：2018年简介：这是一个大规模的具备挑战性的数据集，用于交通车道检测的学术研究特色由装置在北京六辆由不同司机驾驶的不同车辆上的摄像机收集采集超过55小时的视频，提取133235帧该数据集被分为88880张图像作为训练集，9675张作为验证集，34680张作为测试集。测试集被分为失常和8个挑战类别 05「VPGNet」公布方：KAIST下载地址：https://github.com/SeokjuLee/...论文地址：https://openaccess.thecvf.com...公布工夫：2017年简介：这是一个车道标记检测和辨认基准数据集特色包含大概20,000张图像，有17个车道和路线标记类别设计了一个对立的端到端可训练的多任务网络，联结解决车道和路线标记的检测和辨认包含白天（无雨，雨，大雨）和夜间这四种状况，在首尔开车的三个星期内拍摄原始视频（30帧）以1Hz的距离采样，生成图像数据 06「TuSimple」公布方：TuSimple下载地址：https://github.com/TuSimple/t...论文地址:https://arxiv.org/pdf/2005.08...公布工夫：2017年简介：这是一个车道线辨认数据集，由主动驾驶公司Tusimple 对外公开公布，包含raw_file、lanes 和h_samples这三个字段特色每条线实际上是点序列的坐标汇合，而不是区域汇合车道线实际上不只是路线上的标线，虚线被当作一种实线解决训练集包含3626个视频剪辑，3626个带标注的帧，测试集包含2782个视频剪辑采集条件：中等天气条件，白天不同的工夫， 2车道／3车道／4车道／或更多，不同的交通状况 07「Road Marking」公布方：本田研究所下载地址：www.ananth.in/RoadMarkingDataset.html.论文地址：https://sci-hub.se/10.1109/iv...公布工夫：2012年简介：Road Marking数据集是专门为为评估路线标线检测和辨认的性能而设计的数据集，简直蕴含了美国路线上所有常见的标记特色该数据集由车载摄像头拍摄的视频组成，视频笼罩在不同的天气、照明和路线条件下，美国加州城市和市区路线上的场景，简直蕴含了美国路线上所有常见的标记数据集中共29段视频，共蕴含28614个帧、1208个正文过的路线标记 08「TRoM」公布方：清华大学下载地址：https://pan.baidu.com/s/1kVft...论文地址：https://sci-hub.se/10.1109/it...公布工夫：2017年简介：TRoM的基准数据集可用于检测交通场景中的可驾驶路线区域和其余要害物体，如障碍物和地标，用于与主动驾驶汽车和ADAS相干的交通场景的语义宰割，是高级驾驶辅助零碎（ADAS）和主动驾驶汽车的根底特色该数据集蕴含超过 700个有代表性的场景、19个类别的路标。该数据集可用于检测城市场景中的路标类别，涵盖了工夫、天气和交通负荷的全副范畴，并通过正文工具包促成丰盛数据集的内容TRoM的指标是分别路面上的路标，其余物体如行人和机动车则不被辨认该数据集蕴含RGB彩色图像，分辨率为 1280×960像素。该数据集采纳了三局部组成的宰割模式局部：训练数据集、验证数据集和测试数据集 09「KITTI Road」公布方：卡尔斯鲁厄理工学院下载地址：http://www.cvlibs.net/dataset...论文地址：https://openaccess.thecvf.com...公布工夫：2013年简介：KITTI Road是目前主动驾驶畛域最重要的测试集之一，KITTI次要针对主动驾驶畛域的图像处理技术，次要利用在主动驾驶感知和预测方面，其中也波及定位和SLAM技术特色该数据集场景蕴含卡尔斯鲁厄城市道路和农村地区，每张图像最多可显示 15 辆汽车和 30 名行人KITTI Road是路线和车道预计基准，由289个训练和290个测试图像组成。它蕴含三种不同类别的路线场景： uu - 城市无标记（98/100） um - 城市标记（95/96） um - 城市多个标记车道（96/94）城市 10「CalTech Lanes」公布方：加州理工学院下载地址：http://www.mohamedaly.info/da...论文地址：https://arxiv.org/pdf/1411.71...公布工夫：2008年简介：该数据集由加州理工学院为验证更加鲁棒的车道线检测算法而制作，采集地点为城市街道。在此之前的车道线数据大多在公路上采集，相比之下在城市街道中的车道线辨认会更有挑战特色加州理工学院车道数据集包含四个片段，这些片段在一天中的不同工夫在加利福尼亚州帕萨迪纳的街道上拍摄存档蕴含1225个独自的帧，这些帧是从装置在Alice上的相机拍摄的，此外还有标记的通道数据集分为四个独自的剪辑：cordova1（250 帧）、cordova2（406 帧）、washington1（337 帧）和 washington2（232 帧） ...

关于自动驾驶:效率提升-100YRCloudFile-让自动驾驶安全更有保障

以后，汽车产业正向智能化、网联化、电动化、共享化的“新四化”趋势不断深入倒退。平安作为智能网联汽车继续衰弱倒退的前提，智能网联汽车平安体系的外延和内涵也在一直发生变化，性能平安、预期性能平安和信息安全形成了主动驾驶体系的平安因素。主动驾驶平安如何保障？在过来二十年里，汽车翻新次要集中于硬件方面，比方内燃机效率、感应雷达降级等等。随着汽车的电动、联网和自动化飞速发展，主动驾驶也有了清晰的布局。然而，目前寰球的主动驾驶尚未齐全落地，其中安全性未达到“完满”是最要害的因素。对于主动驾驶而言，晋升安全性的外围就是感知和决策。感知是应用多种交融的传感器来感知路面、车辆和行人，如果车辆对环境没有三维定量感知，那么就像人失去双眼；决策是应用感知到的信息来判断如何口头。为此，感知和决策缺一不可。目前，解决感知问题最次要的形式是“数据训练”，主动驾驶制造厂商通过监督学习的形式将大量不同状况的训练数据提供给算法，让生成的模型具备普适的感知能力，从而帮忙主动驾驶车辆更好地感知理论路线、车辆地位和障碍物信息、疲劳检测等等。那么，如何更好地晋升感知能力，达到精确决策的需要呢？今日，咱们将以某家次要以人工智能为外围的商用车平安及信息化解决方案提供商（以下简称：提供商）为案例，通过深度解析该提供商基于人工智能技术技术的两个性能，剖析如何利用数据和技术晋升主动驾驶安全性。两大性能，让危险在 2.7s 前预知现今，该提供商次要基于人工智能技术实现了两大性能：FCW 前车碰撞报警零碎和 LDW 车道偏离报警零碎。 FCW 前车碰撞报警零碎，次要通过指标检测和回归算法，精准定位行驶区域中的车辆地位信息，搭配测距和建模体系以及车道线感知信息，能够实时监控驾驶中的碰撞危险，实现在危险产生前 2.7s，及时收回报警信号，无效防止车辆追尾等交通事故的产生，纠正司机跟车较近和超速驾驶等危险行为。具体实现形式是通过扫街的形式从实在的交通场景中采集数据做模仿仿真测试，因而该零碎对于动态路线、交通标识牌、各种交通参与者（行人、自行车、摩托车、施工牌等等）、车辆交通流状况、红绿灯设置、天气状况、路面光照等各种简单的状况和路况数据量要求极高。 LDW 车道偏离报警零碎，通过通过语义宰割算法，辨认以后行驶区域的车道标识线，再利用计算机视觉技术解决，当车速大于 50km/h，驾驶员有意识偏离车道时（司机未打转向灯），零碎发出报警，提醒驾驶员注意安全驾驶。采集回来的路线数据，通过高性能存储无效帮忙主动驾驶企业晋升算法、效率、品质的计划，进一步降级车辆报警零碎。从技术角度来看，两个零碎次要采纳了人工智能对数据的解决和计算，而深度学习想要实现简单的学习过程还须要实现两个过程：大量的数据训练：深度学习极度依赖数据挖掘技术，耗费产生大量、无效的训练数据；优化算法：深度学习须要通过简单的神经网络找到最好的模型，用于剖析新的数据。而实现深度学习的过程中，整个全场景业务，包含回放、标注、训练、测试等，对于底层存储的要求很高： 1、高性能网络兼容目前，基于 GPU 的高性能计算业务蓬勃发展，高性能成为不少企业谋求的指标，这次要是因为高性能间接决定了业务效率。倘若一个业务的须要从 1 周缩短到 1 天实现，这次要须要依附整体 IT 撑持架构的高性能，以及存储内数据流转效率。其中，如果 GPU 计算和高性能存储的连贯，次要依附高性能网络的反对，那么只有兼容全栈网络，或者为数不多的高性能网络，能力在 IT 建设中有更多抉择。 2、对于 GPU 高性能业务的反对基于 GPU 的高性能业务在数据拜访和解决以混合状态为特点的数据如下：以读为主，小文件程序读，或大文件随机读；每个训练集由数千万小文件组成，数据量在几百 GB 到 TB 级别；每次训练由多个 epoch 组成，每个 epoch 会将文件加载程序打乱，但读取的数据没有变动。3、反对大规模并发存储反对计算服务器的并发数不是一个定值，而是依据不同的存储系统决定。行业惯例存储并发是几十台的规模，在小工作状况下，可能看不出效率高下，然而在大业务压力，或者紧急任务状况下，原先的并发量就难以撑持当前情况，疾速实现工作要求。 4、零碎业务连续性存储可靠性解决了数据“不丢”的问题，在“不丢”的根底上想要更上一层楼，那就要做到业务不中断。在肯定的工夫内，业务不关怀底层 IT 架构是否故障，业务不能中断，这间接体现在业务上就是工作在打算限期内实现，不延期。最懂客户需要的存储，效率和平安两手抓基于该提供商对底层存储需要，焱融科技从 2021 年下半年开始，就技术利用计划和落地措施进行了屡次的交换和理论场景测试。客户全面调研焱融产品后，示意满足客户需要。 1、针对主动驾驶场景的存储 IO 性能优化针对训练模型的 IO 特点，焱融科技开发出多级智能客户端缓存，极大地提高了整个 IO 训练过程的性能。多级客户端缓存特点如下：次要通过“内存 + GPU 服务器 SSD”的形式进行缓存；在 GPU 服务器上，可配置肯定容量的 SSD 缓存；不同环节的加载地位不同。比方训练程序从客户端内存缓存中加载，未命中局部从客户端服务器 SSD 加载，不命中局部从文件系统集群中加载；对训练框架、应用程序齐全通明；在整个训练中，数据集加载速度晋升幅度超过 500%；2、反对 RDMA 协定随着大数据平台和 AI 的业务零碎呈现，对后端存储高并发、海量非结构化文件解决能力的要求越来越高。在连贯计算和存储的网络上，YRCloudFile 反对全栈网络，不固定于某一型号网络设备和协定，反对以太网和 InfiniBand，从千兆环境到 200Gb，反对全副支流网络硬件型号，可全面笼罩现有行业所有网络要求。数据传输的网络带宽也是由 1Gb、10Gb，逐渐降级为 400Gb。YRCloudFile 的性能也是通过 RDMA 协定在 InfiniBand 网络中失去了更好的施展。 ...

关于自动驾驶:特斯拉2年内实现全自动驾驶无人驾驶时代还远吗丨曼孚科技

“主动驾驶就像被困在瓶中的一艘船，隔着玻璃瓶与大海相望，但迟迟无奈落地......” 主动驾驶的疯狂始于人类对未知技术的渴望。2012年，谷歌创始人谢尔盖. 布林称：“间隔实现全自动驾驶的年数一只手就数得过去。”人们估算，主动驾驶会在2020～2021年实现。于是从四五年前开始，一大批主动驾驶守业公司破土而出。它们声称将软硬通吃，铺开robotaxi、主动驾驶卡车、无人配送多项业务，有的甚至还要造车。一贯以语不惊人死不休的埃隆·马斯克更是在2015年声称：“特斯拉将在2年之内实现全自动驾驶。” 但时至今日，大佬们当年立下的Flag当初齐全还是没影的事。特斯拉在回应美国监管部门的问询时，抵赖其产品目前只能提供L2+级主动驾驶性能，即辅助驾驶。就算是辅助驾驶，寰球也只有极少数的外围团队能力研发进去，更多的产品仍停留在PPT阶段，人们期盼的全自动无人驾驶时代并没有到来。这到底是为什么? 主动驾驶走到哪儿了主动驾驶是一条后劲有限的新赛道，但狭隘而拥挤。据不齐全统计，截至2021年，参加主动驾驶研发的寰球公司超过300家，包含车企、传统汽车零部件供应商、互联网公司，以及守业独角兽。它们惟一的独特指标便是抢在他人身前，率先实现主动驾驶的商业化利用，领先占领市场，开启收割模式。但像蔚来、小鹏、特斯拉等造车新权势推出的“高级辅助驾驶”与真正的“主动驾驶”差的可不是一星半点。许多人都会误会两者概念，驾驶智能汽车时放松警觉，更有甚者齐全将路权交给汽车，其中的危险可想而知。几天前，美国国家公路交通平安管理局(NHTSA)公布一则布告，截至目前主动驾驶事变共500多起，这一数字印证了当年华为智能驾驶产品部部长苏菁在第四届世界人工智能大会中语出惊人的舆论，“主动驾驶在[杀人]”。痛定思痛的改革之路当下，通过血肉考验的主动驾驶已趋于感性，资本对主动驾驶的前景有了更清晰认知，不再妄想能迅速实现L5级商业化，而是关注一些结构性投资机会。譬如，不少车企意识到目前主动驾驶行业所亟待解决的最大挑战不在于软件研发，而是硬件是否按时牢靠地进行量产交付。面对这一问题，行走在世界前列的大佬们纷纷着手寻找智慧性解决方案。以特斯拉为例，特斯拉抉择利用海量的终端数据去反哺用户的智能驾驶零碎体验感。随同着主动驾驶里程数的减少，用户数据继续累加，用户的体验感将一直晋升，形成良性循环。而在积攒肯定用户数据后，特斯拉OTA降级频率明显提高，智能辅助驾驶相干性能也陆续上线。2020年3月底，海内更新了FSD预览版软件，并于12月底正式上线，交通信号灯、停车标记、车道线、行车线辨认性能都成为了事实。从此，特斯拉在智能驾辅路上一骑绝尘，跃居为行业佼佼者。对于曼孚科技说到底，现阶段主动驾驶线路之争就是数据之争，数据的闭环、数据的循环将对主动驾驶提高起着决定性作用。曼孚科技作为行业当先的AI基础架构与数据智能平台服务商，以搭建智能化数据平台及异构数据生命周期治理作为外围倒退方向。通过聚焦数据智能时代AI基础架构的搭建，买通感知与认知智能的边界，推动人工智能在更多垂直场景实现落地利用。曼孚科技次要服务方向为主动驾驶，用户包含世界顶级Tier1厂商、一线科技公司、支流算法公司、造车新权势，以及传统汽车主机厂商等，曼孚科技旗下的数据智能平台MindFlow SEED平台领有近30种数据标注工具，能够对图像、文本、语音、视频以及3D点云数据做到一站式解决，实现自然语言解决、计算机视觉、语音辨认等畛域的全方位笼罩，将数据处理效率晋升10倍以上;AI辅助筛查下，数据精准度可达99.99%级别，直击数据需要痛点，赋予AI企业疾速解决大规模感知数据的能力，通过构造翻新、智能化、工程化、标准化的平台产品为AI产业落地利用赋能。此外SEED平台也关注我的项目周期治理，并构建起行业笼罩场景平面、功能完善的数据生命周期管理体系，自定义工作流、自定义角色权限以及多维可视化等生命周期治理能力也可能帮忙用户私人定制最符合的数据解决方案。

关于自动驾驶:最全自动驾驶数据集分享系列二-语义分割数据集

目前对于主动驾驶数据集你想晓得的，应该都在这里了，这是「整数智能」主动驾驶数据集八大系列分享之系列二：「本期划重点」波恩大学推出迄今为止最大的领有序列信息的数据集SemanticKITTI 韩国科学技术院公布Highway Driving，该数据集提供的标注在空间上和工夫上都比其余现有的数据集更密集剑桥大学推出CamVid，提供第一个具备对象类语义标签的视频汇合「八大系列概览」主动驾驶数据集分享是整数智能推出的一个全新分享系列，在这个系列中，咱们将介绍目前为止各大科研机构和企业推出的所有公开主动驾驶数据集。数据集次要分为八个系列：系列一：指标检测数据集系列二：语义宰割数据集系列三：车道线检测数据集系列四：光流数据集系列五：Stereo Dataset 系列六：定位与地图数据集系列七：驾驶行为数据集系列八：仿真数据集本文是<系列二语义宰割数据集>，上面共包含9个数据集： 01「SemanticKITTI」公布方：波恩大学 (University of Bonn)下载地址：http://www.semantic-kitti.org... 论文地址：https://www.researchgate.net/...公布工夫：2019年简介：SemanticKITTI是KITTI在语义宰割方向的子数据集，是激光雷达语义宰割的重要基准之一，是迄今为止最大的领有序列信息的数据集。它对 KITTI Vision Odometry Benchmark 中的所有序列都进行了标注，并为所用汽车激光雷达的残缺360°视线提供了密集的逐点标注。基于该数据集，研发团队提出了三个基准工作：（i）应用单次扫描对点云进行语义宰割，（ii）应用序列计算多个过来扫描的语义分段，（iii）语义场景实现特色提供23 201 次全 3D 扫描用于训练，20 351 次用于测试该数据集蕴含 28 个标注类别，分为动态对象和动静对象，既包含行人、车辆等交通参与者，也包含停车场、人行道等高空设施数据集包含518块瓷砖，共计超过1700个小时的标注工作研发团队还将数据采集过程中用到的点云标记工具进行了开源 02「Highway Driving」公布方：韩国科学技术院（Korea Advanced Institute of Science and Technology）下载地址： https://sites.google.com/site... 论文地址 https://arxiv.org/pdf/2011.00... 公布工夫：2019年简介：高速公路驾驶数据集是一个密集标注的语义视频宰割工作的基准，它所提供的标注在空间上和工夫上都比其余现有的数据集更密集。每一帧的标注都思考到了相邻帧之间的关联性特色由20个60帧的序列组成，帧率为30Hz 数据集分成训练集和测试集，训练集由15个序列组成，而测试集由剩下的五个序列组成帧率为30Hz的短视频片段是在高速公路驾驶的状况下拍摄的蕴含路线、车道、天空、栅栏、修建、交通标志、汽车、卡车、植被和未知10类标签。未知类包含未定义的物体、采集数据的车辆的引擎盖和含糊的边缘 03「Wilddash」公布方：奥地利技术研究所下载地址： https://wilddash.cc/accounts/... 论文地址： https://openaccess.thecvf.com... 公布工夫：2018年大小：10.8G 简介：这是一个用于汽车畛域的语义和汽车畛域的实例宰割的新测试数据集。它具备以下长处：(i) 容许对失败的测试进行回溯，以发现视觉上的危险因素; (ii) 减少负面的测试案例，以防止假阳性; (iii)具备低区域偏差和低相机设置偏差 ...

关于自动驾驶:学习笔记module-tensorflow-has-no-attribute-Session

import tensorflow as tfhello_constant = tf.constant('Hello World!')with tf.Session() as sess: output=sess.run(hello_constant) print(output)执行出错：module 'tensorflow' has no attribute 'Session' 起因：tensorflow2没有Session模块了批改一些代码就能跑起来了，代码外面做了正文： import tensorflow as tf# 批改1：增加上面这行代码tf.compat.v1.disable_eager_execution()hello_constant = tf.constant('Hello World!')# 批改2：tf.Session()批改为tf.compat.v1.Session()with tf.compat.v1.Session() as sess: output=sess.run(hello_constant) print(output)

关于自动驾驶:学习笔记用andornot感知机构造xor感知机

a^b=(a!=b)=(a|b) & !(a&b)即a和b至多一个为1，且a和b不全为1。这样就将xor转化为and,or,not的组合了。感知机图示：

关于自动驾驶:学习笔记pythonOpencv-cv2findChessboardCorners-的基本使用

cv2.findChessboardCorners() 该函数试图确定输出图片是否有棋盘图案，并定位棋盘板上的角点。如果所有的角点被找到且以肯定的顺序排列，该函数会返回一个非零值。而如果该函数没有找到所有的角点或者重新排列他们，则返回0。参数:image: 输出原始的棋盘板图像。该图像必须是一张8位的灰度图或色调图。patternSize:(w,h), 棋盘上每一排和每一列的内角数。 w=棋盘板一行上黑白块的数量-1，h=棋盘板一列上黑白块的数量-1，例如：10x6的棋盘板，则(w,h)=(9,5)corners:array, 检测到的角点的输入数组。flags:int, 不同的操作标记，可能为0,None或者下述值的组合： CALIB_CB_ADAPTIVE_THRESH: 应用自适应阈值法把图像转换为黑白图，而不是应用一个固定的阈值。 CALIB_CB_NORMALIZE_IMAGE: 在利用固定阈值或自适应阈值法二值化图像之前，利用直方图均衡化图像。 CALIB_CB_FILTER_QUADS: 应用额定的规范(如轮廓面积，周长，正方形形态)来过滤掉在轮廓检索阶段提取的假四边形。 CALIB_CB_FAST_CHECK: 对图像运行一个疾速查看机制以查找棋盘板的角点，如果没有找到角点则返回一个快捷揭示。当没有察看到棋盘时，能够极大地放慢在进化条件下的调用。实际：试着对以下图片进行操作： import numpy as npimport cv2import matplotlib.pyplot as pltimport matplotlib.image as mpimgfname='calibration_test.png'image=cv2.imread(fname)# plt.imshow(image)# plt.show()gray=cv2.cvtColor(image,cv2.COLOR_RGB2GRAY)plt.imshow(gray,cmap='gray')plt.show()# Find the chessboard cornersnx=8ny=6ret, corners = cv2.findChessboardCorners(gray, (nx, ny), None)print('ret:',ret)# print(len(corners))# If found, draw cornersif ret == True: # Draw and display the corners cv2.drawChessboardCorners(image, (nx, ny), corners, ret) plt.imshow(image)

关于自动驾驶:整数智能参编全球首个人工智能研发运营一体化ModelMLOps能力成熟度模型标准

今日，《人工智能研发经营一体化(Model/MLOps)能力成熟度模型》规范【第一局部：开发治理】正式公布，整数智能作为中国通信标准化协会会员，参加该行业权威规范的编写工作，这是对整数智能技术能力和行业积淀的鼎力认可。 AIIA给整数智能及编写人员颁发证书《人工智能研发经营一体化(Model/MLOps)能力成熟度模型》规范由中国信通院和人工智能产业倒退联盟AIIA牵头组织编写，本套规范包含过程治理、模型治理、平安与风险管理、组织构造、零碎与工具等5个能力类，致力于帮忙企业进步AI研发经营治理能力，晋升AI模型治理能力，为AI大规模利用提供无效门路，与整数智能协同参编的包含中国工商银行、中国农业银行、中原银行、中国联通、中国移动、百度、华为等30余家单位。参编单位在“开发治理”规范编写过程中，整数智能联合扎实的技术研发功底、丰盛的数据服务与治理教训，提出了贵重的、极具建设性和指导性的数据处理和模型开发治理等相干意见。整数智能次要负责模块为需要治理（需要剖析、可行性剖析、用例测试、项目管理）、数据工程（数据收集、数据摸索、数据处理、特色工程）、模型开发（模型构建、模型训练、模型评估与抉择）。开发治理规范构造随着国内各大科技企业对于ModelOps和MLOps日渐常态化和普泛化的实际和利用，行业对ModelOps和MLOps的定义、流程、管理体系，及其平台的性能、落地部署要求的标准化变得十分必要且意义重大。因而，参编《人工智能研发经营一体化(Model/MLOps)能力成熟度模型》规范“第一局部：开发治理”，也侧面阐明了整数智能在行业内的影响力。整数智能成员在列外围参编人员此前，整数智能还曾参加SC42《可信赖人工智能标准化白皮书》和TC260《AI数据采集及标注平安标准》的编写和定制。将来，整数智能将持续专一数据服务和治理等人工智能相干业务，并在工作与实际中摸索具备共享价值的教训，为促成相干标准标准化奉献一份本人的力量。

关于自动驾驶:最全自动驾驶数据集分享系列一｜目标检测数据集33

目前对于主动驾驶数据集你想晓得的，应该都在这里了，这是「整数智能」主动驾驶数据集八大系列分享之系列一：「本期划重点」Mapillary推出最大、最多样化的公开交通标志数据集，笼罩寰球六大洲DTLD提供差值图像，低分辨率下也能够实现物体辨认清华大学与腾讯单干，推出10万张交通标志高清图像「八大系列概览」主动驾驶数据集分享是整数智能推出的一个全新分享系列，在这个系列中，咱们将介绍目前为止各大科研机构和企业推出的所有公开主动驾驶数据集。数据集次要分为八个系列：系列一：指标检测数据集系列二：语义宰割数据集系列三：车道线检测数据集系列四：光流数据集系列五：Stereo Dataset 系列六：定位与地图数据集系列七：驾驶行为数据集系列八：仿真数据集本文是<系列一指标检测数据集>的第三篇，下一期咱们将开始介绍语义宰割数据集。上面共包含15个数据集： 01「Mapillary Traffic Sign Dataset」公布方：Mapillary 下载地址： https://www.mapillary.com/dat... 论文地址： https://arxiv.org/abs/1909.04422 公布工夫：2020年简介：Mapillary 交通标志数据集是世界上最大、最多样化的公开交通标志数据集，用于检测和分类世界各地的交通标志特色 100,000 张高分辨率图像，52,000 张全副标注，48,000 张局部标注 313个带有边界框标注的交通标志类别， 320,000 个标注的交通标志多样性：笼罩各种天气、节令、一天中的各种工夫，同时蕴含城市和农村地区路线，图像和交通标志类别的寰球天文范畴，笼罩 6 大洲 02「DriveU Traffic Light Dataset」公布方：乌尔姆大学 (Ulm University) 下载地址： https://www.uni-ulm.de/in/iui... 论文地址 https://doi.org/10.1109/ICRA.... 公布工夫：2018年简介：数据集提供差值图像，对宽度为 5 像素或更小的对象进行标注，非常适合在非常低的分辨率下进行物体辨认畛域的钻研特色 188个视频片段，3366张标注图片，分辨率为2048x1024，40951个标注对象，超过 230,000 个带正文的交通信号标注：344 个不同的标签类别，2D标注，交通灯蕴含不同属性如灯的色彩、方向采集环境：德国11个城市，蕴含不同天气和白天不同工夫，2300公里驾驶途程采集设施：2个百万像素级别相机进行采集 03Tsinghua-Tencent 100K Tutorial公布方：清华大学下载地址： https://cg.cs.tsinghua.edu.cn... 论文地址： https://cg.cs.tsinghua.edu.cn... 公布工夫：2016年大小：10.8G ...

关于自动驾驶:Day-36100-自动驾驶产业图谱和头部公司

（一）需要公司要做主动驾驶方向，于是收集了下主动驾驶方向的材料。（二）产业图谱（三）头部公司写在最初的话学习路上，经常会懈怠。《有想实现目标须要监督的同学嘛~》https://mp.weixin.qq.com/s/Fy... 还有其余材料，能够私信我 learningisconnecting 如果有须要的搭档，能够加我微信：ardenzhaogx或者能够关注我的公众号：国星聊成长（我会分享成长的办法）

关于自动驾驶:DeepRoute-Lab-AAAI22参会见闻与论文杂谈

By 元戎感知组明天次要和大家分享的是往年2月底加入的AAAI22的一些见闻以及一些感兴趣的论文杂谈。再次安利一下咱们组最新的一篇被AAAI22接管的点云全景宰割的oral paper Sparse Cross-scale Attention Network for Efficient LiDAR Panoptic Segmentation，没看过的小伙伴能够点击链接到之前的文章里查看哦。 AAAI22会议见闻作为人工智能的顶会之一，2022年的AAAI又发明了该会议的历史投稿新高，一共收到了9251 篇投稿，其中 9020 篇投稿进入了评审环节，然而最初的承受率则是历届最低，只有15.0%，1349篇论文被承受，真是越来越“卷”了。因为疫情的起因，这次大会以线上会议的模式在虚拟空间内举办，这也是最近一些AI会议的罕用操作了。图里就是这次AAAI的主会场了，入口外是一个虚构公园，进入后右边的红色修建、左边的蓝色修建都是这次的会场的入口电梯。每个会场中除了有赞助商的地位外，还各有6组海报进行轮流展现，以及2个会议室。AAAI22的虚构公园依据官网的日程表抉择你想要看的海报后，进入相应的修建，来到对应的海报展位，凑近后就会弹出选项，确认后就能够进入到全屏的poster页面，相似一个小型的会议，你能够和海报的主持人进行沟通发问，还是挺不便的。下图是小编在日常“接客”。如果是Oral的话就是在海报两侧的会议室，会有提前录好的视频进行播放，如果作者在还能够进行在线发问。海报答疑会议的状况就根本介绍到这里啦，上面会介绍下在会上到处“晃悠”看到的集体比拟感兴趣的工作，次要集中在主动驾驶3D感知相干的工作，大家有趣味能够一起来看下~ AAAI22 3D指标检测论文盘点AAAI22接管了不少和3D相干的论文，这里小编依据个人兴趣着重介绍上面3篇，次要是和3D detection相干，可能晋升现有网络的性能或是解决一些辣手的感知问题。 AFDetV2: Rethinking the Necessity of the Second Stage for Object Detection from Point Clouds 【1】AFDetV2 是Real-Time 3D Detection of the Waymo Open Dataset Challenge 2021的第一名。次要的改良点是从second stage失去的启发。咱们为什么须要second stage, 一般来说有两种理由：点云的特色能够复原因voxelization， striding operations或者lack of receptive field而损失的地位信息；物体检测框的回归和物体的分类是两个独立的Head，因而分类置信度可能不能对齐回归的精度作者通过试验，验证了只用一阶段的voxel-wise特色也能够失去足够准确的物体框回归，因而二阶段的次要奉献来源于分类score的晋升，使得分类和回归的精度对齐匹配。基于这个察看，作者提出了一个性能能够媲美二阶段网络的一阶段3D检测器，次要提出了：把之前的卷积替换为self calibrated convolution block 减少一个IoU alignment head，并且和原始的分类score进行简略的交融 Keypoint auxiliary supervision：add another heatmap that predicts 4 corners and the center of every object in BEV during training ...

关于自动驾驶:提升数十倍工作效率丨曼孚科技如何打造新一代TOP1智能标注平台

随同数字经济倒退，人工智能已浸透进人们生存、工作中，市场对数据需要正呈现出指数级增长，根底数据服务行业的重要性愈发凸显。在这种科技与产业深度交融的时代下，为AI行业提供优质的数据服务，是数据服务企业的首要指标。正所谓“刀快不怕颈硬，锯快不怕树粗”，面对市场一劳永逸的数据需要，借助优良的辅助工具便能最大化晋升训练数据产出效率，缓解市场供需平衡。新一代智能标注平台的诞生谈到数据标注工具，市面广泛用到的是开源标注工具，但这种工具模式较繁多，不足治理，且存在数据泄露危险，并不算是数据处理的最佳辅助工具，因而，为投合公众需要，标注工具转型已成必然趋势，平安且丰盛的标注平台由此诞生。曼孚科技经多年深耕主动驾驶畛域市场，自研出了新一代智能标注平台——SEED平台。 SEED平台全称为“SEED数据服务平台”，是曼孚科技的外围产品。将SEED定义为“平台”而不是“工具”，是因为数据从诞生到被算法模型调用的全生命周期内，需经验包含采集、荡涤、标注、质检审核、交付等流程，两头还会交叉数据集的治理、人员的治理、我的项目的治理、供应链的治理等泛滥内容。只有流程化、规范化、标准化的平台，能力无效满足大规模AI基础设施建设带来的迫切需要。目前SEED平台已更新至4.0版本，SEED贯通数据处理、项目管理和数据安全管控等环节，实现工作流、角色权限自定义治理及数据集、工作状态变更调度与拆分，实现数据全生命周期对立治理。实力打造数据处理能力“TOP1”SEED平台反对计算机视觉(2D标注、语义宰割、3D点云标注、交融标注、关键点标注、线标注)、语音交互(语音切割、语音情绪断定、ASR语音转写)、自然语言解决(OCR转写、文本信息抽取)多类型数据标注。此外，SEED也提供语音、图像、文本、视频的全方面数据处理模式，涵盖智能驾驶、智慧城市、智能安防等具体畛域，满足人工智能多样性、丰富性的数据标注需要，推动人工智能在更多场景着落地利用。除多场景标注外，SEED也提供AI人机协同标注模式，利用18种不同类型AI预标注辅助工具，全面笼罩各类垂直标注场景，局部AI标注工具准确率高达99%，晋升平台数据标注效率10倍以上。构筑交互与易用的结合体器欲尽其能，必先得其法。对智能化转型的传统企业和科技企业来说，我的项目经验丰富的AI训练数据服务商能帮助、疏导企业实现AI训练数据的需要梳理，并量身定制不同工作打算，以缩减研发周期、放慢落地过程，获取更加贴合应用场景的高质AI数据，助力企业更快更好的智能化转型。而在平台应用方面，SEED标注平台4.0也具备极强的易用性，标注人员仅需查看操作手册或简略的领导就能够应用平台的各种性能及标注工具，真正实现便捷与高效于一身。对于整个人工智能行业来说,在高质量AI数据的助力下,人工智能技术对实在场景世界的了解将更进一步，曼孚科技作为人工智能产业链上的重要一环，将持续立足数据安全，聚焦落地场景,继续加大在AI数据畛域的技术研发与落地实际，一直开辟标注平台新思维，将辅助模式做到最大化，充分发挥AI数据服务价值。

关于自动驾驶:ZeekrTech初谈我们共同的目标-NPDS-Agile

Background 过来传统的工程开发，我的项目个别是将须要交付的范畴和内容在后期实现限定。换句话说，在一个我的项目开始的时候具体明确了开发的需要，我的项目管理者和实施者须要在工夫和各类资源上做调配，来取得一个完满的后果。极氪作为一个年老的品牌，诞生于一个一直变动的时代！变动对于每一个置身于这个时代的组织和集体来说，都是一个不可漠视的因素。你可能听过这个词，VUCA （ Volatility Uncertainty Complexity Ambiguity）它示意的是事物存在的环境具备波动性，不确定性，复杂性和模糊性。因为内部变动太多太快，如果无奈通过外部的疾速响应去适应内部的变动，设计产品也好，执行的我的项目也好，最终很可能失去一个绝对蹩脚的后果。由此想到，以后整个产品开发过程的管制办法，是否能对一系列的开发的流动做比拟好的把控？NPDS（New Product Development System）NPDS是吉利汽车正向开发所采纳的整车开发体系模型，笼罩整车项目管理，机械构造，性能个性，子系统，电子软件零部件等一系列研发流动。此类流程的渊源是基于上世纪70年代零碎开发生命周期模型。它们常常被用于航空航天等大型工程项目和简单零碎开发的场景中。举几个这类模型比拟显著的特点。因为流程中各个流动和指标有明确的阶段性，每当须要进入到下个阶段时，往往须要通过所谓的GATE（链接参考Project Management Institute的定义）。依照项目管理方法论，Gates Review的指标是要帮忙定位辨认会使我的项目失败的两大起因，即我的项目范畴的变动和危险点。逻辑上看仿佛没有问题。然而，GATE的关上和敞开仍旧是由人来判断的，人的能力和常识储备程度是不一样的。往往会产生过了GATE，然而其中须要排查的危险并未发现进去。流程自身也不能保障工作内容的品质合乎预期。最重大的痛点是，每个阶段须要很长的工夫收集整理解决信息，整个我的项目的工夫周期会拉的十分长，从而引入更多的不确定性。人们也经常把这种方法论称作瀑布式的开发方式，见下方图例为一软件开发相干的通用步骤。图一.瀑布式的开发方式举例：需要->剖析->设计-> 代码-> 测试-> 部署, 有的也会蕴含后续的保护局部__ Agile - a short introduction麻利开发思维退场！简略介绍一下麻利开发的历史：上世纪90年代，在美国硅谷的一些工程师在一起探讨为什么软件工程交付和品质变得越来越差，有什么样的办法能够扭转这样的现状？在这样的背景上面，2001年，提倡轻量化和更多迭代开发方法的思维首领们，汇集在了美国犹他州的雪鸟小镇。尽管大家所提出的办法各不相同，然而与会者统一认为这些办法所遵循的独特价值和信奉，最终提出了具备转折性意义的“麻利软件开发宣言”。如下图内容所示图二.麻利宣言建设的价值观起源：agilemanifesto.org翻译过去就是：个体的互动高于流程和工具，工作的软件高于详尽的文档，客户单干高于合同会谈，响应变动高于遵循打算，也就是说只管右项有价值，咱们更器重左项的价值。由此为根底，由Scaled Agile, Inc 进一步倒退进去的整套SAFe（Scaled Agile Framework）准则概述如下 1 - Take an economic view采取经济视角 2 - Apply systems thinking使用零碎思考 3 - Assume variability; preserve options假如变异性;保留可选我的项目 4 - Build incrementally with fast, integrated learning cycles通过疾速集成学习环进行增量式构建， 5 - Base milestones on objective evaluation of working systems基于对可工作零碎的主观评估设立里程碑 ...

关于自动驾驶:为自动驾驶保驾护航谈谈主流中间件设计

本文作者：极氪软件及电子核心-托地随着国内外新权势车厂的疾速崛起，汽车智能化程度一直晋升。整车地方计算平台，主动驾驶域控制器继续走热。谈起主动驾驶，可能更多的人想到的是AI技术、如Mobileye视觉感知、地图、各类布局算法、管制、大数据。目前越来越多的主机厂聚焦于数据如何更高效和精确的通信，随着主动驾驶等级从L2向L2++甚至L3/L4过渡，对于数据传输要求越来越高。中间件开发和利用一下子被推到了风口浪尖。谈到中间件，咱们不得不先讲一下操作系统OS。操作系统有狭义和广义之分。广义的操作系统大家都比拟相熟，手机设施上的ios、Android、车载零碎中Linux、QNX都是广义的操作系统，通常包含内核、文件系统、驱动以及局部协定栈整合在内核中。狭义的操作系统个别蕴含操作系统内核、硬件驱动层和中间件。在各家新能源车厂高谈软件定义汽车时代已到来时，真正能全面把握芯片、操作系统、中间件、算法以及罕用常新的利用能力走在技术最前沿。其中狭义操作系统是外围中的外围，已成为国内外主机厂自主研发比拼的方向。图1 狭义和广义OS框图回头再来谈谈中间件。中间件是什么，按字面意思翻译过去就是两头一层组件。理论是介于操作系统/底层软件和应用软件之间的桥梁。整个系统软件能够通过中间件在不同的处理器架构和芯片间共享数据。一套成熟的中间件给开发带来的收益往往是指数级别的提高，大大缩短开发周期和零碎稳定度、屏蔽底层硬件差异性做到对立的API接口。图2 主动驾驶中间件利用那么主动驾驶须要怎么的中间件？低时延、高带宽和多并发。从整车功能域角度登程，主动驾驶是收集内部传感器数据量最大的模块，为了继续探测到车身周围各种简单环境信息，须要毫米波、摄像头和激光雷达配合以达到360度无死角感知。并且为了保障平安，所有数据都须要靠近实时的速度解决，为了保障大量数据的实时处理，较低的数据提早须要由高性能的计算单元和高带宽的网络通信，数据可轻易在不同内核中共享。图3 主动驾驶360度传感器感知示意图表1 传感器典型带宽从上表中能够晓得随着自驾性能一直降级，对于传感器的传输数据带宽和传输提早要求也在一直晋升。为了满足此需要，业界各家自驾公司也在开发本人的主动驾驶中间件以满足要求。 ICEORYX：博世在量产ADAS畛域拆卸率长期占据市场前三的份额，他们对于如何将主动驾驶数据高效流转的需要更为迫切，为此在大神Michael Pöhnl率领下，专门为主动驾驶开发了一套中文名叫“冰羚”，英文名ICEORYX的中间件。如下面所说，大量主动驾驶相干的感知数据须要在整个零碎内实现疾速的流转，这里就不得不提一下过程间通信（Inter Process Communication）这个概念。拿大家最罕用的Linux零碎举例，不同过程之间流传或替换信息，因为不同过程地址空间互相独立，传递数据时不停的来回拷贝数据，建设和开释堆栈，这个不生成任何价值的拷贝的过程节约和占有了大量系统资源并产生了不冀望的提早。图3 过程间通信 ICEORYX为了解决下面的问题，设计了一种“零拷贝”的内存共享技术来优化之前ADAS量产我的项目中遇到的困扰。这种“零拷贝”通过事先定义好的通用接口，将须要生产的数据（图片原始RGB或者激光点云数据）放入由ICEORYX申请好的内存空间，而后引入“记数器”这个概念，来记录内存空间中各块数据是否被调用还是开释，当计数器为0时，就示意该块数据能够被开释。这样所有的数据调用都产生在共用的内存区域中，免去了各过程将数据拷贝到本人公有存储内，大大提高了数据通信的效率。上面套用一张博世官网介绍资料中的图，基于共享内存的拷贝其实并不是一种翻新的通信机制，但ICEORYX采纳了公布/订阅架构、服务发现、和计数器相结合的机制。通过增加防止复制的应用程序编程接口，实现了所说的真正的零拷贝——一种从发布者到订阅者的端到端的办法，而无需创立一个拷贝。图4 零拷贝通信（援用1）发布者将数据写入事先申请好的内存块中，订阅者能够收到这些内存块的实时状态，并且晓得哪些内存块正在解决中，哪些内存块将被开释。发布者能够在订阅者读取数据块的时候同时再次写入而不收到任何工夫烦扰和提早，因为即便之前的内存块在被读取中，发布者也能够抉择之前曾经调配好的新的内存块中操作。 ICEORYX是开源的，听从Apache-2.0许可证。任何集体或者团队都能够收费应用源代码，但如果须要过ASIL-B或ASIL-D等级性能平安认证，那还须要从博世购买相干的平安服务。目前对于ICEORYX这套中间件来说最大的挑战还是须要有主机厂疾速搭载量产车上市，来真正测验其价值。另外因为主动驾驶感知信息品种越来越多，激光点云数据、摄像头RGGB帧、3D毫米波雷达指标信息以及4D毫米波雷达点云信息，整车信号数据等，如何高效申请和分配内存块也是实现真正“零拷贝”的前提，这少不了在理论我的项目中一直打磨优化。 ROS2：接下来咱们再来看一下赫赫有名的ROS2。说到ROS2不得不先聊一下ROS(Robot Operating System), ROS2正是从ROS倒退降级过去的。ROS最早开发进去是去适配机器人的一套开源软件系统，外面蕴含3000多个根底库、灵便的过程间通信机制、底层驱动、硬件形象等。如前文所述，主动驾驶是非常复杂并对安全性要求很高，它蕴含了车道线检测、指标物检测、障碍物检测、决策、管制模块等；须要将这些性能各异的模块集成到一起，造成一个端到端系统。所以要找到一个适宜的中间件框架很不容易，ROS在学术界和机器人届宽泛应用、音讯机制灵便开发以及丰盛调试工具恰好合乎主动驾驶开发的需要。咱们看到国内主动驾驶黄埔军校百度在晚期Apollo1.0/2.0版本中正是选用了ROS框架。然而在理论开发利用中，开发人员发现了ROS适配主动驾驶的不足之处。比方ROS通信提早太大，数据从公布节点到订阅节点之间须要进行拷贝，在机器人设计中可能还不是一个Block点，但在主动驾驶零碎中很显然会大大影响数据的传输效率。另外ROS的单Master节点机制也是一个瓶颈，所有的子节点通信都须要借助繁多的通信主节点。万一主节点呈现故障，整个零碎也会受到影响。为了解决ROS的显著缺点，百度Apollo在3.5版本后公布了自研的Cyber RT框架来取代ROS。图5 以Master为核心的ROS交互机制 ROS社区和组织也意识到了不足之处，并于2016年底正式公布了ROS2 beta版，新一代的ROS之中，带来了整体架构的变革以解决前一代的有余。ROS底层基于DDS（Data Distribution Service）通信机制，勾销了ROS上Master模式。DDS听从公布和订阅模式，创立全局的数据块。而后每一个数据的公布或者订阅者都是数据的参与者，能够读写全局的数据。同时也保留了ROS中Topic数据结构概念。图6 基于Topic话题的公布/订阅流程另外DDS一个重要特质是反对QoS（Quality of Service），满足在不同场景对于不同数据传输的实时性要求。每个数据传输都能够通过QoS策略抉择不同的选项进行配置，ROS2中反对传输期限、可靠性传输、历史信息等策略。图7 反对QoS策略的DDS机制当然目前ROS2整体稳定度和利用案例还远不如ROS，但领有了以上个性的ROS2零碎，咱们刮目相待。极氪软件和电子核心，秉承平等、多元、共成长的价值观，对产品继续极致谋求，为用户提供用心体验。从地方计算、智能区域控制器、整车OTA、智能车身管制、整车软件等畛域登程，打造行业顶级的电子电气架构，为智能电动车保驾护航。目前咱们始终在开发地方计算和区控制器内高效IPC通信并利用在量产我的项目中，除了会蕴含下面提到的共享内存和DDS技术外，还会用到SOME/IP协定来增强不同服务数据之间的传输效率。图8 极氪中间件框图 ...

关于自动驾驶:最全自动驾驶数据集分享系列一｜目标检测数据集23

目前对于主动驾驶数据集你想晓得的，应该都在这里了，这是「整数智能」主动驾驶数据集八大系列分享之系列一：「本期划重点」清华大学推出寰球首个车路协同主动驾驶钻研数据集Nexar视频数据集笼罩70多个国家，1400多个城市行人指标检测数据集一览：KAIST、ETH、Daimler、Tinghua-Daimler、Caltech、NightOwls、ECP夜间图像也清晰可见：Kaist行人数据集、FLIR热成像数据集、东京大学红外数据集「八大系列概览」主动驾驶数据集分享是整数智能推出的一个全新分享系列，在这个系列中，咱们将介绍目前为止各大科研机构和企业推出的所有公开主动驾驶数据集。数据集次要分为八个系列：系列一：指标检测数据集系列二：语义宰割数据集系列三：车道线检测数据集系列四：光流数据集系列五：Stereo Dataset系列六：定位与地图数据集系列七：驾驶行为数据集系列八：仿真数据集本文是<系列一指标检测数据集>的第二篇，一共分为三篇来介绍。上面共包含15个数据集： 01「DAIR-V2X数据集」公布方：清华大学智能产业研究院（AIR）、北京市高级别主动驾驶示范区、北京车网科技倒退有限公司、百度Apollo、北京智源人工智能研究院下载地址：https://thudair.baai.ac.cn/co...公布工夫：2022年简介：DAIR-V2X数据集是寰球首个用于车路协同主动驾驶钻研的大规模、多模态、多视角数据集，全副数据采集自实在场景，同时蕴含2D&3D标注特色总计71254帧图像数据和71254帧点云数据 * DAIR-V2X协同数据集(DAIR-V2X-C)，蕴含38845帧图像数据和38845帧点云数据* DAIR-V2X路端数据集(DAIR-V2X-I)，蕴含10084帧图像数据和10084帧点云数据* DAIR-V2X车端数据集(DAIR-V2X-V)，蕴含22325帧图像数据和22325帧点云数据首次实现车路协同时空同步标注传感器类型丰盛，蕴含车端相机、车端LiDAR、路端相机和路端LiDAR等类型传感器障碍物指标3D标注属性全面，标注10类路线常见障碍物指标采集自北京市高级别主动驾驶示范区10公里城市道路、10公里高速公路、以及28个路口数据涵盖晴天/雨天/雾天、白天/夜晚、城市道路/高速公路等丰盛场景数据齐备，蕴含脱敏后的原始图像和点云数据、标注数据、工夫戳、标定文件等训练集和验证集已公布，测试集将伴随后续Challenge流动公布 02「Argoverse」公布方：Argo AI、卡内基梅隆大学、佐治亚理工学院下载地址：https://www.argoverse.org/av1...论文地址：https://arxiv.org/pdf/1911.02...公布工夫：2019年简介：Argoverse 数据集蕴含 3D Tracking 和 Motion Forecasting 两局部。Argoverse数据集与Waymo有些不同，尽管它也蕴含激光雷达和摄像头数据，但它只笼罩了在迈阿密和匹兹堡记录的113个场景。其特别之处在于，它是第一个蕴含高清地图数据的数据集特色第一个蕴含高清地图数据的数据集：蕴含匹兹堡和迈阿密290公里的车道地图，如地位、连贯、交通信号、海拔等信息传感器：2个激光雷达，7个高分辨率环形相机 (1920 × 1200)，2个平面相机（ 2056 × 2464 ）Argoverse 3D tracking蕴含 113 个场景的 3d 跟踪正文，每个片段长度为 15-30 秒，共计蕴含 11052个跟踪对象对5米内的物体进行标注，共15个标签70%的标注对象为车辆，30%行人、自行车、摩托车等Argoverse Motion Forecasting从在迈阿密和匹兹堡的1006小时驾驶记录中获取，总计320小时蕴含324,557 个场景，每个场景 5 秒，且蕴含以 10 Hz 采样的每个跟踪对象的 2D 鸟瞰图 03「KAIST Multispectral Pedestrian」公布方：韩国科学技术院（Korea Advanced Institute of Science and Technology）下载地址1：https://sites.google.com/site...下载地址2：https://sites.google.com/site...论文地址： https://openaccess.thecvf.com...\_cvpr\_2015/papers/Hwang\_Multispectral\_Pedestrian\_Detection\_2015\_CVPR\_paper.pdf公布工夫：2015年简介：该数据集为多光谱行人检测数据集，提供白天和夜晚的黑白-热成像图像对。数据集通过彩色图像和热成像的优势互补，进步了行人检测的准确度，克服了以往行人检测数据行人被遮挡、背景凌乱、夜间成像不清晰等问题特色同时提供白天和夜间的95328对黑白-热成像图像，并且通过分束器的解决对齐图像，打消图像视差数据采集地点为韩国首尔，图像分辨率为640x480103,128个人工2D框标注， 1,182 个行人四种不同类型的标注：person、people（不清晰的人像）、cyclist、person?（不确定是否为行人）采集设施：蕴含热成像仪、RGB摄像机、分束器等的采集设施 04「ETH Pedestrian」公布方：苏黎世联邦理工大学 (ETH Zürich)下载地址：https://icu.ee.ethz.ch/resear...论文地址：https://www.vision.rwth-aache...公布工夫：2009年简介：ETH是一个行人检测数据集，应用摄像机拍摄共三个视频片段，数据集只有一个行人标签特色测试集蕴含3个视频片段，共4800帧，帧率为15，共1894个标注应用2.5D标注，进行抽帧标注，每四帧标注一次采集于瑞士苏黎世人员密集的街区应用摄像机进行拍摄 05「Daimler Pedestrian」公布方：Daimler AG下载地址：http://www.lookingatpeople.co...论文地址： http://gavrila.net/pami09.pdf公布工夫：2008年大小：8.5GB简介：戴姆勒行人检测数据集是采集于城市环境的行人检测数据集，采集的环境均为白天。数据集分为训练集和测试集两局部，训练集又包含行人图像和不蕴含行人的图像特色 ...

关于自动驾驶:2022自动驾驶商业化落地主流将是什么丨曼孚科技

2021年堪称是主动驾驶的商业化元年，进入2022年，随着国家主动驾驶示范区数量减少，主动驾驶技术已利用至多个场景，规模化商用开始成为行业主旋律。在这样的继续热度下，主动驾驶科技企业、主机厂与场景方多方协同，使得主动驾驶解脱浅层概念，真正走进公众生存。而面对日益增长的市场需求，如何打磨本身竞争力，进入最初的决赛圈也成为主动驾驶产业中每个参加主体都须要思考的问题。主动驾驶商业化落地，车路协同或将成为支流车路协同即车联网，是以行驶中的车辆为信息感知对象，借助新一代信息通信技术，实现车与车、人、路、服务平台之间的网络连接，晋升车辆整体的智能驾驶程度，为用户提供平安、舒服、智能、高效的驾驶感触与交通服务，同时进步交通运行效率，晋升社会交通服务的智能化程度。随着车路协同逐渐走向规模化，市场对其需要一劳永逸。截至2020年，中国智慧公路行业市场规模已达641亿元且出现持续增长态势，在2030年中国车路协同市场规模无望达到4960亿元，市场潜力微小。通信技术的一直加强是撑持智慧公路落地的根基。据亿欧智库统计，2021年以来，中国5G基站数量已达到120万座，寰球范畴内中国5G基站占比达70%，相比2019年呈现出高速增长趋势，5G带来的高可靠性、低延时正推动主动驾驶技术稳步发展，为车联网提供通信技术支持。智能汽车B端赛道曾经开启只管目前无人驾驶仍无奈达到L4级别，难以利用于私家汽车，但在商业畛域(货物运输、采矿、快递运输、港口运输)未然成为了潜力股。B端无人驾驶有很多私家轿车不具备的劣势：车速稳固、路线固定、资金节俭、安全性高且时效性强。因而将无人驾驶商业化，不仅在难度上会比轿车无人驾驶降落好几个数量级，在成果上也会事倍功半。以矿区无人驾驶为例，据调研测算，2030年中国矿区主动驾驶技术服务市场规模将达每年129亿元。车端智能仍是行业决策主体现阶段我国主动驾驶行业倒退理念是以汽车智能为主体，车路云零碎为辅助，因而单车智能仍是无人驾驶落地最重要的突破口。训练数据作为无人驾驶行业的根基一直提供养料，为其倒退做出了巨大贡献，正如阿里团体副总裁王刚所言，数据驱动是解决无人驾驶难题的关键技术。无人驾驶对数据需要的激增，使数据标注迎来行业倒退的黄金期。以曼孚科技为例，自成立以来曼孚科技已与国内外泛滥高新技术企业及研发机构建设了良好的合作伙伴关系，在数据资源方面，曼孚科技提出“柔性供应链”理念，利用旗下多个标注基地近万名标注成员满足海量数据需要;在数据处理方面，曼孚科技自研SEED数据服务平台，通过生命周期治理与全场景标注工具实现数据从0到1的一站式管控，为寰球AI企业提供业余、定制化的数据综合服务解决方案。主动驾驶现已进入白热化，改变传统造车理念，跟上智能化浪潮已成为传统车企必须面临的转型之路，在将来，构建主动驾驶生态体系，摸索成熟的商业模式将成为各大车企“必修课”。

关于自动驾驶:windows快速安装Carla

文章起源：https://bbs.carla.org.cn/info...作者：carlami 系統：WIN10 CARLR:0.9.11 装置ANACONDA下载最新版本的anaconda，下载地址如下： https://mirrors.tuna.tsinghua... 装置python3.7conda create -n py37 python=3.7 conda activate py37 设置conda 下载减速 conda config --add channels https://mirrors.tuna.tsinghua... conda config --add channels https://mirrors.tuna.tsinghua... conda config --add channels https://mirrors.tuna.tsinghua... pip install numpy pip install pygame pip install networkx 装置carla 1）下载carla 0.9.11并解压下载地址：https://carla.org/2020/12/22/... 解压到：D:\carla\CARLA_0.9.11 2)装置carlalib。关上命令行程序，执行上面的命令 cd D:\carla\CARLA_0.9.11\WindowsNoEditor\PythonAPI\carla\dist easy_install carla-0.9.10-py3.7-win-amd64.egg 执行用例 cd D:\carla\CARLA_0.9.11\WindowsNoEditor\PythonAP\examples python automatic_control.py

关于自动驾驶:DeepRoute-Lab-DRINet-面向更加高效的点云分割

AUTHOR-元戎感知组时隔半年码字，来介绍一下往年被ICCV2021收录的一篇点云宰割的工作DRINet: A Dual-Representation Iterative Learning Network for Point Cloud Segmentation 这里同时要感激一些我的co-author帮忙。 Introduction and Motivation 其实idea的成形在第一篇3D指标检测之后就曾经存在了，整个文章的思路跟过后的PVCNN挺类似，外围就是要利用不同的表征形式来补救点云繁多表征能力的有余。然而过后看到的PVCNN有余的点在于两个方面，1). 3D卷积太耗时，2). Pointwise的branch并没有太多的 3). 特色的流传过程中，devoxelization的时候的三线性插值带来了太多Memory access cost，这样导致了，尽管PVCNN实践计算量很低，然而理论在inference过程中很多内存寻址的代价并没有被思考进去，这导致了PVCNN在室外场景上面其实并没有太多的劣势，尤其是当点云的规模到10W这个量级。起初SPVNas通过稠密卷积减速解决了第一个问题，同时利用nas的形式寻找最优的网络结构，不过spvnas在前面几个点的改良其实并不多，导致了其实performance跟efficiency下面还是没有达到最优的状态。 Method 通过这几个察看，咱们提出了DRINET。整体来说DRINet是一个十分高效并且performance上达到过后SOTA程度的一个点云宰割的框架。蕴含了以下的几个方面：1) Geometry-aware Feature Extraction 2) Sparse Voxel-Point Feature Extraction(SVPFE) 3) Sparse Point-Voxel Feature Extraction (SPVFE) and 4) Iterative Dual-Representation Learning. 总体框架下图所示 1) Geometry-aware Feature Extraction 跟PVCNN还有SPVNas不同，咱们还是十分关注原始点云的特色的多尺度的提取，通过对不同尺度下统计量的联合，咱们的GAFE能够更加无效的反馈点云的原始特色，保留更好的点云几何个性，比方mean，variance，gridmean等，咱们的试验也反馈了这一点，单单通过GAFE咱们的DRINet就能超过PointNet在semanticKitti上的体现。 2）SPVFE 为了更加好的利用点级别的多尺度信息，相比于其余的工作，咱们在Pointwise下面做了不小的工作，对于PointLevel的branch，咱们利用scatter/gather等操作，实现了高效的多尺度的pooling层操作用以失去hierarchical features。相比PointNet++咱们的操作不须要任何的KNN的操作因而不须要建设KDTree，因而咱们的操作更加高效。接着利用同样的操作，咱们能够将pointwise的特色mapping到一个targe scale的voxelwise feature。 3) SVPFE 在失去了voxelwise features之后，咱们利用了SPConv进行了context information的提取，SPConv能够疾速扩充感触野的同时维持一个较低的内存的代价。另一点为了将voxelwise features从新mapping到pointwise的feature，咱们引入了Attentive Gathering Strategy的操作相比于bilinear gathering操作，咱们的操作在memory access cost更低，能够缩小到1/8，因为咱们的attentive gathering操作仅仅只须要一次nearest gathering。 4）Iterative Dual-Representation Learning 当咱们有voxelwise跟pointwise features的时候，咱们能够在两种features中一直的迭代，一种表征的输出就是另一种表征的输入，整个框架最初非常灵活，能够在不同的表征不同的特色一直流传。 ...

关于自动驾驶:DeepRoute-Lab-LLVM-IR-Tutorial观后感

最近又重温了一把LLVM Developer Conference一个tutorial，记录一下之前的一些观后感。整个tutorial还是非常适合没有LLVM根底的人入门跟手操一段LLVM代码的。 PrerequisiteIR->intermediate representation也就是所谓的两头示意模式。一般来说编译器会应用的IR蕴含了DAG，三地址码(凑近指标机器)，CFG(控制流图)，SSA(比拟常见的，single static assignment)，CPS（更加个别的SSA）。其中SSA因为每个变量仅被赋值一次更加容易做整个IR的剖析以及其余的优化蕴含(constant propagation)。其余的IR模式这边就不多少了，需要的话再一一开坑。文件格式:1. bc bitcode 2. ll 两头示意文件有用的工具:1. llvm-dis 反汇编工具将bc文件转为ll文件2. llvm-as 汇编工具将ll文件转为bc文件3. clang/clang++这两者别离都是LLVM的前端parser也就是编译器工具4. opt用来check或者优化或者转化IR文件， e.g. opt --verify x.ll Example先筹备一个小例子 // filename main.cppint main() { return 0;}//clang -S -emit-llvm main.cpp//能够看到了产生了ir文件main.ll关上main.ll文件 ; ModuleID = 'main.cpp'source_filename = "main.cpp"target datalayout = "e-m:o-i64:64-i128:128-n32:64-S128"target triple = "arm64-apple-macosx11.0.0" ; Function Attrs: noinline norecurse nounwind optnone ssp uwtabledefine i32 @main() #0 { %1 = alloca i32, align 4 store i32 0, i32* %1, align 4 ret i32 0} attributes #0 = { noinline norecurse nounwind optnone ssp uwtable "correctly-rounded-divide-sqrt-fp-math"="false" "disable-tail-calls"="false" "frame-pointer"="non-leaf" "less-precise-fpmad"="false" "min-legal-vector-width"="0" "no-infs-fp-math"="false" "no-jump-tables"="false" "no-nans-fp-math"="false" "no-signed-zeros-fp-math"="false" "no-trapping-math"="true" "probe-stack"="__chkstk_darwin" "stack-protector-buffer-size"="8" "target-cpu"="apple-a12" "target-features"="+aes,+crc,+crypto,+fp-armv8,+fullfp16,+lse,+neon,+ras,+rcpc,+rdm,+sha2,+v8.3a,+zcm,+zcz" "unsafe-fp-math"="false" "use-soft-float"="false" } !llvm.module.flags = !{!0, !1, !2}!llvm.ident = !{!3} !0 = !{i32 2, !"SDK Version", [2 x i32] [i32 11, i32 3]}!1 = !{i32 1, !"wchar_size", i32 4}!2 = !{i32 7, !"PIC Level", i32 2}!3 = !{!"Apple clang version 12.0.5 (clang-1205.0.22.9)"}解释一下，llvm的ir文件正文;打头 ...

关于自动驾驶:曼孚科技丨2022年如何让自动驾驶更沾地气

主动驾驶堪称这个春节的顶流。大年初二，来自百度的 " 汽车机器人 " 实力入境，参加了北京冬奥会50-51棒的火炬传递，中国的主动驾驶企业秀足了肌肉，展现出了主动驾驶技术在不同场景下的落地利用。引擎盖下的数据要求主动驾驶已从共识走向常识。据OMDIA汽车钻研部门Ward Intelligence统计数据显示，2019年约有1.5亿辆联网乘用车，到2022年这一数字将翻一番。对于整个汽车产业链而言，主动驾驶既是红海，亦是蓝海。主动驾驶技术须要大规模的数据训练其主动驾驶能力，教会汽车认知驾驶环境，正确驾驶。对汽车的感知零碎来说，指标辨认跟踪、障碍物检测、精确定位等技术的精度要求十分高，而主动驾驶汽车是否标准驾驶取决于感知零碎和地方决策零碎的精准辨认能力，因而行驶环境的数据对主动驾驶的环境感知零碎意义重大，主动驾驶实质是数据的军备竞赛。数据标注热潮没有解决好的数据等同于垃圾。因为深度学习的衰亡，很多人对数据重要性已造成共识，但只是简略地收集数据并不能产生价值，只有真正让人工智能理解数据的含意才是主动驾驶导航技术提高的要害，这也正是“数据标注”施展关键作用的中央。标注数据是创立成熟人工智能的第一步。家喻户晓，人工智能有三驾马车，即“数据、算法、算力”，算法次要钻研如何通过计算的伎俩，利用教训来改善零碎本身的性能，而在计算机系统中，“教训”通常以“数据”模式存在，这就需把汽车驾驶的各种状况通过数据的模式输出到零碎中，计算机系统再依据已有的各种状况将数据利用至训练模型，如果呈现之前数据里没有存储的状况，计算机系统就会无奈认知判断。因而主动驾驶对数据标注的需要是宏大的。主动驾驶将如何成为支流从技术层面来看，无论是算力，还是数据的积攒，或是算法的成熟度，行业都曾经积攒多年，从零几年开始到当初，已到了肯定的破局点。但当初看到的落地场景，离最终期待的主动驾驶仍有很大的间隔。尽管如此，但如何让主动驾驶倒退 " 更沾地气 "？数据的推动至关重要。只管主动驾驶技术已获得微小飞跃，但不可否认，它仍需更多地标注数据能力成为支流，高质量、精细化的大量数据能在很大水平上晋升汽车主动驾驶的安全性与实用性，助推主动驾驶落地化过程。在将来，精细化、场景化、定制化的数据将是行业倒退的重要方向，主动驾驶公司比拼的，是每个公司对数据的解决能力、对新场景的适应能力，数据将撑起主动驾驶行业的新将来。

关于自动驾驶:浅析强化学习基础

简介强化学习关注身处某个环境中的智能体通过采取行动取得最大化的累积收益。和传统的监督学习不同，在强化学习中，并不间接给智能体的输入打分。相同，智能体只能失去一个间接的反馈，而无奈取得一个正确的输出/输入对，因而须要在一直的尝试中优化本人的策略以取得更高的收益。从狭义上说，大部分波及动静零碎的决策学习过程都能够看成是一种强化学习。强化学习的利用十分宽泛，次要包含博弈论、控制论、优化等多个不同畛域。简述强化学习概念场景设定：咱们有一个3×3的棋盘，其中有一个单元格是马里奥，另一个单元格是宝藏，如图1所示。在游戏的每个步骤时，能够往上、下、左、右四个方向挪动马里奥，直到马里奥找到宝藏，游戏完结。在这个场景中，强化学习须要定义一些基本概念来实现对问题的数学建模。 image.png 图1：场景设定图强化学习的基本概念能够通过图2来形容，次要由环境（Environment）、机器人（Agent）、状态（State）、动作（Action）、处分（Reward）等基本概念形成。简略形容过程就是：一个机器人在环境中会做各种动作，环境会接管动作，并引起本身状态的变动，同时给机器人以处分。机器人的指标就是应用一些策略，做适合的动作，最大化本身的收益。 image.png 图2：强化学习交互图强化学习中的基本概念整个场景能够带入到马尔可夫决策过程（Markov Decision Process，MDP）。马尔可夫决策过程是马尔可夫过程与确定性的动静布局相结合的产物，是指决策者周期地或间断地察看具备马尔可夫性的随机动静零碎，并且间断地做出决策的过程，这里还须要定义以下几个因素：动作：所有可能做出的动作的汇合，记作A（可能是有限的）。对于本次场景中，A=马里奥在每个单元格能够行走的方向，即{上、下、左、右}。状态：所有状态的汇合，记作S。对于本场景，S为棋盘中每个单元格的地位坐标{(x,y); x=1,2,3; y=1,2,3}，马里奥以后位于（1,1），宝藏位于（3,2）。处分：机器人可能收到的处分，个别是一个实数，记作r。对于本场景，如果马里奥每挪动一步，定义r=-1；如果失去宝藏，定义r=0，游戏完结。工夫（t=1,2,3...）：在每个工夫点t，机器人会收回一个动作at，收到环境给出的收益rt，同时环境进入到一个新的状态st。状态转移：S×A→S满足，也就是说，从以后状态到下一状态的转移，只与以后状态以及以后所采取的动作无关。这就是所谓的马尔可夫性。累积收益：从以后时刻0开始累积收益的计算方法是，在很多时候，咱们能够取T=∞。强化学习的外围工作是，学习一个从状态空间S到动作空间A的映射，最大化累积受害。罕用的强化学习算法有Q-Learning、策略梯度，以及演员评判家算法（Actor-Critic）等。强化学习中的价值迭代上一章节曾经把强化学习问题形式化为马尔可夫决策过程。上面咱们介绍如何利用价值迭代求解马尔可夫决策过程。那么什么是价值呢？咱们将以后状态s的价值V(s)定义为：从状态s=(x,y)开始，可能取得的最大化处分。联合图3直观地了解价值迭代。 image.png 图3：迭代过程首先，初始化所有状态的价值V(s)=0。而后，在每一轮迭代中，对每个状态s 顺次执行以下步骤。逐个尝试{上、下、左、右}四个动作a，记录达到状态s′和处分r。计算每个动作的价值q(s,a)=r+V(s′)。从四个动作中抉择最优的动作。更新s状态价值。在第一轮迭代中，因为初始状态V(s)均为0，因而对除宝藏所在位置外的状态s 均有V(s)=r+V(s′)=-1+0=-1，即从以后地位登程走一步取得处分r=-1。在第二轮迭代中，对于和宝藏地位相邻的状态，最优动作为一步达到V(s′)=0 的状态，即宝藏所在的格子。因而，V(s)更新为r+V(s′)=-1+0=-1；其余只能一步到达V(s′)=-1的状态，V(s)更新为r+V(s′)=-1+(-1)=-2。第三轮和第四轮迭代如法炮制。能够发现，在第四轮迭代中，所有V(s)更新前后都没有任何变动，价值迭代曾经找到了最优策略。最终，只须要从马里奥所在地位开始，每一步抉择最优动作，即可最快地找到宝藏。下面的迭代过程实际上使用了贝尔曼方程（Bellman Equation），来对每个位置的价值进行更新 image.png 贝尔曼方程中状态s的价值V(s)由两局部组成： -采取动作a后带来的处分r。 -采取动作a后达到的新状态的价值V(s′)。寻找迭代中的最优解本章节介绍马尔可夫决策过程的另一种求解办法——策略迭代。什么叫策略呢？策略就是依据以后状态决定该采取什么动作。以场景中的马里奥寻找宝箱为例，马里奥须要一直朝着宝藏的方向后退：以后状态如果在宝藏左侧，策略应该是朝右走；以后状态如果在宝藏上方，策略应该是朝下走。如何掂量策略的好坏？这就须要介绍策略评估（Policy Evaluation）。给定一个策略，咱们能够计算出每个状态的冀望价值 V(s)。策略迭代能够帮忙咱们找到更好的策略，即冀望价值更高的策略，具体步骤如下。（1）初始化：随机抉择一个策略作为初始值。比方“不论什么状态，一律朝下走”，即P（A = 朝下走 | St=s）= 1，P（A = 其余 | St=s）= 0。（2）进行策略评估：依据以后的策略计算image.png。（3）进行策略晋升：依据策略评估的后果计算以后状态的最优动作，更新策略image.png。（4）不停地反复策略评估和策略晋升，直到策略不再变动为止。在马里奥寻找宝藏问题中，策略迭代过程如图4所示。 image.png 图4：策略迭代过程初始化策略为：不管马里奥处于哪个状态，一律朝下走。依据这一策略进行策略评估不难发现，只有宝藏正上方的状态能够达到宝藏，冀望价值为到宝藏的间隔（-2，-1和0）；其余状态不能通过以后策略达到宝藏，冀望价值为负无穷。而后依据以后的冀望价值进行策略晋升：对于宝藏正上方的状态，策略曾经最优，就放弃不变；对于那些地位不在宝藏正上方的状态，则持续依据策略更新公式image.png，最优策略为横向挪动一步。通过上一轮的策略晋升，这一轮的策略变为：对于宝藏正上方的状态，向下挪动；对于不在宝藏正上方的状态，横向挪动一步。依据以后策略进行策略评估，更新各状态冀望价值：宝藏正上方的状态价值冀望不变，仍等于到宝藏的间隔；不在宝藏正上方的状态冀望价值持续更新，即横向挪动一步的处分与指标状态的冀望价值之和。而后依据更新后的冀望价值进行策略晋升：不难发现，对于所有状态，以后策略曾经最优，维持不变，停止策略晋升过程。 ...

关于自动驾驶:人工智能在行动自动驾驶汽车的落地

一个多世纪以来，汽车作为最平凡的创造之一为人类的出行带来了极大便当，其在舒适性、安全性及资源耗费等方面都有显著晋升。但亘古不变的是，作为驾驶员在前进过程中必须时刻专一于路况环境信息。随同计算机与自动化过程的放慢，汽车逐步成为驾驶员的数字伴侣，为驾驶员提供平安警示，如对车辆碰撞前与异样变道的警报等。然而只管有这些帮忙，寰球每年因交通事故造成的经济损失仍达6000亿美金，少数交通事故的次要责任在于驾驶员自身。随着人工智能逐渐向前迈进，主动驾驶作为AI落地的瘠田，其蕴含的后劲非常宏大。尤其对于中国，主动驾驶未然成为一个沉闷的畛域。R&S北京公司总裁罗杉就曾在记者采访中提到“在汽车电动智能化浪潮里，中国企业们正在换道超车，在某些技术畛域引领着寰球的倒退。”咱们作为寰球人口密度最大的国家之一，每年约百分之三十的城市存在顶峰拥挤状况。主动驾驶技术恰好能晋升驾驶平安，进步路线通行能力，增强交通系统管理秩序，为用户节省时间。主动驾驶的实质作用就是晋升平安和效率。据报道每年因酗酒、昏睡、注意力不集中等起因导致的车祸死亡人数已超两百万，而在主动人工智能零碎的帮忙下，这种喜剧显然能够防止。主动驾驶可帮忙用户加重压力、缩短通勤工夫、升高出行门槛及优化油耗等。但高度自动化与主动驾驶同样也对技术的安全性和可靠性施加了微小压力。家喻户晓，人工智能三要素中的数据作为基础产业，为算力算法提供养料撑持。一旦呈现有缺点的参考数据，可能会从感知、状况剖析与行为布局等方面扰乱主动驾驶算法的整个训练过程，因而参考数据的品质决定了AI清晰辨认对象的能力。“通过建设流程化、规范化、标准化的数据服务平台，进步数据标注速率与品质，满足大规模AI基础设施建设带来的迫切需要。”这就是曼孚科技的办法。什么样的服务平台?曼孚科技自研了一套贯通数据处理、项目管理和数据安全管控等各环节于一体，并且能对图像、文本、语音、视频以及3D点云数据做到一站式解决的数据服务平台——SEED平台。作为数据智能平台体系的重要组成部分，SEED平台是实现重构AI基础架构的要害。如何实现数据标注?多场景标注利用三大标注模式、四维标注工具，全面笼罩计算机视觉、自然语言解决、语音交互实现在主动驾驶、智慧安防及泛场景等畛域的标注需要。AI人机协同标注提供18种不同类型的AI预标注辅助工具，全面笼罩各类垂直标注场景，局部AI标注工具准确率高达99%，平台数据标注效率晋升10倍以上。平台的管理模式?数据生命周期治理可实现数据从诞生到被算法模型调用、数据集、人员、供应链等过程的调度，实现从项目管理、我的项目执行至数据导出的一站式治理。在沟通效率、执行老本以及信息透明度等方面实现革命性的翻新，无效满足大规模AI基础设施建设带来的迫切需要。在将来，智能汽车将持续飞速成长，人工智能公司也将面临着更大的压力，只有对图像和视频中的单个对象进行详尽的标记，通过训练计算机视觉模型来精确解释四周的世界才是实现主动运输更平安、更牢靠的邪道。毕竟，在路线平安方面不容有任何失误，主动驾驶之路仍任重而道远。

关于自动驾驶:大咖Talk丨崔运凯AI组织的未来自动驾驶场景下的制胜关键

文章来自亿欧Equal Ocean2021年12月21日，由亿欧EqualOcean主办的“数字重塑世界-WIM2021世界创新者年会”在中国上海正式揭幕。作为此次WIM2021峰会的次要组成部分，“GTM2021寰球科技出行论坛”在12月21-22日在上海胜利召开。本次流动由亿欧EqualOcean旗下科技出行产业翻新服务平台亿欧汽车倾力打造。在大会现场，来自业界的明星企业负责人、一线创业者、投资人等数十位嘉宾齐聚一堂，围绕“碳中和”、“新能源智能汽车”、“主动驾驶”、“智能座舱”、“航行汽车”、“汽车服务与流通”、“科技出行产业投资”等热点话题，通过主题分享、高端对话等模式，聚焦行业倒退，共图倒退之路。在“主动驾驶商用场景3.0时代” 篇章中，格物钛智能科技创始人兼CEO崔运凯发表了题为《AI组织的将来——主动驾驶场景下的制胜要害》的主题演讲。他认为： 1.每个人都要从新思考应该利用什么样的治理哲学，服务组织架构的时候用什么样的工具。我认为，人工智能组织与软件组织十分类似； 2.其余企业和特斯拉竞争时，必须要和特斯拉应用同样的形式思考，应用同样的工具，包含扭转本人的治理哲学； 3.大量的算法工程师加上数据运维工程师、机器学习运维工程师，通过分工协作建设算法迭代的生产线，能够让组织高效运行。以下为演讲原文，在不扭转嘉宾原意的根底上进行了编辑，供行业人士参考。大家好，我是来自于格物钛智能科技的崔运凯，很快乐明天有机会分享咱们做的一些事件。首先是什么叫做人工智能组织？为什么要探讨这个话题，因为咱们晓得一个公司必定是先有策略，而后由组织来服务策略。在我看来，如何领有一个高效的组织，才是博得主动驾驶竞争最要害的中央。其实明天有很多的公司在做人工智能产品，任何做人工智能类产品的公司，他都须要有一个更好的组织来服务本人做的产品。比如说无人驾驶，或者一些新能源汽车在做的换电站等我的项目，在很多时候都有人工智能技术的浸透，其浸透之后的组织就变成了人工智能组织。为什么管理者要关怀人工智能组织呢？因为咱们发现对于不同类型的产品而言，公司所须要的治理状态和组织架构是十分不一样的，只有通过组织的降级才能够将其进行高效协同，或者迭代产品，从而在最初竞争中胜出。所有做人工智能产品的公司都在关注本人的组织和设计。如何构建人工智能组织呢？每个组织做些什么呢？在我看来，最重要的是进行治理时，每个人都要从新思考应该利用什么样的治理哲学，服务组织架构的时候用什么样的工具？我在讲人工智能组织的时候想了很多，咱们发现人工智能组织和软件组织十分类似。软件组织产生什么变动？三十年前，在我很小的时候，用的都是光盘，包含Windows操作系统，须要每两年买一张光盘，然而明天关上手机的时候，你的软件每天都在取得更新。一个软件从两年一迭代到每天都在迭代，这个过程尽管看似很天然，然而其软件组织产生了天翻地覆的变动，须要更新治理哲学，构建不一样的组织架构，须要应用更好的软件，才能够服务于这样的组织。为什么软件组织很要害？为什么咱们要花这么大力量钻研这些呢？我想举一个例子，过后滴滴CTO讲，滴滴和快的竞争最要害的一年其实是产生某年春节的补贴大战，试想，如果你是快的的管理者，在春节前一天发现滴滴上线一个性能，用户和其亲友在分享APP时，大家能够一起分补贴。你看到这个性能十分慌乱，因为正好处在大家回家的期间，这项性能特地容易流传进来，如果没有做同样的事件，最初极有可能所有流量都被滴滴的营销流动带走。快的发现竞争对手有这项性能之后，马上能够迭代更新同样的性能并推送上线，这在30年前是不可能实现的，但在明天是可能的。做到这件事件不光要有很好的组织，还须要有一个迭代的办法能疾速验证你上线的性能，如果上线之后大家用不了，那么上线毫无意义。为了实现产品的高速迭代，软件组织产生了翻天覆地的变动，从架构设计到人员协调都产生了转变，新的理念、新的工具也相应诞生。其实就人工智能零碎而言，其对于产品迭代速度的要求是一样的。主动驾驶须要有疾速的迭代和反馈能力，大家在买无人驾驶性能的时候，无论买特斯拉、小鹏、蔚来，前提是平安。无人驾驶平安零碎须要更快降级，特斯拉实现OTA技术实时降级，OTA只是一个表象，只是说能够把算法利用到车上，然而实际上特斯拉做了很多的工作，它能够收集到几百万辆车运行的场景信息，并用这些场景训练出新的模型。往年5月份的时候，特斯拉数据引擎负责人做了一个演讲。大家能够看到，在真正的上传数据的过程中，数据下载和模型上传只占十分小的一部分，实际上，大量的工作是产生在云上的。更有意思的一点是所有的工作、所有节点的连贯都是主动产生的，由工具主动串联起来，每一个节点能够并行调动大量人力或者大量算力，疾速实现并行操作，每一步产生工夫十分短，只有这样，整体流程才会变短，才能够更快把更新的安全补丁算法降级利用到车上。这不仅是须要工具的更新，怎么适应组织以及治理团队也变的十分要害。咱们晓得特斯拉和其余公司的竞争是十分不偏心的，但失常的商业竞争在很多时候就是不偏心的，特斯拉有更多的信息储备，更大的车规规模，每辆车都在收集数据，同时其领有寰球最好的团队，吸引全世界的人才，其余企业怎么能力和特斯拉这样的对手竞争？应用制造业治理人的形式和传统的工具是不可能做到的。所以，在我看来，其余企业和特斯拉竞争必须要和特斯拉应用同样的形式思考，应用同样的工具，包含扭转本人的治理哲学，而后须要思考你要有什么样的组织架构能够适应这种治理哲学，同时须要有一个特地好的协同工具，实现这些工作的自动化。企业须要什么样的治理哲学？第一，必定不是须要更多的人，我晓得之前很多制造业的企业，通过堆人来解决问题，但对于人工智能组织、主动驾驶来说，堆人必定解决不了问题。所以咱们应该怎么办？不是堆人，而是集中所有的资源解决对你的业务来说最要害的局部，只雇佣最要害的人。第二，思考本身须要什么样的组织架构。大家看到很多人工智能的公司，招了很多的工程师，大家都在疯狂招算法工程师，这对于他们的融资是十分管用的。但通过讲故事招揽寰球PHD来做到人才垄断，当初来看是不行的。特斯拉是怎么能够实现疾速迭代的呢？因为它有很好的分工。福特怎么能够疾速生产很多标准化车辆？其须要一个生产线，须要不同工种的人做业余的事件，通过跨组织协同实现组织疾速迭代，还须要数据运维工程师和机器学习运维工程师。大量的算法工程师加上数据运维工程师、机器学习运维工程师，通过分工协作建设算法迭代的生产线，能够让组织高效运行。最初我想讲须要什么样的工具能够让咱们迭代更快，在我看来，应该合乎三个根本条件：第一个是须要私有云，因为其更弹性，咱们发现在做无人驾驶的时候，很多情景是须要算力弹性的；第二个更重要的是须要数据平台，因为数据平台能够带来更好的规模化；最初是自动化，因为其更高效，整个零碎都是齐全主动运行的，想要产品疾速新陈代谢，肯定要让整个闭环实现全副自动化经营。为什么须要私有云？在我为很多敌人做明年的估算的时候，我发现一个十分乏味的景象，因为当初私有云价格比公有云便宜很多，大家现实中公有云的破费低，实际上不是这样，除了要花大量电费在空调上，还要再雇几个公有云运维工程师保护网络稳定性，还有在虚拟化零碎上买各式各样的软件等，这些老本为绝大多数人所疏忽。为什么要有数据平台？很多人通过文件系统治理数据，但数据平台能够提供的益处是文件系统不具备的。在存储空间方面，咱们用文件系统的时候，80%的存储空间都用来存反复数据，这对于任何组织来说都是微小的节约。第二就是如果你只给工程师文件系统的话，工程师60%的工夫都在做数据搜寻。而后就是应用文件系统的时候，不论是训练模型还是数据侧做荡涤，其中40%的工夫都节约在硬盘读写上。咱们格物钛智能科技做什么呢？帮忙人工智能做三个事：第一帮大家上云，更好利用云上资源；第二提供数据平台，让大家不必去为数据应用放心，没有反复数据，能够疾速进行数据检索；最初咱们提供自动化，怎么样自动化的去让整个数据闭环，不管做人工智能还是做什么样的产品，都能够疾速实现数据处理而且齐全自动化。更多信息请拜访格物钛官网

关于自动驾驶:北斗GPS导航接收机GNSSRTK抗干扰100Hz无人机航测免相控抗干扰

近期无人机（六轴）客户在达到新的航测作业区时发现 mosaic H 产品呈现搜星较少、不稳固问题，咱们技术赶到现场反对理解状况，应用电脑USB 口与 mosaic_H 连贯，通过Septentrio 产品默认IP: 192.168.3.1 进入 web 界面查看板卡状态时发现，以后环境存在烦扰。板卡以后是否受到烦扰能够在web 界面通过查看频谱直观看出，也可通过剖析SBF 原始数据查看所受到烦扰的详细信息。当未检测到干扰信号时，板卡会显示“Spectrum Clean”（频谱清晰），并在 Spectrum View 界面下看的清晰的频谱图，如下界面： **web 界面频谱状态：周边环境不存在烦扰**当板卡检测到有干扰信号时，会显示“Interf. mitigated"（烦扰克制），Septentrio 板卡默认具备干扰信号克制性能，能够主动克制干扰信号，如下图所示 **web 界面频谱状态：周边环境存在烦扰**因以后无人机所处环境比拟空阔，干扰源较难确定，因而决定拿出 mosaic_H 内存卡中记录的以后时段的原始数据，通过对原始数据的剖析查看以后mosaic_H 各状态信息通过对SBF 原始数据中Front End Gain、Quality Indicator 和BBSamples 数据块剖析，发现：（SBF 数据蕴含观测量、信噪比、多普勒、烦扰、多路径、航向俯仰等姿势、卫星状态、地位信息等等） Front End Gain：通过该数据块发现射频端增益值一直的跳变，失常在以后环境动态模式下增益值不应如此有如此频繁的跳变2.Quality Indicator：该项数据显示在大多数状况信号品质为3-5，而在以后环境下现实值能够达到 7-9。同时咱们查看了SBF 原始数据中BBSamples 数据块，在整机上电后射频端呈现了多个干扰信号，如下图：上图中的烦扰会间接影响GLONASS L1/L2 的接管，另外也会影响到B2I/E5B信号的接管应该也是导致Quality Indicator 偏低的次要起因。另外将SBF 数据中的RFStatus 数据块转换为文本格式后发现的确有来自不同频段的烦扰频率，并且Septentrio 板卡已对烦扰频点进行克制，如下图：论断：通过对SBF 原始数据的剖析能够确定该区域的确存在烦扰，并进行烦扰克制。

关于自动驾驶:百亿级小文件存储JuiceFS-在自动驾驶行业的最佳实践

主动驾驶是最近几年的热门畛域，专一于主动驾驶技术的守业公司、新造车企业、传统车厂都在这个畛域投入了大量的资源，推动着 L4、L5 级别主动驾驶体验能尽早进入咱们的日常生活。主动驾驶技术实现的外围环节是主动驾驶模型的训练，训练数据是由汽车理论采集回来的实在路线驾驶视频，数据规模无数 PB 到数十 PB 之多。在模型训练之前，先要对这些原始视频进行解决，截取其中的关键帧保留为照片。而后再由业余数据标注团队在图片上标记要害信息，比方红绿灯、路线标记等。最终通过标记的数十亿图片和标记数据成为真正要「喂给」训练框架的内容。相熟分布式系统和分布式存储的敌人肯定晓得，LOSF（Lots of Small Files，海量小文件）是存储畛域的大难题。而在人工智能 CV（Computer Vision）畛域中基于 LOSF 的训练又是刚需，包含主动驾驶、人脸识别、物体检测等细分畛域。本篇文章来自 JuiceFS 某主动驾驶行业客户的架构实际，在百亿规模小文件训练场景下进行了一系列胜利的摸索，心愿能为相干行业的利用带来一些参考和启发。百亿小文件治理的极致挑战主动驾驶零碎的训练数据集大多有数十亿到数百亿小文件（小于 1MiB 的文件），一次训练通常须要数千万到数亿文件。而且训练 worker 每一次生成 mini-batch 都须要频繁拜访存储系统，其中大部分是对元数据的申请，因而，元数据性能间接影响模型训练的效率。这就要求存储系统不仅要具备治理百亿文件的能力，还必须在高并发申请下，放弃低时延、高吞吐的元数据性能。在存储系统选型中，对象存储是可能承载百亿规模文件的，然而短少原生目录反对、短少残缺 POSIX 语义反对、元数据性能弱这三方面的问题让对象存储并不适宜海量小文件训练场景。在一些常见的分布式文件系统架构设计中，HDFS 并不适宜存储小文件，尽管能够采纳 Scale-Up NameNode 和联邦（federation）的形式包容肯定规模的数据，但要存储百亿级小文件仍然是一件十分艰难的事件；CephFS 的 MDS 尽管有 Scale-Out 能力，但单过程的并发解决能力不高，随着 MDS 集群规模的增长过程间协调开销增大，使得整体性能达不到线性增长。尽管在 TensorFlow 中反对将多个小文件合并成大文件的 TFRecord 格局来升高训练过程中对存储系统的元数据负载压力，然而在主动驾驶畛域，这种计划升高了数据集随机取样的精度，而且其它训练框架（如 PyTorch）也不兼容，造成很多不便。 JuiceFS 如何解决？JuiceFS 是面向云原生环境设计的开源分布式文件系统，JuiceFS 的翻新在于：能够用任意对象存储作为数据长久层，保留数据内容。无论任何私有云、公有云环境，只有有对象存储服务，都能用 JuiceFS；100% 兼容 POSIX、HDFS、S3 三大支流拜访协定，能对接所有利用；元数据引擎是可插拔架构，反对包含 Redis、TiKV、MySQL 等多种数据库作为存储引擎，同时，也提供兼具高性能和海量存储的商用元数据引擎。JuiceFS 的商用元数据引擎采纳 Raft 算法组成分布式集群，保证数据的可靠性、一致性和高可用性。元数据全副存储在节点的内存中，保障低时延响应。元数据引擎采纳动静目录树计划进行横向扩大，每个分片（shard）是一个独立的 Raft 组，文件系统目录树能够任意划分，调配到须要的分片中，主动平衡与手动平衡相结合。分片机制对于客户端拜访通明。灵便配置缓存大幅晋升训练效率既然训练任务须要频繁拜访存储系统，每次通过网络的开销叠加起来也是不小的冗余，目前工业界都在摸索存储与计算拆散后的缓存减速计划。JuiceFS 曾经内置了缓存能力，客户端拜访过的数据，能够主动缓存在该节点指定的存储介质上，下次访问就能间接命中缓存，不必再通过网络读取。同样，元数据也会主动缓存到客户端内存中。缓存机制在应用上是通明的，无需扭转现有利用，只有在 JuiceFS 客户端挂载时增加几个参数，阐明缓存的门路、容量等信息即可。缓存对于训练减速的成果非常明显，能够参考咱们另外一篇文章「如何借助 JuiceFS 为 AI 模型训练提速 7 倍」。缓存不仅能减速训练，还能显著缩小对象存储 API 的调用，从而升高费用开销。 ...

关于自动驾驶:理解程序的局部性原理

1.1 什么是程序局部性？良好的计算机程序通常有良好的局部性，局部性次要有：工夫局部性：指的是同一个内存地位，从工夫维度来看，它可能在较短时间内被屡次援用。空间局部性：指的是同一个内存地位，从空间维度来看，它左近的内存地位可能被援用。1.2 数据援用局部性请看上面程序： #例1int sumvec(int v[N]){ int i,sum=0; for(i=0;i<N;i++) { sum+=v[i]; }}对于例1的程序，是否有良好的局部性？要答复这个问题就要看看程序中变量的援用模式。变量sum被能在较短时间内屡次援用，所以具备很好的工夫局部性，然而没有援用到sum左近的内存地位，所以没有空间局部性可言。对于数据v，数据是顺序存储的，程序中也是按程序取元素(步长为1的援用模式，步长越大，空间局部性越差 )，元素左近的地位可能被援用，所以具备良好的空间局部性，然而对于同一个内存地位，只能被援用一次，所以工夫局部性很差。对于函数中每个变量，要么有工夫局部性，要么有空间局部性，所以说这个函数具备良好的局部性。在看上面的例子： #例2 int sumvec(int v[M][N]){ int i,j,sum=0; for(i=0;i<M;i++) { for(j=0;j<N;j++) {sum+=v[i][j];} }}二维数是依照行优先顺序存储的，而例2程序中，也是依照行优先读取元素，所以有很好的空间局部性，然而每个元素的内存地位只被援用一次，所以工夫局部性很差，再看例3。 #例3int sumvec(int v[M][N]){ int i,j,sum=0; for(i=0;i<N;i++) { for(j=0;j<M;j++) {sum+=v[j][i];} }}例3依照列优先读取元素(程序具备步长为N的援用模式，读取下一个元素时候须要跳到步长N的地位)，空间部分较差，所以例3的程序空间局部性和工夫局部性都比拟差。 1.3 取指令局部性指令寄存在内存中，CPU须要将取出指令，在例2，例3的循环体中，放在同一个内存地位的程序指令在短时间内会被屡次读取，其左近的指令也会被屡次读取，所以具备很好的局部性。先留个问题，程序指令如何寄存在内存中？

关于自动驾驶:自动驾驶技术架构和简述

开发者工具常识站帮忙开发者更加高效的工作，提供围绕开发者全生命周期的工具与资源https://developer.aliyun.com/... 概述首先主动驾驶技术从业务流程上分为3个外围的流程，别离是环境感知定位、决策布局、执行管制。这3个外围流程的具体价值如下：环境感知定位：次要是通过传感器技术和摄像头、GPS等技术获取汽车行驶过程中的环境指标，并且将数据采集决策布局：通过收集的数据，对车辆的下一步行为作出判断和领导执行决策：目前大部分车辆都采纳线控设计，如何将决策通过信号指令管制汽车的油门、制动等相干零碎以上3个流程，每一个步骤都蕴含了许多核心技术和性能点，在接下来的系列文章中我将一一解说，本篇文章作为综述，外围体现的是上面这种主动驾驶技术架构图，这张架构图蕴含了每个流程的外围性能。环境感知定位环境感知和定位其实是由3个模块组成，别离是环境感知、定位、V2X组成。 1.环境感知环境感知模块次要是通过摄像头和各种雷达实现对路线和行驶路线的辨认。而且通常现实状况下，环境的感知须要多种传感器的配合来实现。 1.1摄像头摄像头是最靠近于人眼的一种环境感知设施。常见的车载摄像头蕴含单目摄像头、双目摄像头、环视摄像头。单目摄像头个别个别至于车的顶端，负责监控后方的路障，然而对间隔感知不太敏感。而双目摄像头，能够利用视距差，通过三角测距技术获取障碍物到车辆的间隔。比方下图P1和P2为两个摄像头，P为障碍物。能够通过三角测距获取P到车辆的间隔。而环视摄像头至多须要4个，能够360度的监控全车周边的状况。采纳摄像头辨认的问题在于须要依赖大量的图像数据积攒，并且训练生成视觉模型能力辨认，整个的技术成长周期比拟长。除了摄像头，还能够通过雷达实现环境感知。雷达分为激光雷达、毫米波雷达和超声波雷达。 1.2 激光雷达其中激光雷达又称LiDAR，他的外围原理是通过发送一道光，这个光遇到障碍物会反弹回收，通过两者的时间差来判断间隔。另外，通过激光雷达的数据采集，能够绘制出点云图，从而实现对障碍物的形态、大小、间隔的描述，典型的点云图如下：激光雷达的一个次要问题就是容易受到天气的影响，比方降雨天气下，水珠就容易对激光雷达的成果产生影响。 1.3毫米波雷达毫米波雷达也能起到车辆和物体的测距成果，通过发射信号和接管信号之间频率的转变实现速度的推送。毫米波雷达相较于激光雷达相比，穿透灰尘和烟的能力较强，在十分极其的天气条件下也能够失常工作。 1.4超声波雷达超声波雷达是辅助驾驶畛域利用比拟多的一种雷达，经常装置到车前方的保险杠，用于倒车辅助性能。原理是收回和接管雷同频率的声波，而后通过时间差测量间隔。超声波雷达不太适宜远距离测距。目前主动驾驶畛域通常是摄像头和激光雷达、毫米波雷达配合应用。繁多模式的环境辨认都会存在肯定的劣势。 2.定位环境感知技术次要是帮忙车辆获取路线情况信息，定位服务能够帮忙车辆获取到车辆所在的具体坐标，为车辆的决策布局提供根据。常见的定位系统有卫星定位、差分定位和惯性导航定位等。 2.1 卫星定位卫星定位是日常大家十分相熟的定位形式，常见的卫星定位服务有美国的GPS、欧洲的伽利略、中国的北斗导航等。这里多说一句，因为主动驾驶零碎一旦商用，所有车辆运行轨迹将被定位系统监控，所以出于国家平安思考，各国大概率将采纳外国的卫星定位系统。卫星定位的基本原理就是通过三角定位的计划，至多3颗卫星同时跟高空车辆连贯，就能够计算出精确的车辆坐标。 2.2 差分定位差分定位原理是确定一个参考站，参考站跟卫星产生通信，失去以后地位的误差，也叫做差分校对量。而后流动站就是汽车，通过差分校对量为汽车的实在定位做校对。差分定位是一种晋升GPS定位准确率的技术计划。 2.3 惯性定位惯性定位不依赖任何光电技术。仅依赖于汽车以后的加速度，通过积分能够取得车的下一时间段的位移，当车速较快的时候，惯性定位会是卫星定位的很好地补充。 3.V2XV2X（Vehicle to Everything）技术指的是车用无线通信技术，通过通信去连贯其余利用，从而衍生出V2R（Vehicle to Road）、V2I（Vehicle to Infrastruction）、V2P（Vehicle to Prestrian）。 3.1 V2RV2R技术指的是车辆间的通信，比方有一辆车要转向了，那么通过与前方车辆的通信，让前方车辆能够提前做避让。 3.2 V2I\V2P这两个能够放到一起介绍，V2I指的是跟一些红绿灯等设施的通信。V2P可能是与一些行人的手表、手机相干的通信。决策布局环境感知和定位次要起到的是确定外界环境状态的作用，为门路的决策和布局提供根据。在决策布局模块，次要解决的问题是车辆该怎么走的问题。这外面又分为两个方面，别离是门路的布局和行为的决策。 1.门路布局门路布局其实是高精度地图畛域的技术。传统的人驾驶模式，如果地图导航呈现了失误其实能够通过人肉修改。而主动驾驶时代，地图的准确性以及导航的准确性，将间接关乎安全性，所以主动驾驶时代的高精度地图技术十分重要。那么如何在高精度地图畛域做门路布局，其实就是求两点间最短门路问题。因为在主动驾驶技术成熟后，很可能乘客上车设置一个目的地就开始睡觉了，剩下路怎么走相干问题就依赖于汽车的门路布局。罕用的求最短距离的算法有Dijkstra、Floyd、A*、RRT算法等。在后续的文章将会逐渐介绍这些算法。 2.行为决策因为车辆主动驾驶问题不是繁多变量问题，车辆在模式的过程中既蕴含车自身的行为，也蕴含路线上其它行人、汽车的行为。所以行为决策次要蕴含两个方面，一个是车辆本人的模式决策，另一个是对于其它行驶车辆的行为的预测。 2.1 对交通参与方的预测对于交通参与方的预测能够通过多种算法来实现，构建一套静止模型的形式。然而有的人会问？路线上其它车辆减速转弯等行为是存在很大不确定性的，这种状况怎么构建预测模型呢。比拟罕用的解法是通过高斯噪声来代表交通参与者静止的不确定性，因为大部分参与方的行为肯定是遵从正态分布的，所以整个模型构建能够看作是一个高斯过程。对于交通参与方的行为和用意的预测，能够看作是一个动静的时序过程，能够用深度学习LSTM这样的循环神经网络解决相应的问题。 2.2 车辆本身的行为决策说回车辆本身，须要决策的指令集蕴含：行驶、跟车、转弯、换道、停车等。车辆如何做决策，或者做什么样的决策，须要放到一个场景上来判断。整体流程应该分为4个步骤，首先感知环境的变动，比方后方有车并道了，而后做场景判断，后方有车并道场景该调取什么样的模型做预测，最终的行为输入可能是加速或者本人并到另一个路线。这两头的判断过程还要思考其它车辆行为，以及是否合乎路线规章制度。每次行为的整体决策链路十分长，而且每一步决策相互影响，所以这种主动驾驶车辆行为决策的性能能够看成是一系列概率的加成，能够看成是马尔科夫决策过程。执行管制通过环境感知和决策布局之后，就到了执行管制的环节。如何将决策传递给车辆的性能部件，把油门、制动、转向、换挡指令落实，是制动管制的要害，也是规范的动力学原理。主动驾驶汽车目前比拟可行的计划是通过CAN电力总线去管制每个部件的行为，将指令通过电子信号传达到每个部件，这也是目前电动汽车的次要传感形式。CAN总线的关键环节是如何通过电信号将指令发送以及接管，另外就是工夫响应问题。这一套技术随着电动汽车的倒退，绝对比拟成熟，就不过多介绍。

关于自动驾驶:白话Septentrio-APME＋抗干扰技术

业内公认，Septentrio抗干扰技术牛，咱们国内客户的各种比测后果也验证了Septentrio产品在顽劣条件下体现最好。　Septentrio官网文章解释，他家的APME+技术，也就是多路径克制技术，是“在每个跟踪通道中采纳额定的相干因子估算伪距和载波相位测量的多路径误差。”。听着有点绕吧？咱说人话，就是他家设计的射频端大门比他人家非凡，更厉害更聪慧。它接管信号时，就只让脸熟的人进来，各种烦扰怪兽间接拦在了门外。市面上其余家的根本都是大门常关上，全都进来，再用更简单宏大的算法去解决信号。咱们先看看成果： Septentrio的RxControl利用中，关上实时监测，关上MPx工夫曲线图。君可见，多路径偏差，多呈振荡图形，振幅可达米级，如上面的 RxControl 屏幕截图所示。比照下APME+ 禁用时（蓝色）和启用时（绿色）伪距误差之间的差别，APME+ 使误差缩小二分之一以上。也就是说，过半的烦扰就这样间接被干掉了。 DGNSS模式时APME+对地位精度的影响（绿色的是APME+关上时）APME+ 特地适宜应答来自短门路烦扰的各种挑战。间隔小于20米的各种发射信号，延时很短，咱们叫他短门路烦扰，或者短延时多路径烦扰。 APME+在解决这些信号时，再次彰显Septentrio家的科研实力。参见下图，Septentrio家的APME+显示了最强悍的抗短门路烦扰的实力。　或者您会问，别家为啥不这样干呢？这种思路显著间接升高了后端的计算量，升高了能耗啊这就是技术实力的差距了。Septentrio是钻研机构出身，他们残缺经验了伽利略卫星的发射调轨等残缺过程，对卫星信号，轨道/钟差有最粗浅的了解，还是寰球监测电离层的惟一组织，他们对GNSS信号的相熟水平实实在在比他人家强啊。其余家的多路径烦扰技术的一个独特问题是它们不做过滤的关上整个门，也就是引入了“测量偏差”。他们随后须要修改剔除的问题信号太多太大了，甚至于误伤应该保留的卫星信号。这在高要求的用户眼里，就很难承受了。　更令钻研人员欣慰的是，APME＋对所有伪距和载波相位的多路径校对都显示在SBF音讯中。用户能够不仅能够看到APME+是怎么工作的，也能够抉择禁用或者还原未抗干扰的数据。参考文章https://www.septentrio.com/en...

关于自动驾驶:报名-美团技术沙龙第59期聊聊美团无人车配送的实践与挑战

美团技术沙龙由美团技术团队和美团科协主办，每期沙龙邀请美团及其他互联网公司的技术专家分享来自一线的实践经验，笼罩各次要技术畛域。 / 出品人 / 申浩，美团技术总监博士毕业于中科院自动化所，先后在联想、Intel和阿里从事智能机器人的钻研，17年退出美团无人配送部，研发了小袋无人配送机器人，目前为无人车高精地图和定位负责人。在CVPR、ICRA等发表论文十余篇，受权专利50余项。流动简介主动驾驶技术将来会对咱们的生存产生深远的影响。美团作为生存服务行业的领军企业，近几年始终致力于主动驾驶畛域的研发。美团无人车配送团队面向城市末端配送场景，以业务为驱动，深耕主动驾驶技术，率先在北京顺义公开路线发展无人车配送。本次技术沙龙，咱们将与大家分享无人车配送团队在主动驾驶相干技术方向所遇到的挑战和研发停顿。日程安排分享介绍申浩，美团技术总监收场：《美团无人车配送停顿与挑战》整体介绍无人车配送的背景、整体技术架构，以及以后的研发停顿。议题分享：《城市末端配送中的高精地图与定位技术》高精地图与定位作为无人驾驶的上游模块，通过离线高精地图制作和在线高精定位输入，为感知和布局管制模块提供路线场景先验信息，分享会介绍末端路线场景下高精地图和定位的时机和挑战，以及以后的研发停顿。史信楚，美团技术总监博士毕业于中国科学院，在IJCV，CVPR等期刊、会议上发表论文十余篇。目前在美团从事感知研发工作。《配送场景下的无人车感知技术》感知是无人车的“眼睛”，通过对传感器数据的解决，实现对无人车路线运行环境的了解，为上游布局决策提供根据。本次分享将从感知的技术特点和工作需要，在末端配送场景下的技术挑战等方面开展介绍。任冬淳，美团技术总监博士毕业于中科院自动化所。2020年入选北京市科技新星打算。2012年获北京市科学技术奖一等奖。在CVPR 2019，ICRA 2020和NeurIPS 2020障碍物轨迹预测比赛中均取得第一名。发表学术论文20余篇，受权发明专利50余项。《无人车行为决策与静止管制中的挑战与时机》无人车平安、安稳地行驶离不开感知定位模块对环境以及自车状态的精确、稳固感知，也离不开决策控制模块对自车行为的无效决策和精准管制。本次分享将从障碍物行驶轨迹/用意预测、行为决策、静止布局和静止管制四个方面开展介绍它们的挑战与时机。点击报名美团技术沙龙第59期：聊聊美团无人车配送的实际与挑战感激流动主办方：美团技术团队、美团科学技术协会地址地址：北京 · 望京东路 4 号恒基伟业大厦 C 座 1 层 · 星月 13 号咖啡地铁线路：望京东地铁站B口出，步行600米左右达到具体线路请看下图往期流动PPT及视频干货看这里美团点评技术沙龙目前已在北京、上海、厦门、成都等城市胜利举办了58场，吸引了3W+工程师报名参会，笼罩前端、后盾、零碎、算法、测试、运维等技术畛域，往期PPT及视频材料已整顿，咱们违心帮忙更多的同学在技术成长的路上一直狂奔！增加美美微信（MTDPtech05），回复关键字：605或“无人车配送”，即可退出流动微信群，与讲师、同行零距离交换。往期流动PPT及视频干货，请扫描下方的二维码，关注美团技术团队公众号（meituantech），而后通过【菜单栏】下的【技术沙龙】进行查看。

关于自动驾驶:百度集团资深副总裁李震宇Apollo开放平台打造全球最强自动驾驶量产引擎-助力车企造好车

2021年4月19日，第十九届上海国内车展在上海国家会展中心拉开帷幕。作为寰球当先的主动驾驶与汽车智能化平台，百度 Apollo 召开以“心所驭，智随行”为主题的新闻发布会。会上，百度 Apollo 乐高式汽车智能化解决方案全面亮相，其中智驾与智云两大产品迎来重磅降级。其中智云产品能反对车企疾速构建智能化能力，将本来须要至多7年能力实现的主动驾驶研发周期，缩短至6个月。百度团体资深副总裁、智能驾驶事业群总经理李震宇现场发表，百度 L4 级主动驾驶累积测试里程数冲破1000万公里，由 L4 级主动驾驶技术打造的车型曾经在北京、上海、广州三城，开启量产主动驾驶真体验“城市任我行”征程。往年年内，百度 Apollo 智驾区域将会笼罩20个城市的城市道路与高速路线，2023年前实现100城笼罩。李震宇还走漏，2021下半年百度 Apollo 主动驾驶将迎来量产顶峰，每个月都会有一款新车上市。这也意味着百度 Apollo 将再上一个新台阶，继续领跑汽车智能化赛道，用顶级主动驾驶实力定义寰球智能汽车新规范。 ▲ 百度团体资深副总裁、智能驾驶事业群总经理李震宇现场致辞 Apollo 智驾打造寰球最强主动驾驶量产引擎通过八年的研发与实际，百度 Apollo 未然成为寰球主动驾驶畛域的领导者，并胜利将前沿技术开释到汽车智能化畛域。Apollo 乐高式汽车智能化解决方案蕴含高品质、当先、凋谢、可组装的“智驾、智舱、智图、智云”四大系列产品，能够依据车企不同层级的智能化量产需要提供定制化解决方案，助力车企打造面向未来的智能汽车。此次上海车展，百度 Apollo 展出的乐高式汽车智能化解决方案外围产品之一 Apollo 智驾，正是基于 L4 级主动驾驶技术打造，是寰球最强的主动驾驶量产引擎。 ▲ Apollo 智驾计划现场演示具体来看，百度 Apollo 的寰球最强主动驾驶量产引擎具备以下三大劣势：首先，该引擎具备了全域驾驶自在能力。引擎蕴含寰球首个基于 L4 级主动驾驶能力的行车域解决方案 ANP 与寰球首个已量产的 L4 级主动驾驶泊车域解决方案 AVP，“双 A 计划”能让用户在城市道路场景和泊车场景实现驾驶自在；其次，该引擎中的 ANP 计划（全称 Apollo Navigation Pilot）是市面上最强的领航辅助驾驶产品。ANP 采纳纯视觉计划，与百度 Apollo L4 级主动驾驶来自同一技术架构，数据共生共享，能最大水平地保障 L4 技术降维开释的体验。与市面的激光雷达的计划相比，ANP 具备低成本、可量产、自学习等特点。 ▲ 李震宇发表 Apollo L4 级主动驾驶路测里程数据媒体发布会上，据李震宇介绍，Apollo L4 级主动驾驶路测里程曾经冲破1000万公里，百度成为寰球惟一一家实现千万公里级路测积攒的中国企业。此外，Apollo 的主动驾驶仿真测试里程冲破十亿公里，高精度地图分钟级更新、百城百万公里的笼罩……这些顶级主动驾驶能力铸造了 Apollo 最强的领航辅助驾驶产品。目前，Apollo 曾经在北京、上海、广州三城开启 ANP+AVP 量产主动驾驶真体验 “城市任我行”流动，用最强主动驾驶技术挑战中国简单的城市道路场景。 ...

关于自动驾驶:一文详解自动驾驶V2X车联网技术丨曼孚科技

主动驾驶零碎是一个高度简单的大零碎产业集成，车辆在多个子系统技术的加持下，实现不同水平的主动驾驶。中国汽车工业协会对主动驾驶汽车的定义为：主动驾驶汽车是搭载先进车载传感器、控制器、执行器等安装，交融古代通信与网络技术，实现车与X(人、车、路、后盾等)智能信息的替换共享，并具备简单环境感知、智能决策、协同管制和执行等性能，并最终可代替人来操作的新一代汽车。在主动驾驶整套零碎中，以V2X技术为根底的汽车网联化和路线智能化是实现主动驾驶的重要撑持。借助车-车，车与路测基础设施、车与路人之间的无线通信，能够实现实时感知车辆周边情况并进行及时预警，是主动驾驶零碎中的重要组成部分。本文将详解主动驾驶V2X技术的各层面内容。一、V2X概述 1.V2X技术的倒退历史 V2X的英文全称为Vehicle to Everything，即车用无线通信技术。其中V代表车辆，X代表任何与车交互信息的对象，X次要蕴含车、人、交通路侧基础设施和网络。简略来说，V2X是将车辆与所有事物相连接的新一代信息通信技术的统称。 V2X技术最早于2006年利用于凯迪拉克一辆展现的汽车上。从此以后，其余汽车制造商和汽车配套产品供应商纷纷开始钻研此项技术。但此阶段仅限于企业外部钻研。 V2X真正被提上日程，失去官网器重是起源于美国的两起交通事故。 21世纪初，美国新泽西州和弗罗里达州先后产生两起特大交通事故，导致被撞校车内的全副学生死亡。事变产生之后，美国国家运输平安委员会对事变进行了考察并提交了一份报告给美国公路交通平安管理局。该份报告中详细描述了事变产生通过，并认为如果事变产生时车辆上有能与其余汽车进行通信的零碎，那么这两起事变就可能被防止，这间接催生了车联网相干规范的制订，V2X技术的相干钻研进入快车道。 2010年，美国颁布了以IEEE 802.11P作为底层通信协议和IEEE 1609系列标准作为高层通信协议的V2X网联通信规范。在国外加大对V2X钻研力度的同时，国内相干机构也在同步跟进中。 2015年我国开始相干的钻研工作，2016年国家无线电委员会确定了我国的V2X专用频谱。 2016年6月，V2X技术测试成为第一家“国家智能网联汽车试点示范区”及关闭测试区的重点安排场景之一。 2017年9月，《单干式智能交通系统车用通信零碎应用层及利用数据交互规范》正式公布。 2.V2X的次要作用与主动驾驶技术中罕用的摄像头或激光雷达相比，V2X技术具备冲破视觉死角和逾越遮挡物获取信息的能力，同时也能够和其余车辆及设施共享实时驾驶状态信息，还能够通过研判算法产生预测信息。另外，V2X是惟一不受天气状况影响的车用传感技术，无论雨、雾或强光照耀都不会影响其失常工作。因而V2X技术广泛应用于交通运输尤其是主动驾驶畛域。二、V2X四类关键技术 V2X车联网集成了V2N、V2V、V2I和V2P共四类关键技术。 1.V2N(Vehicle to Network，车-互联网) V2N是指车载设施通过接入网/核心网与云平台连贯，云平台与车辆之间进行数据交互，并对获取的数据进行存储和解决，提供车辆所须要的各类应用服务。 V2N通信次要利用于车辆导航、车辆近程监控、紧急救济、信息娱乐服务等。 2.V2V(Vehicle to Vehicle，车-车) V2V是指通过车载终端进行车辆间的通信。车载终端能够实时获取四周车辆的车速、地位、行车状况等信息，车辆间也能够形成一个互动的平台，实时替换文字、图片和视频等信息。 V2V通信次要利用于防止或缩小交通事故、车辆监督管理等。 3.V2I(Vehicle to Infrastructure，车-基础设施) V2I是指车载设施与路侧基础设施(如红绿灯、交通摄像头、路侧单元等)进行通信，路侧基础设施也能够获取左近区域车辆的信息并公布各种实时信息。 V2I通信次要利用于实时信息服务、车辆监控治理、不停车免费等。 V2P(Vehicle to Pedestrian，车-行人) V2P是指弱势交通群体(包含行人、骑行者等)应用用户设施(如手机、笔记本电脑等)与车载设施进行通信。 V2P通信次要利用于防止或缩小交通事故、信息服务等。通过将“人、车、路、云”等因素有机分割在一起，V2X技术不仅能够撑持车辆取得比单车感知更多的信息，促成主动驾驶技术创新与利用，同时还有利于构建一个更加智慧的交通体系，促成汽车和交通服务的新模式新业态倒退。这对进步交通效率、节俭资源、缩小净化、升高事变发生率、改善交通管理具备重要意义。三、V2X两种无线通信技术从寰球来看，V2X车联网次要包含两种无线通信技术：美国主推的以IEEE802.11为根底的802.11p通信技术和我国主推的以挪动蜂窝通信技术为根底的C-V2X通信技术。 1. 802.11p通信技术 IEEE 802.11p(又称WAVE，Wireless Access in the Vehicular Environment)是一个由IEEE 802.11规范裁减的通信协定。这个通信协定次要用在车用电子的无线通讯上。 ...

关于自动驾驶:解锁华为云AI如何助力无人车飞驰新姿势大赛冠军有话说

摘要：在2020年第二届华为云人工智能大赛•无人车挑战杯赛道中，“华中科技大学无人车一队”借助华为云一站式AI开发与治理平台ModelArts及HiLens端云协同AI开发利用平台，进行无人车模型开发与部署，最终取得大赛冠军。 2020年6月15日，由华为云主办，上海交大协办的第二届华为云人工智能大赛·无人车挑战杯正是开赛。往年第二届华为云无人车大赛6月启动以来，共吸引了150+所国内外高校、近200个团队、800人报名较量，笼罩了上海交大、清华、北大、浙大、复旦、西安交大、哈工大等出名高校，报名高校是去年的三倍。华为云人工智能大赛·无人车挑战杯是在华为云人工智能平台（华为云一站式AI开发治理平台ModelArts、端云协同解决方案HiLens）及无人驾驶小车根底上，全面锤炼和进步赛队的AI解决方案能力及无人驾驶编程技巧的赛事。 9月25-26日，第二届华为云人工智能大赛 · 无人车挑战杯总决赛于华为全联接2020大会正式打响。在2020年第二届华为云人工智能大赛•无人车挑战杯赛道中，“华中科技大学无人车一队”借助华为云一站式AI开发与治理平台ModelArts及HiLens端云协同AI开发利用平台，进行无人车模型开发与部署，最终夺冠，取得20万处分（10万现金+10万代金券）。战队撰文分享其参赛体验，包含无人车较量的整体计划，多维数据处理及行驶管制的能力等。 1.较量背景第二届华为云无人车挑战杯大赛，相比第一届大赛，难度更大，赛道环境更加靠近实在的路线。在较量中，无人车须要从发车区登程，通过车道线循迹沿“8”字形赛道在不能压线和触碰挡板的条件下行走一周半后，精确地停入到停车区。在无人车行驶期间，须要实现交通信号灯辨认、斑马线辨认、机器人动静避障、挡板区循迹、限速/解限速标记辨认、精准停车等工作。无人车不仅须要完满无误地实现所有的工作，在速度上也有要求，在总决赛中，无人车须要在70s内实现所有工作，工夫加分项能力为满分。在较量中，华为云ModelArts一站式AI开发与治理平台，给参赛选手提供全流程的AI模型开发环境，助力参赛选手高效地实现检测工作中模型的训练，HiLens端云协同AI开发利用平台帮忙参赛选手疾速地实现模型在端侧设施上的部署和减速。华为云无人车挑战杯在由上海交大学生翻新核心智能制作实验室自主研发的无人车的根底上，联合华为云人工智能平台，全面锤炼和进步赛队的AI解决方案能力及无人驾驶编程技巧。图1‑1 华中科技大学无人车一队的后浪图1‑2 华为云无人车挑战赛总决赛现场 2.整体计划无人车较量整体解决方案如图2‑1所示，较量次要分为三个局部，ModelArts做模型的在线训练，HiLens Kit做模型的部署，无人车上工控机通过ROS将各个节点整合到一起，做无人车底盘的决策和管制。通过华为云ModelArts一站式AI开发与治理平台实现数据标注、模型训练、模型转换等工作，失去可供HiLens Kit前向推理的卷积神经网络的模型。HiLens Kit通过自带的相机采集图像，通过技能部署进行模型的前向推理和减速，HiLens Kit搭载着高性能的华为人工智能芯片昇腾310，针对卷积神经网络进行了优化，在模型的前向推理过程中可施展出弱小的算力。HiLens Kit实现交通灯、限速/解限速标记辨认、斑马线的指标检测辨认，通过Socket通信，将检测后果传给无人车上的工控机。无人车上工控机解决激光雷达的点云数据，做Slam建图和运行中的实时定位，工控机解决USB摄像头的采集的车道线数据，做车道线的辨认，再通过ROS将所有节点信息做整合，做底盘电机和舵机的决策控制。图2‑1 无人车较量整体解决方案示意图 3.ModelArts模型训练ModelArts是面向AI开发者的一站式开发平台，蕴含数据处理、模型训练、模型治理、模型部署等操作，并且提供AI市场性能，可能在市场内与其余开发者分享模型，其性能总览如图3‑1所示。在较量中，咱们通过ModelArts平台实现了数据标注、模型训练和模型在线转换等工作，并且通过ModelArts做模型的线上部署，测验模型的精度成果。图3‑1 ModelArts一站式AI开发平台性能总览 3.1任务分析本次大赛波及6类指标的检测辨认：红灯、绿灯、黄灯、限速标识牌、解限速标识牌、斑马线,如图3‑2所示。无人车在运行过程中，对指标采集的图像波及不同的视角和间隔，而且比赛场地光强未知，所以对于指标检测工作，要充分考虑到指标不同视角的刚体形变、不同间隔的尺度变动、不同环境光强的变动以及无人车运行中的静止含糊。无人车依据检测的后果做出相应决策和管制，对指标检测的精度要求很高，一旦误检或漏检，小车的管制就会出错，而且小车在赛道上疾速运行，所以对指标检测的速度也要求较高，一但小车看见指标，须要疾速输入检测后果。图3‑2检测辨认的6类指标 3.2数据标注数据标注采纳ModelArts中的数据管理性能，进入ModelArts平台的数据标注模块，创立数据集，抉择物体检测，增加标签集。既能够抉择手动标注，也能够在手动标注一部分后抉择智能标注，最终再批改确认智能标注。当数据集较大的时候，智能标注能够无效升高数据集标注的工作量。通过创立标注团队，将数据集调配给团队队员，团队单干放慢数据集标注速度。图3‑3 ModelArts数据标注界面 3.3数据加强咱们模型训练的数据集大部分来自HiLens Kit拍摄的不同环境下的视频序列，数据集中图像的反复比例较大，有必要将反复的图像做一些删除，对数据集做数据加强实现数据扩增，解决因为图像数据量较少带来的模型过拟合的问题。在较量中，咱们参考2018年的论文《Albumentations: fast and flexible image augmentations》开源的代码做数据集的裁减，开源代码网址：https://github.com/albumentat...。该我的项目对于数据的裁减采纳色彩空间变换、含糊、亮度调整、黑白、压缩、随机噪声等30余种数据裁减方法。因为咱们较量中要辨认的对象，色彩是很重要的一个特色，例如：红灯、黄灯、绿灯三种灯的色彩，限速标识的红色和解限速标识的彩色，色彩变动相干的数据裁减，会造成数据色彩特色的失落。红灯、黄灯、绿灯三种灯别离在左、中、右三个地位，交通灯亮的地位，也是辨别三种灯的很重要的特色。所以对数据集的裁减，去掉了色调变换和程度翻转的数据裁减方法。数据裁减采纳裁减办法级联的形式，如图3‑4所示，更大程度上，减小数据之间的相似性，减少图像数据的多样性，数据加强的成果如图3‑5所示。图3‑4 数据裁减办法级联形式图3‑5 图像数据加强成果展现 3.4模型训练通过数据加强，减小了数据之间的相似性，减少了数据多样性，最终选用了6031张图像数据做模型训练。模型训练咱们选用的是华为云AI市场外面基于TensorFlow框架的YOLOv3_Darknet53的网络。在训练时，采纳COCO数据集上的预训练模型，训练完后，通过模型转换性能将TensorFlow的PB模型转换成Ascend类型，以反对在HiLens Kit的Ascend 310 AI芯片上做模型推理。 YOLOv3是典型的一阶段的指标检测网络，图像输出为416*416条件下，COCO数据集上测试的mAP的分数为31.0，模型转换后在Ascend-310推理速度：17.8ms/pic，是目前速度和精度最为平衡的指标检测网络之一，其网络结构如图3‑6所示。图3‑6 YOLOv3_Darknet53网络结构图（摘自网络） YOLOv3采纳Darknet53作为backbone，Darknet53大量应用相似于ResNet的残差跳层连贯，从而能够加深网络的深度，特征提取能够提取出更高层的语义特色，并且为了升高池化带来的梯度负面成果，作者间接摒弃了pooling，用conv的stride来实现降采样，在这个网络结构中，应用的是步长为2的卷积来进行降采样。 YOLO v3中采纳相似FPN的上采样和特色交融的做法，在多尺度的特色图上做检测，大大增强了对小指标检测的精确度。YOLOv3采纳固定anchor对指标的地位做预测，图3‑6中输入的y1、y2、y3别离对应着32倍、16倍和8倍图像采样后果，32倍降采样的感触野最大，适宜检测大的指标，所以在输出为416×416时，每个cell的三个anchor box为(116 , 90)、 (156 , 198)、 (373 , 326)。16倍适宜个别大小的物体，anchor box为(30 , 61)、(62 , 45)、 (59 , 119)。8倍的感触野最小，适宜检测小指标，因而anchor box为(10 , 13)、(16 , 30)、(33 , 23)。 ...

关于自动驾驶:从哲学源头思考自动驾驶网络架构设计

摘要：本篇从哲学的角度论述主动驾驶网络架构设计的办法。主动驾驶网络要害在架构翻新，翻新不是漫无边际，毫无逻辑和实现可能性的瞎想，没有束缚和方法论的瞎想是民科干的事件。咱们要通过松软的架构设计办法，铺就一个通往愿景的路。上面讲的方法论既是一种常识，也是一种技能。通过常识学习能够更好的了解架构设计技巧。然而作为技能，却须要一直磨难能力把握。就像学游泳一样，没有常识你很难游好，然而你有了再多常识，进入水中一样不会游。 01 从哲学源头开始思考在讲架构设计之前，先学习点逻辑常识。先用一个例子帮忙大家了解一下什么是概念的外延以及语境的常识。咱们有时探讨问题常常整拧巴了，大家探讨不到一块去，很多时候是因为概念了解的不一样。讲个小故事，有一次我讲课时，说治理老外和治理中国人差不多，后果很多人拥护，感觉我不理解老外，而后讲了很多老外不同的中央，我反诘了一句，那中国人是不是治理形式就一样呢？当你从人的个别特点看老外的时候，其实大家都一样，都有七情六欲，都须要愿景，都须要尊重，都须要领导，都须要鞭策，这和中国人有啥不一样？人面对事件须要寻找共性能力高效解决。如果要寻找共性，那就麻烦了，这世界有齐全一样的人吗？昨天的你和明天的你是一样的吗? 我说老外一样的时候显然是在讲个别准则，而对具体的事件解决上，不止老外，其实面对每个个体，每个个体的不同时刻，都要辨别解决。而谈话时到底是指“个别准则”还是“非凡准则”，这个隐含的背景信息就是语境，语境个别在对话中并不呈现，而是靠沟通单方依据了解来主动补充。人对语境解决的能力十分强，然而对话有时语境了解会产生谬误，这个就是平时所说的沟通不在一个频道上了。软件开发要求逻辑十分清晰，特地是大型软件的架构设计更是如此，须要十分好的抽象思维能力，所以深刻了解逻辑办法很重要。在了解逻辑办法之前，首先要了解咱们说的主观世界就是由实体、实体属性和关系三种因素确定的。明确这三种因素，事物就惟一确定了。而软件世界其实就是实体世界的映像，所以也是这三种因素。我画了一张简图，先看一下，前面会用到。对于思维办法有比拟、分类、剖析、形象、概括、综合几种办法，在传统的哲学中，“比拟”办法个别和其余办法并列，其实不是这样的，比拟是最根底的思维过程，是“剖析”“形象”等其余办法的根底。人是通过比拟能力确定事物的边界的，而后依据边界进行划分类别，也就是“分类”。比方一堆杂粮你能够通过剖析看出有黑豆，红豆，绿豆，薏米，莲子，小米，大米等等，这个过程就是你对图像进行了一直比拟，找到图像的边缘，和记忆中图像比拟确定杂粮品种。只是对图像的比拟剖析都是用神经网络一瞬间实现的，人没有心理意识，而对形象事物的剖析过程是能够知觉的，你回忆一下，剖析事物过程是不也这样，就是不停的比拟各个状况。所以剖析就是通过不停的比拟，依据比拟后果对事物进行划分，合成出各种实体，实体属性和实体间关系。哲学上“形象”的办法了解也简略，实体不是有很多属性吗，比方人有人格特色，社会关系，生物等很多属性，生物属性上面还有状态和DNA等属性。形象就是依据须要抉择属性的过程，这种“须要”的了解有时就是单方的默契，如果预计沟通的时候没有默契就要明确形象到什么水平。例如刚开始我讲了老外都是一样的，我就是选了老外的人格特色属性，而疏忽了社会关系属性。我哪天说其实人和狗也一样，就是选了两种的生物属性的共性。要是哪天我说其实石头和人也是一样的，只有形象到质子和中子一级就行了。我要说明天的我的昨天的我不一样也行，因为想法和年龄都变了嘛。还是用一堆杂粮举例，通过剖析这个筛子把黑豆，红豆，绿豆，薏米，莲子，小米，大米这些米豆都离开了。形象的动作就像你认为小米和大米都不算细粮，只留了薏米，莲子、各种豆子。然而也有另外的形象办法，就是我只选能够解毒的细粮，那就只形象出绿豆了，其余就都是主要的了。所以形象什么不是相对的，而是依据须要进行的。形象往往和实质一词有关联，顺便说一下什么是事物本质属性。形象个别是依据须要把没用的属性去掉，只留要害的属性是，例如简笔画为了辨别梨和苹果，个别形象到形态就能分进去了，这种形象就够用了，然而如果哪天要画苹果梨（真有这种水果的），形态的形象就不行了，所以显然形态不是苹果和梨的本质区别。那是什么是这两者的本质区别呢，口味显然也不行，咱们当初能够改良品种搞成口味差不多。梨和苹果最实质的区别是他们的DNA不同。所以事物本质属性就是能形象到用于对事物进行分类的起码特色属性。总结一下，形象就是依据须要抉择属性和关系的思维过程。至于怎么抉择属性和关系、须要到什么水平，次要看理论场景了，这个才是难点。就像画画一样，颜料，笔，纸都一样，理工科的你画的和徐悲鸿画的那价值可是差远了。你画的能被大家看到观赏一下曾经很不错了，徐悲鸿一张画就够个别人奋斗一辈子，这就是差异，是吧！如果形象的对象是像苹果一样的实物，你能够辨认出画的苹果的，画的最形象的状况下就是一个简笔画。如果把形象后果和语言符号连接起来，就成了概念“苹果”这个词了。而如果形象的对象是像文章这种自身也是形象的和简单的，那么这个过程咱们能够称作概括办法。换一句话说，“概括”就是一种非凡的形象。刚刚讲的办法都是把事物合成开的办法，那么“综合”是反过来的过程，是把各个局部组织起来进行思维的办法。综合不是各个局部的简略相加，而是一种再加工过程，会产生从各个局部别离看无奈生成的新常识来。不晓得大家看油画时有没有留神到，你走进油画细看，就是一些色块，看不出啥货色来，然而走远一点，看到全貌的时候，一副栩栩如生的画就呈现了，这个就是综合。综合思维在底层用到了“比拟”和“顿悟”两个思维办法。 0 2业务建模办法2.1 如何做业务形象建模了解了看起来哲学看起来很High的思维办法，咱们开始探讨业务建模办法了，业务建模的实质就是对业务进行形象和重构。先看一下建模过程简图，之后我再关上讲。 2.1.1 业务形象与分类理论业务建模过程可分为以下几个步骤：第一个步骤就是堆砌资料，很多人了解业务有点不晓得怎么动手，其实也很简略，就是到处收集资料，有几类：曾经有的框架，前人的智力成绩必定要参考的。通用常识，能够帮忙了解背景。如下图的7P类材料，这是援用我以前写的一个业务调研框架。这些资料拿到后先通读一遍，有个大略印象，等须要时再细读。第二个步骤就是对业务性能进行形象，确定思考最大的思考框架。比方主动驾驶网络须要哪些大的性能。第三个步骤是在框架下分类，分类维度能够依照：工夫，空间，人际，业务类型等合成。这个步骤先不必做细，大略分分，便于进一步进行思考。现存的业务性能个别都是相互穿插的，你中有我，我中有你。这种状况有时就是没想分明引起的，有时是环境变动引起的。比方以前能够说西红柿是蔬菜，然而新的圣女果西红柿却变成水果了，严格讲就不能再说西红柿是蔬菜了。当存在这种穿插时就要进一步细分维度，只有足够细分维度，事件最终总是能够找到MECE（相互独立，齐全穷尽）可分的维度。西红柿分类这个就比较简单了，当前给小朋友介绍时就变成传统西红柿是蔬菜和圣女果西红柿是水果了。这个过程最重要，肯定要把所有穿插去掉。第四个步骤，再进行形象，把一些不要害的内容去掉。下面这些过程要迭代好屡次，重复提炼才行，通过这个过程个别就比拟清晰了。 2.1.2 组件建模形象完之后下一步工作就是按最简洁准则对分类进行聚类，聚类要思考将各类别对立到一个档次上，并对聚类进行命名便于管理。最初再辨认一下各个聚类间关系，造成关系图。还是用杂粮举例。咱们开始会把分进去的黑豆，红豆，绿豆，薏米，莲子别离打包。然而这样分类比拟多，卖的时候不好介绍。这时感觉黑豆，红豆，绿豆作用差不多，就再对立打成一个豆类的大包，和薏米、莲子包并列，就成了上面状况。黑豆，红豆，绿豆合并的过程就是一种聚类。这样介绍起来就清晰一点。 2.1.3 零碎重构下面分类打包完了如果要卖，显然要看看是不是和市场匹配了，如果不适合还要调整关系。比方豆子打包后发现绿豆有消毒的非凡性能，能够多卖钱，这个时候就要把绿豆拿进去独自卖。这个就是零碎重构了。 2.2 业务形象的技巧-角色扮演办法当一个非常复杂的业务要做业务梳理时是艰难的，要害是波及的货色太多了，如果真要从各种细节理解起，那工作量是不可接受的，而且最初成果还不肯定好。这个时候就能够应用角色扮演办法，这个也是通用的学习办法，能够高速的把握一个畛域的新常识。具体过程就是在理解事物前，不焦急从理论动手，而是依据教训先自我设计一个框架，再依据假如框架去对照理论事物，如果统一就阐明了解正确，如果不统一就找到起因，这样既能够疾速理解业务，又能够发现现存的问题。这个是了解事物的一个十分快捷的办法。 2.3 业务梳理工具XMind梳理业务必定要有一个适合的工具。我常常用XMind。XMind能够导出各种丑陋的图，然而这个工具最大的作用是不便的进行属性和关系调整，对简单的事件人一下子可能很难想分明，所以能够把所有想法都列到工具里，而后缓缓进行逻辑调整，这样会保障效率。 0 3如何进行架构设计3.1 架构设计过程在设计架构前首先晓得啥是架构，很多人个别把架构设计等同于软件架构设计，不过我这里把架构范畴略微扩充一点，把IT，流程，组织这类比较复杂的零碎都纳入架构设计的范畴，因为这三者往往是相互关联的。不过很遗憾的是，只管很多人都谈架构，我却没有找到一个很好的架构定义。套用一句对于大数据的笑话，放在架构上也实用： Architecture is like **age sex，everybody talks about it，nobody really knows what is it 本文借鉴TOGAF架构定义，从新进行了定义：架构：是简单零碎组织模式的形象形容，包含零碎外部的组成模块，外部模块之间的关系及零碎与环境之间的关系。架构设计：是为了满足零碎的业务应用需要，在业务价值空间、历史积攒、架构倒退的束缚下，通过业务形象、组件建模、零碎重构形式构建架构，使零碎的稳定性，灵活性，可演进性，老本实现具备最优解的过程。输入包含设计准则，架构和演变准则三个局部。架构的设计的需要了解，业务建模办法在后面的大节中曾经讲过了。上面再讲讲我对设计束缚和架构师要求的了解。架构不是凭空进去的，架构要思考能不能实现和实现的代价，我刚刚买了一个智能音箱，发现音箱的音量调节逻辑很乱，我倡议做音箱的兄弟把音量调节和应用场景绑定。这样从应用界面看最简略。但架构要不要这样做呢？架构师这个时候就要思考关键点，因为音箱的音量能够在不同中央调节，如何放弃各软件音量状态统一，就须要底层反对。他就肯定要理解底层的实现能力，如果是以前的android版本，实现这个性能可能很艰难，界面好用也得舍弃，而如何新的服务架构可能会反对，就值得试试，有艰难也能够冲破一下，所以架构设计肯定是在充沛了解零碎能力的根底上的一种取舍。还有架构设计也肯定要思考将来架构的稳定性，比方咱们有的大型软件系统在服务化曾经成为显著趋势的状况下还是采纳了传统架构，干了几年后有不得不从新进行服务化设计。所以软件架构设计就要综合架构不同设计的收益大小，历史的积攒状况，架构的将来倒退几个因素综合思考。架构设计还是很简单的，有时候就是一种艺术，须要各自均衡。如果想干架构师，那么有几个特点就不能少了。一个是凋谢，不能按部就班，啥事看看老祖宗咋说，没本人的见解必定不行。一个是要有洞察力，晓得去粗存精，不能眉毛胡子一把抓，把架构越搞越简单。业务也要精通，要长于学习，要常识多，常识越多思考越全面。作为架构师不得不既懂业务，又懂软件。不然没法做出很好的设计。架构设计师是十分要害的角色，往往决定了软件应用生死，承当如此之重的责任，大家会有疑难，那这么牛的人不是很难找？其实齐全不必放心，架构设计说到底还是工程型问题，不像相对论除了蠢才谁也搞不了。这世界搞工程型问题的人才济济，不可能找不到的，只是看怎么找，给多少钱的问题。当然还有另外的放心，那老本会不会很高，其实也不必放心，架构师人数要求也很少，绝对零碎的老本并不高，所以苹果才会全力以赴找最优良的人才。 3.2 业界的架构设计办法下面讲了最个别的架构设计的框架，上面这个ADM（Architecture Development Method）是TOGAF（The Open Group Architecture Framework）的企业架构设计办法，是The Open Group在美国国防部信息管理技术架构的根底上公布的，十分欠缺和具体，很值得学习。 ...

关于自动驾驶:自动驾驶的昨天今天与明天丨曼孚科技

1769年，法国人N·J·居纽设计制作出了一辆三轮车，这被公认为汽车倒退的终点。与古代汽车不同是的，这辆被命名为“卡布奥雷”的载具由蒸汽驱动，通过车载锅炉产生的热气推动车轮转动。因为体型过大(车长7.32m，车高2.2m)且极不实用(每后退12-15min需停车加热15min，运行速3.5-3.9km/h)，这辆汽车并没有投入商用。尔后的一百余年里，各国发明家利用蒸汽能源，先后设计出了多种不同类型的蒸汽汽车，并广泛应用于铁路与船舶运输畛域。 1885年10月，真正古代意义上的汽车由德国人卡尔·本茨(1844～1929)研制成功。与以往汽车不同，卡尔·本茨研制的汽车由内燃机驱动，彻底解脱了蒸汽机功率体积比、功率分量比拟小的毛病，一举奠定了古代汽车设计的基调。进入20世纪80年代，汽车已成为一种必需品，走进千家万户的日常生活中。所利用的技术也历经了屡次改革，逐步步入电子化、智能化时代。时至今日，在环境感知、精准定位、决策与布局、管制与执行、高精地图等技术的加持下，主动驾驶技术开始成为整个汽车产业的最新倒退方向，并在某些畛域获得了不错的利用成绩。本文将从主动驾驶技术诞生开始，具体介绍主动驾驶的“昨天、明天与今天”。一.昨天：摸索与技术积攒 1.国外的摸索 1939年，整个世界处于经济大萧条后的恢复期，所有处于百废待兴之中。同年4月，作为科技界盛会的世博会在纽约正式揭幕。展会期间，通用汽车公司建筑了一座名为“将来世界(Futurama)”的模拟城市展厅，用于展现他们对将来交通状态的空想。在模拟城市中，设有一个专门的交通管理核心，用于指挥解决城市交通。城市外部运行着322辆各类型汽车，这些汽车均装备了独立的声音零碎。所有路线与交叉路口都依照新的交通环境进行了从新设计，整体上造成了一个全新的高速公路体系。通用汽车在这座模拟城市的根底上，提出了对后世影响深远的主动高速公路(Automated Highway System，AHS)的概念，并做出了“20世纪60年代，高速公路将具备电子轨道，与汽车的主动驾驶零碎相配合，实现无人驾驶，直到驶出高速公路才切换回司机驾驶”的预言。值得一提的是，通用汽车在Futurama高速公路体系中，还提出了以下四条根本准则： 1)通过减少路线的横截面积，来包容更多的交通流; 2)不同方向的交通流须要隔离开来; 3)将城市和小镇划分成不同的区域; 4)预设能够行驶的最大速度与最小速度，来进行交通管制。以上这些准则目前曾经成为交通行业的共识。纽约世博会完结后，因为第二次世界大战等因素的影响，主动驾驶畛域没有产生任何具备代表性的成绩。直到1956年，在Motorama展览会上，通用推出了第一款具备主动驾驶性能的概念车Firebird II，主动驾驶畛域终于迎来新的倒退。这辆被命名为“Firebird II”的汽车，是通用面向家庭的第二代概念汽车，应用了钛金属技术、电源盘式制动器、磁点火钥匙、独立管制的燃气涡轮能源等新概念，看上去像是一辆“火箭车”。这辆看似 “火箭” 的概念车有史以来第一次具备了主动导航系统。两年后，也就是1958年，通用推出了第三代“Firebird III”。BBC 现场直播了基于车路协同的主动驾驶场景，高速公路上预埋的线缆与车端的接收器通过电子脉冲信号进行通信，展现了将来高速公路的无人驾驶状态。不过，通用推出的三代Firebird都因为各种各样的问题而没有商用，Firebird更像是一个技术概念验证品，而非主动驾驶汽车。广泛被人认可的第一辆“主动驾驶”汽车是Stanford Cart(斯坦福车)。它最早建于1961年，由汉斯·莫拉维克(Hans Moravec)团队研发。 Stanford Cart 汉斯·莫拉维克被誉为“人工智能最动摇的支持者”，在他的领导下，“斯坦福车”获得了诸多成就，比方能够利用摄像头和晚期的人工智能零碎来绕过障碍物。值得一提的是，在“斯坦福车”研发的过程中，还呈现过一件趣事。“斯坦福车”由近程图像操控，然而有一次它逃脱了管制，驶入了事实的路线中。当研发人员从监视器中看到一辆实在的车辆从 “斯坦福车” 边上呼啸而过时，不禁地大吃一惊，于是追捕“叛逃机器人”成为人类摸索主动驾驶历史上，永远值得铭刻的一刻。不过，尽管“斯坦福车”获得了很多成就，但也存在很多问题。受限于过后的硬件与软件程度，晚期人工智能零碎处理速度太慢，导致“斯坦福车”每挪动一米就须要20分钟，这也意味着它并不具备任何商业应用的后劲，主动驾驶之路依然处于初期摸索之中。工夫进入到二十世纪六七十年代，随着软硬件条件的改善，尤其是计算机技术的倒退，主动驾驶钻研进入到一个新的阶段。 1969年，人工智能畛域出名学者约翰·麦卡锡在一篇名为《电脑管制汽车》的文章中，形容了与古代主动驾驶汽车相似的利用场景。麦卡锡提出的想法是，“主动司机”能够通过“电视摄像机输出数据，并应用与人类司机雷同的视觉输出”来帮忙车辆进行路线导航。他在文章中具体解释道，用户能够输出目的地，来驱使汽车主动返回预设地点。同时也会存在额定的命令，能够让汽车主动扭转目的地，例如在特定地位停留，或者能够在紧急情况下平安制动。从后世角度来看，主动驾驶技术的倒退与麦卡锡所形容的场景根本吻合。学者们的发声，在不同水平上也引起了国家层面的器重。20世纪70年代，泛滥科技发达国家开始器重主动驾驶技术的钻研。 1984年，美国国防高级钻研计划署(DARPA)与陆军单干，发动自主高空车辆(ALV)打算，这辆汽车能够在校园中主动行驶，不过车速并不快。国家层面的器重，也带动了科研院校的关注。20世纪80年代开始，美国大学诸如卡内基·梅隆大学、斯坦福大学、麻省理工学院等开始退出到主动驾驶汽车的钻研工作中。其中，以卡内基·梅隆大学研制的NavLab系列智能车辆最具备代表性。 NavLab-1零碎于20世纪80年代建成。它能够实现图像处理、传感器信息交融、门路布局以及车体管制等性能。在典型结构化路线环境下，NavLab-1零碎的速度为28km/h。 NavLab-1 尔后的几十年间，NavLab又历经了屡次技术更迭，目前NavLab-11零碎是该系列的最新平台。其车体装置有工业级四核计算机，解决各种传感器传输来的信息，并把信息分送到各个子单元，最高车速能够达到102km/h。 2.国内的摸索相较于国外，国内学术界对于主动驾驶的钻研稍晚，但也获得了不错的成绩。 1978年，清华大学齐国光传授课题组开始钻研主动驾驶相干课题。国内第一辆主动驾驶汽车是90年代初的ATB-1(Autonomous Test Bed-1)，由北京理工大学、南京理工大学、国防科技大学、清华大学和浙江大学五家单位联结研制，这些院校起初成为了中国主动驾驶人才的摇篮。 3.小结从20世纪30年代主动驾驶诞生至20世纪末期，无论国内还是国外，对主动驾驶都处于初期的钻研以及技术积攒阶段。参加的主体次要以学者、学术机构和政府为主，商业机构较少涉足该畛域，主动驾驶间隔商业化利用遥遥无期。二.明天：商业化摸索与实际国外的摸索进入21世纪，得益于人工智能技术的利用及推广，主动驾驶相干技术在环境感知、精准定位、决策与布局、管制与执行、高精地图与车联网 V2X 等方面实现了全面晋升。越来越多的商业化机构开始参加到行业中，主动驾驶行业迎来新篇章。 ...

关于自动驾驶:特斯拉开发Dojo神经网络训练计算机CMU-新实验改善机器人知觉

一分钟速览！ l 特斯拉开发Dojo神经网络训练计算机后者是性能野兽 l 高通骁龙芯片存在 400 多个破绽，影响寰球超 40% 机型 l 策略单干：携程外围供应链接入京东 l 英特尔 11 代酷睿实现 “跨代式”晋升：低电压下可达更高频率 l 英伟达收买Arm交易最快夏末实现后者价值约440亿美元 l 几行代码即可高效创立数据集，谷歌开源 TFRecorder l CMU 钻研人员摸索声音以帮忙改善机器人知觉 l 谷歌开源 chromeOS.dev，在 Chrome OS 上构建利用更轻松 l ACL 2020 | 基于不同硬件搜寻更好的Transformer构造 l ECCV 2020 Spotlight | 图像定位上的细粒化区域相似性自监督 l ECCV2020｜显著改善宰割预测，ETH开源基于情景图贮存网络的视频指标宰割【行业要闻】 1、特斯拉开发Dojo神经网络训练计算机后者是性能野兽 8月16日音讯，特斯拉CEO马斯克日前在社交网络上示意，公司正在开发一种称为Dojo的神经网络训练计算机，以解决大量的视频数据。马斯克称，Dojo就像是一头真正的性能野兽。在去年的主动驾驶开放日（“Autonomy Day”）上，马斯克曾示意，Dojo指标是可能接管大量数据并在视频级别进行培训，并应用Dojo程序或Dojo计算机对大量视频进行无监督的大规模训练（unsupervised massive training）。 2、高通骁龙芯片存在 400 多个破绽，影响寰球超 40% 机型网络安全供应商 Check Point 示意，该公司在一项代号为“Achilles”钻研中，对高通骁龙的数字信号处理（ Digital Signal Processing，DSP）芯片进行了宽泛的安全性评估。后果发现，该芯片中存在 400 多个易受攻击的代码段。这意味着，寰球市场上有超过 40% 的设施（波及谷歌、三星、LG、小米、一加等安卓手机）将受到该破绽影响，面临被黑客入侵的危险。DSP 芯片是手机中的一种辅助芯片，次要负责解决音频、视频和图像数据；呈现在大多数古代手机中，并随高通的骁龙处理器一起提供。 ...

关于自动驾驶:Cypress-FRAM在自动驾驶汽车中发挥作用

新兴的铁电随机存取存储器（FRAM）是否在主动驾驶汽车中发挥作用？赛普拉斯串行非易失性存储器系列，以满足要害工作数据捕捉的性能和可靠性要求。赛普拉斯Excelon（FRAM）产品线是专门为主动驾驶汽车所需的高速非易失性数据记录而设计的。更宽泛地说，FRAM系列产品可利用于宽泛的高级汽车和工业利用中。cypress代理商英尚微电子反对提供技术领导以及产品利用解决方案等产品服务。 Excelon Auto系列提供2Mb至4Mb的汽车级密度，而Excelon Ultra系列提供4Mb至8Mb的工业级密度。两种系列均提供低引脚数及小封装选项。Excelon Auto系列提供AEC-Q100扩大温度选项，合乎性能安全性（ISO 26262）。这是市场上第一个合乎性能平安规范的NVRAM，它的确专一于汽车市场的平安要求。 Excelon Auto和Ultra均用于自动化零碎中的事务记录。这不是一个新的应用程序。例如在工厂车间，机械手须要在产生电源故障的状况下存储其动作的内存，以便它能够从完全相同的地位从新开始。在较早的设施上，通常应用动态ram来实现此工作，并应用电池进行备份。电池自身是零碎中最不牢靠的局部。那就是对非易失性RAM的需要。 FRAM简直能够提供有限的耐力。它实际上是一个SRAM，因为您永远不会使单元耗尽。它还以非常低的功耗进行写入，并且其数据保留能力优于所有其余技术随着物联网（IoT）设施的爆炸式增长，赛普拉斯（Cypress）预计，到2020年，将近70％的市场将是工业物联网，并且须要数据记录性能。赛普拉斯的新FRAM系列包含具备2Mb至4Mb汽车级密度的Excelon Auto系列以及具备4Mb至8Mb工业级密度的Excelon Ultra系列。两种系列均提供低引脚数和小封装选项。工业4.0正在推动赛普拉斯在工业零碎中的倒退，它在两个两头堆栈中起作用，这两个两头堆栈是工厂的车间以及行将产生的端到端或机器对机器通信的更改。现场级的多种设施将管制工厂和车间中产生的事件。无论是传感器，执行器还是小型机器，它们都会发送管制信号，以管制工厂自动化机器中产生的事件。赛普拉斯是目前摸索FRAM利用的极少数公司之一。它在汽车制造商的事件记录器中的应用与1970年代为旧金山BART列车建设无人驾驶控制系统所做的致力没有什么不同。从技术的角度来看，事件记录是FRAM的现实之选。无论是否迅速采纳主动驾驶汽车，事件数据记录器依然存在需要。只管看起来扩展性不是很好，但FRAM看起来的确是一个很好的应用程序。不须要很大的内存；只须要记录汽车翻滚前的10秒钟。可能会一直笼罩它，直到产生某些事件为止。疾速的写入速度也使FRAM在工业和医疗利用中具备吸引力。对于后者，其辐射耐受性也很有吸引力。其余用处还包含可用于公共交通零碎的可重装票价卡，因为它们不须要大容量。这极大地限度了市场规模，但它依然可能是一个十分有利可图的利基市场。

Lyft-发布最大-L5-自动驾驶预测数据集

Lyft 近日发布了一个 Level 5 级别的自动驾驶预测数据集，包含了超过 1000 个小时的驾驶记录。此外，公司还发起自动驾驶运动预测挑战赛，奖金池 3 万美金。 Lyft 又发布了新的数据集。去年 7 月，Lyft 发布了 L5 级别自动驾驶感知数据集，包含超过 5 万 5 千个由人类标记的 3D 注释帧。当时官方称作是目前同类产品中最大的公开数据集。这才刚过去一年，Lyft 又发布了一套 L5 级别的自动驾驶预测数据集。申请下载地址点击这里 17 万个场景，2500 多公里道路数据Lyft 此次发布的数据集侧重于运动预测。官方表示，自动驾驶领域长期研究的一个问题是，创建足够健壮和可靠的模型，来预测交通运动。这些数据是由 23 辆自动驾驶车辆组成的车队，在加州帕洛阿尔托的一条固定路线上收集的，历时 4 个月，包含遇到的汽车，行人和其他障碍物的行驶日志。该数据集具体包括： 1000 个小时：超过 1000 个小时的自动驾驶汽车移动记录；17 万个场景：每个场景持续约 25 秒，包括交通信号灯、航拍地图、人行道等；16000 英里：来自公共道路的 16000 英里（约合 2575 公里）数据；15242 个注释图：包括已标记元素的高清语义图以及该区域的高清鸟瞰图。数据集中鸟瞰语义图示例这些运动数据由安装在 Lyft 车顶的传感器组收集，当车辆行驶数万英里时，传感器组会捕捉激光雷达、摄像机以及雷达数据。数据集中，每个场景在给定的时间点编码了车辆周围的状态，红色为自动驾驶汽车，黄色为其他车辆 Lyft 表示，该集合与提供的工具包一起，构成了迄今为止最大、最完整、最详细的数据集，用于开发自动驾驶，机器学习任务，如运动预测、规划和仿真。目前，该数据集只开放部分子集下载，包括：样本数据集（53 MB）训练数据集（分三部分，共 69.4 GB）鸟瞰图（2 GB）语义图（2 MB）下载地址： ...