GoodMai 好买网
随着人工智能时代的降临，相应的芯片产品和行业也产生了相应的新方向。
在人工智能的各个分支中，机器视觉无疑是利用最宽泛的方向，它撑持着诸如人脸检测、工业异样检测、手势辨认等诸多重要的利用。顾名思义，机器视觉是应用机器学习 / 人工智能的办法来剖析视觉信号，并且通过人工智能间接产生剖析后果。因而，机器视觉人造就须要一个图像传感器来作为输出信号，而随着机器视觉和人工智能的逐步倒退，机器视觉与图像传感器芯片的联合成为 ” 智能图像传感器 ” 也是适应了技术倒退的脉络。
如果咱们进一步剖析智能图像传感器，咱们认为又能够分为两类。第一类是图像传感器与人工智能计算相结合，即图像传感器模组除了能够输入图像之外，还能够间接输入人工智能算法计算的后果。这样的智能图像传感器咱们能够称之外 ” 人工智能赋能的图像传感器 “，它们往往能做到十分低功耗的人工智能剖析，因而在物联网和可穿戴式智能设施中有重要利用。
而另一类智能图像传感器则是为人工智能利用专门设计的图像传感器，其输入的内容和形式往往与传统的图像传感器有区别。这类智能图像传感器能够称之为 ” 为人工智能赋能的图像传感器 “。这类图像传感器中的一种重要图像传感器是事件驱动传感器，它冲破了传统图像传感器固定帧率的个性，从而能够为一些重要的工业和智能车利用提供撑持。
当然，咱们也能够预期会呈现同时联合上述两类个性的智能图像传感器，为各类人工智能利用提供硬件反对。目前，Sony 是在智能图像传感器畛域布局最多的巨头，同时咱们也看到了一些初创公司在这个方向继续地摸索新的技术和利用。
人工智能赋能的图像传感器
如前所述，图像传感器为机器视觉这一最重要的机器视觉利用提供输出信号。在传统的机器视觉芯片解决方案中，图像传感和人工智能算法的运行在不同的硬件上实现，图像传感器提供图像信号，而处理器或者 AI 减速芯片执行人工智能算法。然而，这样的做法在强调低功耗和能效比的挪动端或 IoT 智能设施中，将会造成能量的节约，并且难以解决一些须要常开（always-on）的利用场景。
举例来说，如果拿目前风行的手机端机器视觉解决方案来说，通常的做法是，手机 SoC 中的主处理器 AP 关上图像传感器，图像传感器将图像信号发送给 SoC，并且由 SoC 中的处理器，或 GPU，或 AI 加速器来跑人工智能算法，并且输入后果。在这个过程中，能效比有几个瓶颈。首先是图像传感器必须把图像传送给 SoC，这期间须要应用 MIPI 等接口，存在额定功耗开销。其次，是 SoC 在整个过程必须处于唤醒状态，还通常必须运行整个操作系统，因而即便 AI 加速器能以很高的能效比运行算法，然而整个过程中能量消耗最大的局部可能并不是人工智能算法，而是 SoC 处于唤醒状态并且运行整个操作系统带来的额定功耗。
这样的功耗开销在手机端只须要偶然运行机器学习的场景或者可行，然而在 IoT 和可穿戴设施中，尤其是须要执行常开式机器视觉算法的场合，就成为了瓶颈。
人工智能赋能的图像传感器就能够解决这个问题。具体来说，这样的智能图像传感器在图像传感器模组中集成了人工智能算法的运行模块，因而能够间接输入机器视觉算法的后果，而这样运行机器视觉的办法也常被称为 ” 传感器内运算（in-sensor computing）”。通过传感器内计算，机器视觉算法的运行单位从 SoC 换到了图像传感器，因而在运行机器视觉算法时，SoC 无需处于唤醒状态，也无需运行操作系统，而是能够处于低功耗的待机状态。另一方面，传感器内运算因为整个零碎比较简单，并没有运行操作系统等额定开销，并且有为机器视觉算法量身定做的加速器芯片模组，因而能效比能够做到很高。最初，在接口方面，通常能够实现由智能图像传感器在检测到重要输入时才去以中断的形式去唤醒 SoC，并且只须要传递机器视觉算法运行的后果，因而数据传输的开销也大大降低了。
在人工智能赋能的图像传感器中，Sony 曾经于去年首先公布了带有传感器内计算性能的智能图像传感器 IMX500，可望应用在各类须要低功耗高性能边缘机器视觉利用的畛域。除此之外，Sony 还公布了相应的开发平台 Aitrios，能以订阅服务的模式为用户提供用于智能图像传感器的模型开发和部署服务。
赋能人工智能的图像传感器
另一类新的智能图像传感器是能够赋能人工智能机器视觉的图像传感器。在传统的图像传感器中，帧率是固定的（通常在数十到上百帧每秒），即无论内部条件如何，图像传感器都会以同样的频率采集图像并且传输给机器视觉算法。然而，在工业检测（如振动监测）和智能驾驶等利用中，固定帧率失去的图像并不是最优化的图像采集形式。具体来说，工业检测和智能驾驶中，机器视觉最关注的是事件；当没有产生任何事件（例如，图像没有变动）时，即便以很低的帧率采集图像甚至不采集图像都能够。然而，当产生事件时（例如工业检测中机器开始振动，智能驾驶中呈现来车），应用数十帧每秒的帧率又显得不够，而心愿以千帧每秒甚至更高的帧率去采样。
在这种需要中，事件驱动视觉传感器就是一种为机器视觉专门赋能的新智能图像传感器。顾名思义，事件驱动视觉传感器关注 ” 事件 “，因而在检测到相干事件产生时，能够以十分高的帧率（1000-10000 fps）来采集图像，而在没有事件产生时，则能够以很低的帧率采样以降低功耗。
在传感器巨头畛域，Sony 在事件驱动传感器畛域布局最多，在一年多前收买了瑞士的相干初创公司 Insightness，而三星也在踊跃研发相干技术，并且在 ISSCC 等顶级芯片会议上发表了相干钻研论文。初创公司畛域，事件驱动视觉传感器畛域最重要初创公司是法国公司 Prophesee，该公司目前曾经取得了来自博世、Intel、华为等业界巨头总计近七千万美元的投资，并且与各大公司进行单干。在往年九月，Prophesee 更是和 Sony 强强联手推出了 IMX636 和 IMX637，预计在将来咱们会看到更多这样的事件驱动视觉传感器呈现在市场上，为各类新机器视觉利用赋能。
智能视觉传感器的中国力量
在智能传感器畛域，随着人工智能的倒退，咱们认为中国芯片公司也将会在这个畛域越来越沉闷。
首先，从图像传感器总体畛域来说，中国领有图像传感器畛域在寰球市场仅次于 Sony 和三星的韦尔半导体，因而中国在这个畛域的根底并不落后。
其次，在人工智能芯片畛域，中国领有寰球最沉闷的初创公司生态，同时也有来自国家的大力支持，因而咱们认为将中国半导体行业在人工智能畛域的劣势和图像传感器畛域的积攒联合起来并推出人工智能赋能的图像传感器产品只是工夫问题。例如，最近中国的初创人工智能芯片公司时识科技（Synsense）和前述的法国公司 Prophesee 达成了单干将把时识科技的低功耗人工智能芯片技术和 Prophesee 的事件驱动图像传感器技术集成以实现超低功耗边缘端机器视觉解决方案，置信将来会有更多的中国公司之间的单干以推出中国本人的智能图像传感器。
最初，在事件驱动传感器畛域，韦尔半导体也收买了中国的相干初创公司芯仑，咱们将来也期待中国公司能在相干畛域推出产品以满足机器视觉的需要。
好买网（www.goodmai.com）IT 技术交易平台
- 免责申明：本文由作者原创。文章内容系作者个人观点，半导体行业察看转载仅为了传播一种不同的观点，不代表半导体行业察看对该观点同意或反对，如果有任何异议，欢送分割半导体行业察看。