Edge AI 是什么？它为何如此重要？
传统意义上，AI 解决方案需要强大的并行计算处理能力，长期以来，AI 服务都是通过联网在线的云端基于服务器的计算来提供服务。但是具有 实时性 要求的 AI 解决方案需要在设备上进行计算，因此边缘人工智能 (Edge AI) 正在逐渐进入人们的视野。
虽然本质上 AI 计算可以使用基于 GPU 的设备，但这套设备成本高昂，并且搭配非常繁琐，比如对内存要求越来越高、能耗越来越大等。无论是从研究还是创新角度来讲，边缘人工智能推理都正在成为蓬勃发展的深度学习革命越来越重要的组成部分。
与此同时手持设备（比如手机、平板等）日益普及，每年都能卖掉几十亿台，手机已然成为日常使用最为频繁的设备，可以预测对移动 AI 计算的需求也正在稳步增加。因此，移动处理器的开发已经变得越来越以人工智能为重点，这些处理器都具有用于机器学习的专用硬件，比如现在主流的手机 CPU 评测都会加上一项 AI 计算能力的跑分。
目前从消费应用到企业应用都遍布 AI 的身影。随着联网设备数量的爆发式增长，以及对隐私 / 机密、低延迟时间和带宽限制的需求，云端训练的 AI 模型需要在边缘运行的情况不断增加。Edge TPU 是 Google 专门为在边缘运行 AI 而打造的 ASIC，它体型小、能耗低，但性能出色，让您可以在边缘部署高精度 AI。从下图可以看出 Edge TPU 核心的面积仅有一美分的大概十分之一大小。
Edge TPU 可以用来做什么？
可以使用 Edge TPU 在移动设备上训练模型，但目前仅支持通过迁移学习在设备上重新训练的分类模型，这种训练方法是在 Low-Shot Learning with Imprinted Weights 这篇论文中提到的 imprinted weight 技术，此技术为实时系统创造了许多可能性。并且，据相关评测显示，Edge TPU是同类产品中计算速度最快的设备。
市面上已经有的其他 AI 边缘推理硬件
虽然这是第一个Edge TPU，但这之前就已经有一些类似的 AI 专用硬件，例如：
- 英特尔基于 MyriadVPU 的神经计算棒，及 Google Vision Kit。
- 基于 Cuda 的 NVIDIA Jetson TX2。
Coral Beta 版
TPU，也称张量处理单元 (Tensor Processing Unit) 主要供 Google 数据中心使用。对于普通用户，可以在 Google 云端平台（GCP）上使用，也可以使用 Google Colab 来使用免费版。
谷歌在 2019 年国际消费电子展（以及今年的 TensorFlow 开发峰会上）首次展示了他们的 Edge TPU，然后于三月份发布了 Coral Beta。
Beta 版本包括开发板和 USB 加速器，以及用于生产目的的预览版 PCI- E 加速器和模块化系统（SOM）。
USB Accelerator
Edge TPU USB Accelerator与任何其他 USB 设备基本一样，跟英特尔的 MyriadVPU 的差不多，但功能更强大。接下来我们来一个开箱，并且稍微上手看看。
开箱
盒子中包含：
- 入门指南
- USB 加速器
- Type C USB 数据线
入门指南
入门指南介绍了安装步骤，你可以很快完成安装。包括模型文件在内的所有需要的文件可以随安装包一起在官网下载即可，安装过程并不需要 TensorFlow 或OpenCV这些依赖库。
提示：必须使用 Python 3.5，否则将无法完成安装。还需要将 install.sh 文件最后一行
python3.5 setup.py develop - user
改为python3 setup.py develop - user
演示程序
Coral Edge TPU API 文档包括图像分类和目标检测的概述和演示程序。
Edge TPU API
在完成以下教程之前，关于 Edge TPU API 有以下注意事项：
- 需要安装 Python 的
edgetpu模块才能在 Edge TPU 上运行 TensorFlow Lite 模型。它是一个较高层的 API，包含一些简单的 API 以执行模型推理过程。 - 这些 API 已经预先安装在开发板上，但如果使用的是 USB 加速器，则需要自行下载。详细信息请参阅此设置指南。
- 推理过程中需要用到以下关键 API：用于图像分类的
ClassificationEngine、用于目标检测的DetectionEngine和用于迁移学习的ImprintingEngine。
图像分类
实现图像分类的 Demo 非常简单，比如可以将下边的图片作为 ClassificationEngine 接口的输入：
目标检测
与图像分类一样，我们只需要调用一下 DetectionEngine 接口，就可以将输入图片中的目标检测出并用方框进行标识：
由于默认配置会产生假负例，我们可以将默认示例程序中的阈值从 0.05 调整到 0.5，另外将矩形的宽度调整为 5，可以得到以下结果：
由于 Coral 仍只有测试版，API 文档中给出的细节不够完整，但目前给出的部分用于以上示例已经足够了。
注意事项
以上 demo 的所有代码、模型和标注文件都随安装包中包含的库文件一同在官网下载，根据目前已经给出的模型和输入标注文件等，我们可以完成分类和检测任务。
对于分类任务，结果返回排名前 2 的预测类别及对应的置信度得分；而对于目标检测任务，结果将返回置信度得分及标注方框的各顶点坐标，若输入时给出类别标注，返回结果中也包含类别名称。
树莓派上性能的局限性
不幸的是，业余爱好者最喜欢树莓派无法充分发挥 USB 加速器的功能和速度。USB Accelerator使用 USB 3.0 端口，目前的树莓派设备没有 USB 3 或USB type-C，而只能使用速度较慢的USB 2。
目前，它只在 Debian Linux 上运行，但预计很快就会有支持其他操作系统的方法。
深入拓展
在 Edge TPU 的帮助下，Coral 还能提供哪些产品呢？
开发板（Dev Board）
作为开发板来讲，树莓派通常是最受欢迎的选择，但谷歌却更推崇 NXP i.MX 8M SOC(Quad-core Cortex-A53 与 Cortex-M4F)。有关开发版的更多信息，请参考此页面。
但是如果用于实验，尤其是仅需使用 Edge TPU 的情况下，我们更加推荐USB Accelerator。
后续开发
若您已经使用开发板或 USB Accelerator 做出了不错的 prototype 原型机，但后续需要将同样的代码应用于大规模生产环境，该怎么办呢？
谷歌已经预先想到这一点，可以在产品列表中看到，下述模块将用于企业支持，并且已经被标记为 _即将上线_。
模块化系统（System-on-module, SOM）
这是一个完全集成的系统（包含 CPU、GPU、Edge TPU、Wifi、蓝牙和安全元件），采用大小为 40mm*40mm 的可插拔模块。
此模块可以用于大规模生产，制造商可以按照本模块所提供的指南生产自己喜欢的 IO 板，甚至上文提到的已经上市的开发板（Dev Board）都包含这个可拆卸的模块，理论上只要拆下来就可以使用。
PCI-E 加速器
关于 PCI- E 加速器的信息很少，但顾名思义，它是一个带有 PCI-E（快捷外设互联标准，Peripheral Component Interconnect Express）的模块，且有两种变体，这类似于 USB 加速器，不过不同之处在于将 USB 接口换成了 PCI-E，就像内存条或者网卡那样，树莓派也有 PCI-E 接口的 Compute Module 版本。
随着各种外设模块的诞生，可以预料，一些企业级项目也将随之诞生。谷歌 Coral 也这么认为，在他们的网站上有以下说法：
灵活易用，精准裁剪，适用于初创公司与大型企业。
Tensorflow 与 Coral 项目
谷歌的产品大都与 Tensorflow 有关，目前，Edge TPU仅支持传统的 Tensorflow Lite 版本的模型，Tensorflow Lite 稳定版刚刚发布，参见此页面。
目前，你需要通过一个网页编译器将 tflite 模型转换为 tflite-tpu 模型。如果使用的是 PyTorch 或其他框架也不用担心，可以通过 ONNX 将模型转化为 Tensorflow 模型。
展望
尽管缺乏对树莓派的全面支持，以及 Beta 版本中文档有限，但我对 Coral 项目保持乐观态度。虽然无法立刻确定这种技术的发展前景，但对更强大、低能耗、高成本效益以及更具创新性的产品，我们应当报以更高的期望。
好了，本次介绍就到这里，这个系列的全文会收录在我的 github 目录，欢迎大家 star 和沟通：https://github.com/asukafighting/RaspberryPiHacker