文 / Daniel Situnayake，TensorFlow Lite 开发技术推广工程师

在思考支持机器学习的硬件时，您可能会想到无数高能耗处理器在远程服务器场中处理万亿字节的数据，或者是塞满 GPU 的大型台式计算机。

image 1600×900 275 KB

您不太可能想象到一个 40 毫米 x 48 毫米的集成电路被整齐地放置于一个信用卡大小的开发板上，也绝对想不到一个玩具车大小的光滑铝盒会通过一根 USB-C 转接线与您的电脑相连。

这些新设备由 Google 的新平台 Coral 制造，有助于嵌入式开发者打造卓越的本地 AI 体验。Coral 的首批产品采用 Google Edge TPU 芯片 ，专为运行 TensorFlow Lite （TensorFlow 面向移动和嵌入式设备的轻量级解决方案）而打造。作为开发者，您可以使用 Coral 设备探索和设计用于设备端机器学习推理的新应用。

Coral Dev Board 是一款单板 Linux 计算机，配有托管 Edge TPU 的可拆卸式模块化系统 (SOM)。您可以利用该产品设计应用原型，然后通过在自己的设备中添加 SOM 将其扩展到量产。 Coral USB Accelerator 是一款 USB 配件，可以将 Edge TPU 用于任何兼容的 Linux 计算机。其设计旨在完美接合 Raspberry Pi Zero。

在本文中，我们将探索 “在边缘设备上” 开展机器学习的精彩应用，并学习 TensorFlow Lite 和 Coral 如何帮助您将 AI 构建到硬件产品中。您将看到即使没有 ML 经验，也可借助我们的预训练模型开始构建 AI 体验。此外，我们还会向您介绍转换工具，助您优化自己的模型以供本地使用。

边缘设备上的推理

image 700×109 5.74 KB

许多应用都采用这种方式，但如果我们可以脱离服务器而在设备端执行该操作呢？

现在，我们可以使用 TensorFlow Lite 在边缘设备上执行高性能推理，进而创造非凡的新体验。

借助边缘推理，您无需再依赖互联网连接。如果互联网速度缓慢或成本昂贵，您可以构建理解其所见景象且只传送感兴趣内容的智能传感器。

这意味着您可以在全新的情境和位置中部署 ML。想象一下，智能相机在偏远地区识别野生动植物，或者成像设备在没有无线基础设施的地区帮助做出医学诊断。

使用智能相机监控野生动植物 700×277 9.35 KB

向服务器发送数据会出现往返延迟，这会阻碍实时数据的传输。但如果将模型部署在边缘设备上，这就不再是问题！

当推理速度超级快时，我们可以解决依赖性能的问题，例如向人类空间导航机器人添加实时对象追踪功能，或在现场音乐表演期间合成音频。

隐私和安全

image 700×442 41.4 KB

* 桌面 CPU：64 位 Intel (R) Xeon (R) E5–1650 v4 @ 3.60GHz
** 嵌入式 CPU：四核 Cortex-A53 @ 1.5GHz
† 开发板：四核 Cortex-A53 @ 1.5GHz + Edge TPU
数据测试于文章发布时间 2019 年 3 月 15 日
所有测试模型均使用拥有 1,000 个类的 ImageNet 数据集训练，输入大小为 224x224，但 Inception v4 除外，其输入大小为 299x299。
Coral 和 TensorFlow Lite 使用入门

Coral 是一个新平台，但专为与 TensorFlow 无缝配合而设计。如需将 TensorFlow 模型部署到 Coral 中，您可以使用 TensorFlow Lite。TensorFlow Lite 是一个工具包，用于在 Edge TPU、手机及微控制器等边缘设备上执行机器学习推理。
预训练模型

Coral 网站提供经过优化，并且可与 Coral 硬件搭配使用的预训练 TensorFlow Lite 模型。如果您是新手，可以只 下载模型，将其部署到您的设备中，然后立刻使用 Coral 的 API 演示脚本 开始执行图像分类或对各类对象进行对象检测。
重新训练模型

您可以使用名为迁移学习的过程自定义 Coral 的预训练机器学习模型，以识别您自己的图像和对象。如需进行此项操作，请遵循 重新训练现有模型 中的说明。
构建您自己的 TensorFlow 模型

如果您拥有现成的 TensorFlow 模型，或者想要从头训练模型，则可按照 为 Edge TPU 构建新模型 中的步骤进行操作。请注意，您的模型必须满足 模型要求。
如要为 Edge TPU 准备模型，首先您要使用 TensorFlow Lite Converter 转换和优化模型，使其适用于边缘设备。然后您再使用 Edge TPU Model Compiler 编译该模型，使其适合 Edge TPU。
量化和优化

支持 Coral 硬件的 Edge TPU 芯片专为与经过量化的模型一同运行设计，这意味着原始模型的基础数据已经在一定程度上得到压缩，从而在对准确度影响最小的情况下生成体积更小、运行速度更快的模型。
TensorFlow Lite Converter 可以对任何经过训练的 TensorFlow 模型执行量化。您可以在训练后量化中阅读有关此技术的更多内容。
以下代码片段展示如何使用 TensorFlow Lite Nightly 版和 TensorFlow 2.0 Alpha 版，轻松转换和量化模型：
# Load TensorFlow
import tensorflow as tf
# Set up the converter
converter = tf.lite.TFLiteConverter.from_saved_model (saved_model_dir)
converter.optimizations = [tf.lite.Optimize.OPTIMIZE_FOR_SIZE]
# Perform conversion and output file
tflite_quant_model = converter.convert ()
output_dir.write_bytes (tflite_quant_model)
我们已经了解如何使用 Coral 和 TensorFlow Lite 打造将 AI 部署到边缘设备的全新体验。如果您想入门，请遵循以下方法：
在 https://coral.ai/ 获取 Coral 设备
阅读并了解如何 在 Edge TPU 上运行 TensorFlow 模型
了解 TensorFlow Lite
有所启发？我们非常期待看到社区用户使用 Coral 和 TensorFlow Lite 构建的作品！
原文：Build AI that works offline with Coral Dev Board, Edge TPU, and TensorFlow Lite

中文：TensorFlow 公众号