ESP32 支持运行 TensorFlow Lite Micro
中国,上海
2020年8月31日
8 月 28 日,TensorFlow 在官方博客中宣布 TensorFlow Lite Micro 支持在乐鑫 ESP32 上运行。
以下为博客原文:
如今,ESP32 被广泛应用于智能家居和无线连接设备及项目中,它能连接各种传感器和执行器,从而感知环境并做出相应动作。在 ESP32 上运行 TensorFlow Lite Micro 时,会出现由本地推断所触发的各种用例场景。ESP32 具有双核处理器以及卓越的功能特性,能够大大减轻运行 TF Micro 繁重的工作量。Wi-Fi 回传将有助于用户进行远程部署,并根据所做的推断触发操作。
人脸监测 / 智能门铃摄像机示例
我们将大家熟悉的人脸检测示例修改为一个智能门铃摄像机,并使用 ESP-EYE 开发板进行演示。需要注意的是,此示例运用的是人脸检测技术(在相机前检测人脸),而非身份识别。
ESP-EYE 开发板包含一个 ESP32 Wi-Fi / 蓝牙 MCU,和一个 2MP 摄像头。
演示效果
在此示例中,一旦开发板上的摄像头检测到设备附近有人,便会自动发出一封通知邮件。
操作教程
- 购买 ESP-EYE:直接点此购买,或从其他渠道购买。 另外,需要准备一根 USB 转 Micro-USB 接口的数据线,以便将 ESP-EYE 连接到 Windows/Linux/macOS 系统的主机。
- 代码仓库:https://github.com/espressif/tensorflow/
- 设置开发主机:使用 ESP32 的交叉编译工具链和实用工具来设置开发主机,按照 ESP-IDF 入门指南设置工具链和 ESP-IDF。
- 生成示例:使用以下命令 make -f tensorflow/lite/micro/tools/make/Makefile TARGET=esp generate_doorbell_camera_esp_project
- 构建示例:
- 访问示例项目目录:cd tensorflow/lite/micro/tools/make/gen/esp_xtensa-esp32/prj/doorbell_camera/esp-idf
- 使用以下命令克隆 ESP32 摄像头组件:$ git clone https://github.com/espressif/esp32-camera components/esp32-camera
- 配置摄像头和邮箱地址:idf.py menuconfig
- 进入 Camera Pins 和 SMTP 的配置菜单,选择 camera details 和 email details。
- 构建示例:idf.py build
- 刷新并运行程序:使用以下命令 idf.py --port /dev/ttyUSB0 flash monitor
- 现在,每当检测到人脸时,程序就会向配置好的邮箱地址发送一封电子邮件。
了解更多
完成门铃摄像机示例后,你还可以尝试 TF Micro 的其他应用项目,例如 hello_world 和 micro_speech。
ESP32 是一款功能强大的 MCU,时钟频率可达 240 MHz。它仅用一个 CPU 内核,即可在一秒内(大约 700 ms,我们还将进一步优化性能以缩短时间)完成检测,从而释放另一个内核以自由处理应用中的其他任务。
想深入了解 TensorFlow Lite Micro,推荐您阅读《TinyML》。