24 lines
2.5 KiB
Markdown
24 lines
2.5 KiB
Markdown
# 知 - 智能框架
|
||
|
||
## 基本框架
|
||
|
||
传统嵌入式场景下，节点端主要负责数据采集和简单处理，复杂的任务放在边缘或者云端完成。而随着嵌入式芯片性能越来越强，在端侧承担更多的计算也成了目前的一个趋势，比如ST 推出的针对 STM 平台的神经网络加速库 STM32 Cube.AI。最近，部分厂商开始在嵌入式平台上引入神经网络加速模块，比如 ARM 即将发布的针对嵌入式场景的 Ethos-U55 神经网络处理器，以及 勘智 K210 平台嵌入了一颗卷积网络加速器 KPU，使得端侧算力进一步增强，从而使我们可以在端侧做更多的计算和任务，从而相比传统解决方案有更好的延时、更低的成本。
|
||
|
||
我们提供了端侧的智能框架，将部分 AI 计算下沉到端侧，可以在端侧完成部分 AI 计算，从而为工业场景下的图像、声音等数据采集和感知提供更丰富的解决方案。比如 对于工业环境下的机械仪表读数识别，我们在初始化时通过边缘或者云端完成仪表数字分析，后续运行中我们在节点端完成仪表指针识别并计算仪表读数，从而在运行中不需要和边缘或者云端通信就可以完成读数识别，提供了更低的延时。
|
||
|
||
端侧智能框架基本结构如下：
|
||
|
||
|
||
|
||
图中 **端侧智能框架** 是我们提供的在节点端进行智能计算的框架，而 边缘/云端智能框架 是进行进一步复杂智能计算的框架。其中，模型库是我们提供的一些训练好的AI模型，比如仪表读数识别模型、人物检测模型等。
|
||
|
||
端侧智能框架 目前在 STM32 平台上支持 TensorFlow Lite for Microcontroller，在勘智K210 上支持 KPU Model，CV算子目前暂不支持。后续工作中，我们会将 TF Lite for MCU 和 KPU Model 融合以及提供一些通用的 CV 算子。
|
||
|
||
## 端侧 Framework 的使用说明
|
||
|
||
端侧智能框架 的具体 API 后续放出，目前可以参考以下资料。
|
||
|
||
在 STM32 平台，本系统提供 TensorFlow Lite for Microcontroller 框架，关于 TF Lite for MCU 的使用，可以参照 [TF Lite for MCU 官方教程](https://tensorflow.google.cn/lite/microcontrollers) ，详细说明后续补充。
|
||
|
||
在 勘智 K210 平台，本系统提供 KPU Model 的框架，详细使用可以参考 [勘智官方说明](https://s3.cn-north-1.amazonaws.com.cn/dl.kendryte.com/documents/kendryte_standalone_programming_guide_v0.3.0.pdf) 的 “神经网络处理器（KPU）”章节，详细说明后续补充。
|