diff --git a/docs/.vuepress/public/images/framework-ai-arch.png b/docs/.vuepress/public/images/framework-ai-arch.png new file mode 100644 index 0000000..a23df14 Binary files /dev/null and b/docs/.vuepress/public/images/framework-ai-arch.png differ diff --git a/docs/doc/apparch/README.md b/docs/doc/apparch/README.md index eb77f84..760ffde 100644 --- a/docs/doc/apparch/README.md +++ b/docs/doc/apparch/README.md @@ -6,6 +6,6 @@ * [联](/doc/apparch/lian.md) -* [智](/doc/apparch/zhi.md) +* [知](/doc/apparch/zhi.md) * [控](/doc/apparch/kong.md) diff --git a/docs/doc/apparch/zhi.md b/docs/doc/apparch/zhi.md index c849bcd..0ce584f 100644 --- a/docs/doc/apparch/zhi.md +++ b/docs/doc/apparch/zhi.md @@ -1 +1,15 @@ -# 智 \ No newline at end of file +# 知 - 智能框架 + +## 基本框架 + +工厂中不仅有气压、温度等环境数据,还有很多图像、声音等数据,比如工业设备仪表盘、厂房工人分布等,这些数据也需要检测并处理。传统方案使用嵌入式终端采集、云端处理的架构。而当前越来越多的硬件厂商开始将一部分AI算力下沉到嵌入式终端上,比如 ST 推出的针对 STM 平台的神经网络加速库 STM32 Cube.AI,ARM 即将发布的针对嵌入式场景的 Ethos-U55 神经网络处理器,以及 勘智 K210 平台嵌入了一颗卷积网络加速器 KPU。本系统提供了在嵌入式节点端做轻量级AI处理的应用框架,可以在 Arm Cortex-M 或者 有神经网络加速器的平台(比如 勘智 K210)运行。对于复杂的 AI 应用,可以选择完全在 边缘或者云侧处理,也可以选择在 节点端做简单预处理,在 边缘或者云侧做后续的处理。基本结构如下: + +![智能框架架构](/images/framework-ai-arch.png) + +端侧智能运行框架中,目前在 STM32 平台上支持 TensorFlow Lite for Microcontroller,勘智K210 上支持 KPU Model,CV算子目前暂不支持。模型库中有一些已经训练好的模型,可以直接使用,比如人物检测模型,仪表盘识别模型等。 + +## 端侧 Framework 的使用说明 + +在 STM32 平台,本系统提供 TensorFlow Lite for Microcontroller 框架,关于 TF Lite for MCU 的使用,可以参照 [TF Lite for MCU 官方教程](https://www.tensorflow.org/lite/microcontrollers) ,详细说明后续补充。 + +在 勘智 K210 平台,本系统提供 KPU Model 的框架,详细使用可以参考 [勘智官方说明](https://s3.cn-north-1.amazonaws.com.cn/dl.kendryte.com/documents/kendryte_standalone_programming_guide_v0.3.0.pdf) 的 “神经网络处理器(KPU)”章节,详细说明后续补充。