Merge branch 'master' of https://github.com/xuos/xuos-web

docs/.vuepress/sidebar.js

@@ -1,5 +1,5 @@
 const sidebar = {
-  'intro': [ 
+  'intro': [
       '/doc/intro',
   ],
   'kernel': [
@@ -48,7 +48,8 @@ const sidebar = {
     '/doc/sensor/magneto_sensor',
     '/doc/sensor/photoelec_sensor',
     '/doc/sensor/pressure_sensor',
-    '/doc/sensor/voice_sensor'
+    '/doc/sensor/voice_sensor',
+    '/doc/sensor/image_sensor'
   ],
   'appdev': [
     '/doc/appdev/env',

docs/doc/apparch/README.md

@@ -6,6 +6,6 @@
 
 * [联](/doc/apparch/lian.md)
 
-* [智](/doc/apparch/zhi.md)
+* [知](/doc/apparch/zhi.md)
 
 * [控](/doc/apparch/kong.md)

docs/doc/apparch/zhi.md

@@ -1 +1,15 @@
-# 智
+# 知 - 智能框架
+
+## 基本框架
+
+工厂中不仅有气压、温度等环境数据，还有很多图像、声音等数据，比如工业设备仪表盘、厂房工人分布等，这些数据也需要检测并处理。传统方案使用嵌入式终端采集、云端处理的架构。而当前越来越多的硬件厂商开始将一部分AI算力下沉到嵌入式终端上，比如 ST 推出的针对 STM 平台的神经网络加速库 STM32 Cube.AI，ARM 即将发布的针对嵌入式场景的 Ethos-U55 神经网络处理器，以及 勘智 K210 平台嵌入了一颗卷积网络加速器 KPU。本系统提供了在嵌入式节点端做轻量级AI处理的应用框架，可以在 Arm Cortex-M 或者 有神经网络加速器的平台（比如 勘智 K210）运行。对于复杂的 AI 应用，可以选择完全在 边缘或者云侧处理，也可以选择在 节点端做简单预处理，在 边缘或者云侧做后续的处理。基本结构如下：
+
+![智能框架架构](/images/framework-ai-arch.png)
+
+端侧智能运行框架中，目前在 STM32 平台上支持 TensorFlow Lite for Microcontroller，勘智K210 上支持 KPU Model，CV算子目前暂不支持。模型库中有一些已经训练好的模型，可以直接使用，比如人物检测模型，仪表盘识别模型等。
+
+## 端侧 Framework 的使用说明
+
+在 STM32 平台，本系统提供 TensorFlow Lite for Microcontroller 框架，关于 TF Lite for MCU 的使用，可以参照 [TF Lite for MCU 官方教程](https://www.tensorflow.org/lite/microcontrollers) ，详细说明后续补充。
+
+在 勘智 K210 平台，本系统提供 KPU Model 的框架，详细使用可以参考 [勘智官方说明](https://s3.cn-north-1.amazonaws.com.cn/dl.kendryte.com/documents/kendryte_standalone_programming_guide_v0.3.0.pdf) 的 “神经网络处理器（KPU）”章节，详细说明后续补充。

docs/doc/sensor/README.md

@@ -18,3 +18,5 @@
 
 - [声音传感器](/doc/sensor/voice_sensor.md)
 
+- [图像传感器](/doc/sensor/image_sensor.md)
+

docs/doc/sensor/image_sensor.md

@@ -0,0 +1,41 @@
+# 图像传感器
+
+## 传感器介绍
+
+| 传感器信号 | 传感器说明 | 驱动支持 | 传感器外形 |
+| --- | --- | --- | --- |
+| OV7670 | 最大支持 40x480，30万像素，不支持 JPEG 输出，不支持自动对焦 | 已支持 | ![ov7670](/images/sensor-ov7670.png) |
+| OV2640 | 最大支持 1600x1200，200万像素，支持 JPEG 输出，不支持自动对焦 | 待支持 | ![ov7670](/images/sensor-ov2640.png) |
+
+## 使用说明
+
+本系统支持 dev fs，camera 设备会在 /dev 下面注册。
+
+相关数据结构：
+
+```c
+enum CameraOutputFormat {
+    RGB565,
+    JPEG,
+};
+struct CameraInfo {
+    int width;
+    int height;
+    CameraOutputFormat format;
+};
+```
+
+基本使用说明：
+
+```c
+// open camera device
+int fd = open(“/dev/cam1”);
+
+// get camera info
+struct CameraInfo cam_info;
+int ret = ioctl(fd, GET_INFO, &cam_info);
+
+// read camera data to buf
+void *buf = malloc(cam_info.width * cam_info.height * 2); // assume the format is RGB565
+int ret = read(fd, buf, size);
+```