Merge branch 'master' of https://github.com/xuos/xuos-web
This commit is contained in:
commit
6128036165
Binary file not shown.
After Width: | Height: | Size: 199 KiB |
Binary file not shown.
After Width: | Height: | Size: 490 KiB |
Binary file not shown.
After Width: | Height: | Size: 487 KiB |
|
@ -1,5 +1,5 @@
|
|||
const sidebar = {
|
||||
'intro': [
|
||||
'intro': [
|
||||
'/doc/intro',
|
||||
],
|
||||
'kernel': [
|
||||
|
@ -48,7 +48,8 @@ const sidebar = {
|
|||
'/doc/sensor/magneto_sensor',
|
||||
'/doc/sensor/photoelec_sensor',
|
||||
'/doc/sensor/pressure_sensor',
|
||||
'/doc/sensor/voice_sensor'
|
||||
'/doc/sensor/voice_sensor',
|
||||
'/doc/sensor/image_sensor'
|
||||
],
|
||||
'appdev': [
|
||||
'/doc/appdev/env',
|
||||
|
|
|
@ -6,6 +6,6 @@
|
|||
|
||||
* [联](/doc/apparch/lian.md)
|
||||
|
||||
* [智](/doc/apparch/zhi.md)
|
||||
* [知](/doc/apparch/zhi.md)
|
||||
|
||||
* [控](/doc/apparch/kong.md)
|
||||
|
|
|
@ -1 +1,15 @@
|
|||
# 智
|
||||
# 知 - 智能框架
|
||||
|
||||
## 基本框架
|
||||
|
||||
工厂中不仅有气压、温度等环境数据,还有很多图像、声音等数据,比如工业设备仪表盘、厂房工人分布等,这些数据也需要检测并处理。传统方案使用嵌入式终端采集、云端处理的架构。而当前越来越多的硬件厂商开始将一部分AI算力下沉到嵌入式终端上,比如 ST 推出的针对 STM 平台的神经网络加速库 STM32 Cube.AI,ARM 即将发布的针对嵌入式场景的 Ethos-U55 神经网络处理器,以及 勘智 K210 平台嵌入了一颗卷积网络加速器 KPU。本系统提供了在嵌入式节点端做轻量级AI处理的应用框架,可以在 Arm Cortex-M 或者 有神经网络加速器的平台(比如 勘智 K210)运行。对于复杂的 AI 应用,可以选择完全在 边缘或者云侧处理,也可以选择在 节点端做简单预处理,在 边缘或者云侧做后续的处理。基本结构如下:
|
||||
|
||||

|
||||
|
||||
端侧智能运行框架中,目前在 STM32 平台上支持 TensorFlow Lite for Microcontroller,勘智K210 上支持 KPU Model,CV算子目前暂不支持。模型库中有一些已经训练好的模型,可以直接使用,比如人物检测模型,仪表盘识别模型等。
|
||||
|
||||
## 端侧 Framework 的使用说明
|
||||
|
||||
在 STM32 平台,本系统提供 TensorFlow Lite for Microcontroller 框架,关于 TF Lite for MCU 的使用,可以参照 [TF Lite for MCU 官方教程](https://www.tensorflow.org/lite/microcontrollers) ,详细说明后续补充。
|
||||
|
||||
在 勘智 K210 平台,本系统提供 KPU Model 的框架,详细使用可以参考 [勘智官方说明](https://s3.cn-north-1.amazonaws.com.cn/dl.kendryte.com/documents/kendryte_standalone_programming_guide_v0.3.0.pdf) 的 “神经网络处理器(KPU)”章节,详细说明后续补充。
|
||||
|
|
|
@ -18,3 +18,5 @@
|
|||
|
||||
- [声音传感器](/doc/sensor/voice_sensor.md)
|
||||
|
||||
- [图像传感器](/doc/sensor/image_sensor.md)
|
||||
|
||||
|
|
|
@ -0,0 +1,41 @@
|
|||
# 图像传感器
|
||||
|
||||
## 传感器介绍
|
||||
|
||||
| 传感器信号 | 传感器说明 | 驱动支持 | 传感器外形 |
|
||||
| --- | --- | --- | --- |
|
||||
| OV7670 | 最大支持 40x480,30万像素,不支持 JPEG 输出,不支持自动对焦 | 已支持 |  |
|
||||
| OV2640 | 最大支持 1600x1200,200万像素,支持 JPEG 输出,不支持自动对焦 | 待支持 |  |
|
||||
|
||||
## 使用说明
|
||||
|
||||
本系统支持 dev fs,camera 设备会在 /dev 下面注册。
|
||||
|
||||
相关数据结构:
|
||||
|
||||
```c
|
||||
enum CameraOutputFormat {
|
||||
RGB565,
|
||||
JPEG,
|
||||
};
|
||||
struct CameraInfo {
|
||||
int width;
|
||||
int height;
|
||||
CameraOutputFormat format;
|
||||
};
|
||||
```
|
||||
|
||||
基本使用说明:
|
||||
|
||||
```c
|
||||
// open camera device
|
||||
int fd = open(“/dev/cam1”);
|
||||
|
||||
// get camera info
|
||||
struct CameraInfo cam_info;
|
||||
int ret = ioctl(fd, GET_INFO, &cam_info);
|
||||
|
||||
// read camera data to buf
|
||||
void *buf = malloc(cam_info.width * cam_info.height * 2); // assume the format is RGB565
|
||||
int ret = read(fd, buf, size);
|
||||
```
|
Loading…
Reference in New Issue