diff --git a/docs/doc/demo/dashengda.md b/docs/doc/demo/dashengda.md index f201871..35fa6cc 100644 --- a/docs/doc/demo/dashengda.md +++ b/docs/doc/demo/dashengda.md @@ -1,21 +1,25 @@ # 大胜达智能环境感知系统 ## 1. 背景及动机 + 印刷和包装行业中大量使用油墨，润版液，废定影液，油性上光材料等不可避免地会对生产环境造成危害，会对工人的健康造成威胁，会对产品的质量造成损害。浙江大胜达包装股份有限公司非常重视生产环境保护，以工人健康为己任，积极提高产品质量。基于此背景，大胜达智能环境智能感知系统应运而生。 -大胜达智能环境智能感知系统主要采集PM1.0、PM2.5、PM10、AQS、TVOC、甲醛、乙醇、二氧化碳、噪音、甲烷、温度、湿度、气压、风速、风向等环境因子，此外还包括部分机器电能消耗的监测。当印刷机高速运转时，墨膜分裂产生断片，进而形成细小球状墨滴散落在空气中，形成飞墨，所以对PM1.0，PM2.5，PM10三种参数的监测可以有效反映飞墨现象在印刷过程的严重程度，从而对高精度印刷产品质量的保障提供精准控制的参数支持。印刷过程中油墨溶剂包含了芳香烃类，酯类，酮类，醚类等有机化合物，这些化合物或多或少具有一定毒性。同时，在印刷原材料中对甲醛和乙醇使用也较为广泛，所以对TVOC和AQS的监测可以有效监测空气中这些有机化合物的浓度，对工人的健康保护起到提示和预警作用，对甲醛和乙醇这些挥发性较大的有机物的监测，可以反映出原材料使用和管控的精细程度，为企业节约原材料成本提供参数支持。大量的印刷机同时运转时会产生大强度的机器噪音和消耗大量的电能，所以对噪音和电能的监测不仅可以帮助工人排查噪音干扰提高工作效率，而且更为企业合理安排印刷机器的开机数量和节能减排提供依据。甲烷，温度，湿度，气压和空气流动性等指标是印刷产品质量保证和安全生产必须参考的参数。 +大胜达智能环境感知系统主要采集PM1.0、PM2.5、PM10、AQS、TVOC、甲醛、乙醇、二氧化碳、噪音、甲烷、温度、湿度、气压、风速、风向等环境因子，此外还包括部分机器电能消耗的监测。当印刷机高速运转时，墨膜分裂产生断片，进而形成细小球状墨滴散落在空气中，形成飞墨，所以对PM1.0，PM2.5，PM10三种参数的监测可以有效反映飞墨现象在印刷过程的严重程度，从而对高精度印刷产品质量的保障提供精准控制的参数支持。印刷过程中油墨溶剂包含了芳香烃类，酯类，酮类，醚类等有机化合物，这些化合物或多或少具有一定毒性。同时，在印刷原材料中对甲醛和乙醇使用也较为广泛，所以对TVOC和AQS的监测可以有效监测空气中这些有机化合物的浓度，对工人的健康保护起到提示和预警作用，对甲醛和乙醇这些挥发性较大的有机物的监测，可以反映出原材料使用和管控的精细程度，为企业节约原材料成本提供参数支持。大量的印刷机同时运转时会产生大强度的机器噪音和消耗大量的电能，所以对噪音和电能的监测不仅可以帮助工人排查噪音干扰提高工作效率，而且更为企业合理安排印刷机器的开机数量和节能减排提供依据。甲烷，温度，湿度，气压和空气流动性等指标是印刷产品质量保证和安全生产必须参考的参数。 + ## 2. 基于XiUOS的环境智能感知系统 + 丰富的环境参数需要多种类型的传感器设备支持，然而丰富的传感器类型涉及很多异构接口和不同的驱动程序。XiUOS提供的操作系统方案能够以统一设备驱动模型管理各种异构传感设备，降低管理众多传感设备的复杂性。进一步地，各种不同的传感器将实时的采集到大量的物理环境参数，有效的传输和管理这些数据也颇为复杂。XiUOS提供的“感”子框架以用户需求为主旨，采用了以物理环境参数为中心的抽象方式，在应用开发时只需要考虑用户需要感知的物理量种类，无需把重点放在实际采集物理量的传感器设备。这种“感”子框架有效地隐藏了底层传感器设备的硬件细节，以操作系统的视角对外提供统一的数据采集接口，有效地简化了传感器应用与驱动的开发。 ![IMAGE1](./imagesrc/dashengda_1.png) ## 3. 部署架构 + 目前，大胜达智能环境智能感知系统部署于中国胜达产业园彩印车间，主要部署架构如图所示 ![IMAGE2](./imagesrc/dashengda_2.png) 大胜达智能环境感知系统由1个网关 + 1个电表监测节点 + 6组环境监测节点组成，每组包含8个监测节点，共50台设备。 * 监测节点由终端设备携带若干传感器组成，搭载XiUOS系统，负责采集数据并发送 -* 网关与监测节点之间采用LoRa自组网络通信，网关负责接收数据并转储到分布式内存数据库和分布式磁盘数据库 +* 网关与监测节点之间采用LoRa网络通信，网关负责接收数据并转储到分布式内存数据库和分布式磁盘数据库 * 最后通过web UI展示 \ No newline at end of file diff --git a/docs/doc/framework/imagesrc/framework-ai-arch.png b/docs/doc/framework/imagesrc/framework-ai-arch.png index a23df14..68b1a16 100644 Binary files a/docs/doc/framework/imagesrc/framework-ai-arch.png and b/docs/doc/framework/imagesrc/framework-ai-arch.png differ diff --git a/docs/doc/framework/zhi.md b/docs/doc/framework/zhi.md index 5b0cd5b..61d96f3 100644 --- a/docs/doc/framework/zhi.md +++ b/docs/doc/framework/zhi.md @@ -10,9 +10,9 @@ ![智能框架架构](./imagesrc/framework-ai-arch.png) -图中 **端侧智能框架** 是我们提供的在节点端进行智能计算的框架，而 边缘/云端智能框架 是进行进一步复杂智能计算的框架。其中，模型库是我们提供的一些训练好的AI模型，比如仪表读数识别模型、人物检测模型等。 +图中 **端侧智能框架** 是我们提供的在节点端进行智能计算的框架，能够提供在端侧进行初步的智能运算。 -端侧智能框架 目前在 STM32 平台上支持 TensorFlow Lite for Microcontroller，在勘智K210 上支持 KPU Model，CV算子目前暂不支持。后续工作中，我们会将 TF Lite for MCU 和 KPU Model 融合以及提供一些通用的 CV 算子。 +端侧智能框架 目前在 STM32 平台上支持 TensorFlow Lite for Microcontroller，在勘智K210 上支持 KPU Model，CV算子目前暂不支持。后续工作中，我们尝试将智能框架进行融合并提供部分 CV 支持。 ## 端侧 Framework 的使用说明 @@ -21,3 +21,5 @@ 在 STM32 平台，本系统提供 TensorFlow Lite for Microcontroller 框架，关于 TF Lite for MCU 的使用，可以参照 [TF Lite for MCU 官方教程](https://tensorflow.google.cn/lite/microcontrollers) ，详细说明后续补充。 在 勘智 K210 平台，本系统提供 KPU Model 的框架，详细使用可以参考 [勘智官方说明](https://s3.cn-north-1.amazonaws.com.cn/dl.kendryte.com/documents/kendryte_standalone_programming_guide_v0.3.0.pdf) 的 “神经网络处理器（KPU）”章节，详细说明后续补充。 + +针对 TF Lite for MCU 的使用，可以参考 XiUOS 代码中的 applications 下面的 tflite_mnist、tflite_sin 应用。 diff --git a/docs/doc/hardware/sensor/README.md b/docs/doc/hardware/sensor/README.md index b7aa8bb..836cd39 100644 --- a/docs/doc/hardware/sensor/README.md +++ b/docs/doc/hardware/sensor/README.md @@ -17,6 +17,3 @@ - [压强传感器](./pressure_sensor.md) - [声音传感器](./voice_sensor.md) - -- [图像传感器](./image_sensor.md) - diff --git a/docs/doc/hardware/sensor/image_sensor.md b/docs/doc/hardware/sensor/image_sensor.md deleted file mode 100644 index c7b7a05..0000000 --- a/docs/doc/hardware/sensor/image_sensor.md +++ /dev/null @@ -1,41 +0,0 @@ -# 图像传感器 - -## 传感器介绍 - -| 传感器信号 | 传感器说明 | 驱动支持 | 传感器外形 | -| --- | --- | --- | --- | -| OV7670 | 最大支持 40x480，30万像素，不支持 JPEG 输出，不支持自动对焦 | 已支持 | ![ov7670](./imagesrc/sensor-ov7670.png) | -| OV2640 | 最大支持 1600x1200，200万像素，支持 JPEG 输出，不支持自动对焦 | 待支持 | ![ov7670](./imagesrc/sensor-ov2640.png) | - -## 使用说明 - -本系统支持 dev fs，camera 设备会在 /dev 下面注册。 - -相关数据结构： - -```c -enum CameraOutputFormat { - RGB565, - JPEG, -}; -struct CameraInfo { - int width; - int height; - CameraOutputFormat format; -}; -``` - -基本使用说明： - -```c -// open camera device -int fd = open(“/dev/cam1”); - -// get camera info -struct CameraInfo cam_info; -int ret = ioctl(fd, GET_INFO, &cam_info); - -// read camera data to buf -void *buf = malloc(cam_info.width * cam_info.height * 2); // assume the format is RGB565 -int ret = read(fd, buf, size); -``` diff --git a/docs/doc/hardware/sensor/imagesrc/sensor-ov2640.png b/docs/doc/hardware/sensor/imagesrc/sensor-ov2640.png deleted file mode 100644 index 6509537..0000000 Binary files a/docs/doc/hardware/sensor/imagesrc/sensor-ov2640.png and /dev/null differ diff --git a/docs/doc/hardware/sensor/imagesrc/sensor-ov7670.png b/docs/doc/hardware/sensor/imagesrc/sensor-ov7670.png deleted file mode 100644 index 1a58532..0000000 Binary files a/docs/doc/hardware/sensor/imagesrc/sensor-ov7670.png and /dev/null differ