homework-jianmu/docs/zh/06-advanced/05-data-in/12-avevaHistorian.md

139 lines
5.1 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

---
title: "AVEVA Historian"
sidebar_label: "AVEVA Historian"
---
本节讲述如何通过 Explorer 界面创建数据迁移/数据同步任务, 从 AVEVA Historian 迁移/同步数据到当前 TDengine 集群。
## 功能概述
AVEVA Historian 是一款工业大数据分析软件,前身为 Wonderware。可以捕获并存储高保真工业大数据释放受制约的潜力从而改善运营。
TDengine 可以高效地从 AVEVA Historian 读取数据并将其写入 TDengine以实现历史数据迁移或实时数据同步。
## 创建任务
### 1. 新增数据源
在数据写入页面中,点击 **+新增数据源** 按钮,进入新增数据源页面。
![avevaHistorian-01.png](pic/avevaHistorian-01.png)
### 2. 配置基本信息
**名称** 中输入任务名称“test_avevaHistorian”
**类型** 下拉列表中选择 **AVEVA Historian**
**代理** 是非必填项,如有需要,可以在下拉框中选择指定的代理,也可以先点击右侧的 **+创建新的代理** 按钮
**目标数据库** 下拉列表中选择一个目标数据库,也可以先点击右侧的 **+创建数据库** 按钮
![avevaHistorian-02.png](pic/avevaHistorian-02.png)
### 3. 配置连接信息
**连接配置** 区域填写 **Server 地址****Server 端口**
**认证** 区域填写 **用户名****密码**
点击 **连通性检查** 按钮,检查数据源是否可用。
![avevaHistorian-03.png](pic/avevaHistorian-03.png)
### 4. 配置采集信息
**采集配置** 区域填写采集任务相关的配置参数。
#### 4.1. 迁移数据
如果要进行数据迁移,需要配置以下参数:
**采集模式** 下拉列表中选择 **migrate**
**标签** 中,填写要迁移的标签列表,以逗号(,)分隔。
**标签组大小** 中,填写标签组的大小。
**任务开始时间** 中,填写数据迁移任务的开始时间。
**任务结束时间** 中,填写数据迁移任务的结束时间。
**查询的时间窗口** 中,填写一个时间间隔,数据迁移任务将按照这个时间间隔划分时间窗口。
![avevaHistorian-04.png](pic/avevaHistorian-04.png)
#### 4.2. 同步 History 表的数据
如果要同步 **Runtime.dbo.History** 表中的数据到 TDengine需要配置以下参数
**采集模式** 下拉列表中选择 **synchronize**
**表** 中选择 **Runtime.dbo.History**
**标签** 中,填写要迁移的标签列表,以逗号(,)分隔。
**标签组大小** 中,填写标签组的大小。
**任务开始时间** 中,填写数据迁移任务的开始时间。
**查询的时间窗口** 中,填写一个时间间隔,历史数据部分将按照这个时间间隔划分时间窗口。
**实时同步的时间间隔** 中,填写一个时间间隔,实时数据部分将按照这个时间间隔轮询数据。
**乱序时间上限** 中,填写一个时间间隔,实时数据同步过程中,超过这个时间才入库的数据可能会丢失。
![avevaHistorian-05.png](pic/avevaHistorian-05.png)
#### 4.3. 同步 Live 表的数据
如果要同步 **Runtime.dbo.Live** 表中的数据到 TDengine需要配置以下参数
**采集模式** 下拉列表中选择 **synchronize**
**表** 中选择 **Runtime.dbo.Live**
**标签** 中,填写要迁移的标签列表,以逗号(,)分隔。
**实时同步的时间间隔** 中,填写一个时间间隔,实时数据部分将按照这个时间间隔轮询数据。
![avevaHistorian-06.png](pic/avevaHistorian-06.png)
### 5. 配置数据映射
**数据映射** 区域填写数据映射相关的配置参数。
点击 **从服务器检索** 按钮,从 AVEVA Historian 服务器获取示例数据。
**从列中提取或拆分** 中填写从消息体中提取或拆分的字段,例如:将 vValue 字段拆分成 `vValue_0``vValue_1` 这 2 个字段,选择 split 提取器seperator 填写分割符 `,`, number 填写 2。
**过滤** 中,填写过滤条件,例如:填写`Value > 0`,则只有 Value 大于 0 的数据才会被写入 TDengine。
**映射** 中,选择要映射到 TDengine 的超级表,以及映射到超级表的列。
点击 **预览**,可以查看映射的结果。
![avevaHistorian-07.png](pic/avevaHistorian-07.png)
### 6. 配置高级选项
**高级选项** 区域填写高级选项相关的配置参数。
**最大读取并发数** 中设置最大读取并发数。默认值0表示 auto自动配置并发数。
**批次大小** 中设置每次写入的批次大小,即:单次发送的最大消息数量。
**保存原始数据** 中选择是否保存原始数据。默认值:否。
当保存原始数据时以下2个参数配置生效。
**最大保留天数** 中设置原始数据的最大保留天数。
**原始数据存储目录** 中设置原始数据保存路径。
![avevaHistorian-08.png](pic/avevaHistorian-08.png)
### 7. 创建完成
点击 **提交** 按钮,完成创建任务。提交任务后,回到**数据写入**页面可以查看任务状态。