docs: add exception handling strategy for data migration tasks

This commit is contained in:
tjuzyp 2024-12-20 15:27:36 +08:00
parent 9a64317881
commit b071ab1304
26 changed files with 107 additions and 39 deletions

View File

@ -166,6 +166,12 @@ json 数据支持 JSONObject 或者 JSONArray使用 json 解析器可以解
![mqtt-14](./mqtt-14.png)
### 8. 创建完成
### 8. 异常处理策略
import Contributing from './_03-exception-handling-strategy.mdx'
<Contributing />
### 9. 创建完成
点击 **提交** 按钮,完成创建 MQTT 到 TDengine 的数据同步任务,回到**数据源列表**页面可查看任务执行情况。

View File

@ -196,12 +196,16 @@ json 数据支持 JSONObject 或者 JSONArray使用 json 解析器可以解
### 8. 配置高级选项
**高级选项** 区域是默认折叠的,点击右侧 `>` 可以展开,如下图所示:
import AdvancedOptions from './_02-advanced_options.mdx'
![kafka-15.png](./kafka-15.png)
<AdvancedOptions/>
![kafka-16.png](./kafka-16.png)
### 9. 异常处理策略
### 9. 创建完成
import Contributing from './_03-exception-handling-strategy.mdx'
<Contributing />
### 10. 创建完成
点击 **提交** 按钮,完成创建 Kafka 到 TDengine 的数据同步任务,回到**数据源列表**页面可查看任务执行情况。

View File

@ -75,9 +75,9 @@ InfluxDB 是一种流行的开源时间序列数据库,它针对处理大量
### 6. 配置高级选项
**高级选项** 区域是默认折叠的,点击右侧 `>` 可以展开,如下图所示:
![InfluxDB-09zh-AdvancedOptionsExpandButton.png](./pic/InfluxDB-09zh-AdvancedOptionsExpandButton.png "高级选项展开按钮")
![InfluxDB-10zh-AdvancedOptionsExpand.png](./pic/InfluxDB-10zh-AdvancedOptionsExpand.png "高级选项展开按钮")
import AdvancedOptions from './_02-advanced_options.mdx'
<AdvancedOptions/>
### 7. 创建完成

View File

@ -58,9 +58,9 @@ OpenTSDB 是一个架构在 HBase 系统之上的实时监控信息收集和展
### 5. 配置高级选项
**高级选项** 区域是默认折叠的,点击右侧 `>` 可以展开,如下图所示:
![OpenTSDB-07zh-AdvancedOptionsExpandButton.png](./pic/OpenTSDB-07zh-AdvancedOptionsExpandButton.png "高级选项展开按钮")
![OpenTSDB-08zh-AdvancedOptionsExpand.png](./pic/OpenTSDB-08zh-AdvancedOptionsExpand.png "高级选项展开按钮")
import AdvancedOptions from './_02-advanced_options.mdx'
<AdvancedOptions/>
### 6. 创建完成

View File

@ -107,13 +107,25 @@ sidebar_label: "CSV"
![csv-09.png](./csv-09.png)
### 5. 创建完成
### 5. 配置高级选项
import AdvancedOptions from './_02-advanced_options.mdx'
<AdvancedOptions/>
### 6. 异常处理策略
import Contributing from './_03-exception-handling-strategy.mdx'
<Contributing />
### 7. 创建完成
点击 **提交** 按钮,完成创建 CSV 到 TDengine 的数据同步任务,回到数据写入任务列表页面,可查看任务执行情况,也可以进行任务的“启动/停止”操作与“查看/编辑/删除/复制”操作。
![csv-10.png](./csv-10.png)
### 6. 查看运行指标
### 8. 查看运行指标
点击 **查看** 按钮,查看任务的运行指标,同时也可以查看任务中所有文件的处理情况。

View File

@ -134,6 +134,12 @@ split 提取器seperator 填写分割符 `,`, number 填写 2。
![aveva-historian-08.png](pic/aveva-historian-08.png)
### 7. 创建完成
### 7. 异常处理策略
import Contributing from './_03-exception-handling-strategy.mdx'
<Contributing />
### 8. 创建完成
点击 **提交** 按钮,完成创建任务。提交任务后,回到**数据写入**页面可以查看任务状态。

View File

@ -98,14 +98,16 @@ MySQL 是最流行的关系型数据库之一。很多系统都曾经或正在
### 8. 配置高级选项
**高级选项** 区域是默认折叠的,点击右侧 `>` 可以展开,如下图所示:
import AdvancedOptions from './_02-advanced_options.mdx'
**最大读取并发数** 数据源连接数或读取线程数限制,当默认参数不满足需要或需要调整资源使用量时修改此参数。
<AdvancedOptions/>
**批次大小** 单次发送的最大消息数或行数。默认是 10000。
### 9. 异常处理策略
![mysql-07.png](pic/mysql-07.png)
import Contributing from './_03-exception-handling-strategy.mdx'
### 9. 创建完成
<Contributing />
### 10. 创建完成
点击 **提交** 按钮,完成创建 MySQL 到 TDengine 的数据同步任务,回到**数据源列表**页面可查看任务执行情况。

View File

@ -99,14 +99,16 @@ TDengine 可以高效地从 PostgreSQL 读取数据并将其写入 TDengine
### 8. 配置高级选项
**高级选项** 区域是默认折叠的,点击右侧 `>` 可以展开,如下图所示:
import AdvancedOptions from './_02-advanced_options.mdx'
**最大读取并发数** 数据源连接数或读取线程数限制,当默认参数不满足需要或需要调整资源使用量时修改此参数。
<AdvancedOptions/>
**批次大小** 单次发送的最大消息数或行数。默认是 10000。
### 9. 异常处理策略
![postgres-07.png](pic/postgres-07.png)
import Contributing from './_03-exception-handling-strategy.mdx'
### 9. 创建完成
<Contributing />
### 10. 创建完成
点击 **提交** 按钮,完成创建 PostgreSQL 到 TDengine 的数据同步任务,回到**数据源列表**页面可查看任务执行情况。

View File

@ -91,14 +91,16 @@ TDengine 可以高效地从 Oracle 读取数据并将其写入 TDengine以实
### 7. 配置高级选项
**高级选项** 区域是默认折叠的,点击右侧 `>` 可以展开,如下图所示:
import AdvancedOptions from './_02-advanced_options.mdx'
**最大读取并发数** 数据源连接数或读取线程数限制,当默认参数不满足需要或需要调整资源使用量时修改此参数。
<AdvancedOptions/>
**批次大小** 单次发送的最大消息数或行数。默认是 10000。
### 8. 异常处理策略
![oracle-06.png](pic/oracle-06.png)
import Contributing from './_03-exception-handling-strategy.mdx'
### 8. 创建完成
<Contributing />
### 9. 创建完成
点击 **提交** 按钮,完成创建 Oracle 到 TDengine 的数据同步任务,回到**数据源列表****页面可查看任务执行情况。

View File

@ -105,14 +105,16 @@ Microsoft SQL Server 是最流行的关系型数据库之一。很多系统都
### 8. 配置高级选项
**高级选项** 区域是默认折叠的,点击右侧 `>` 可以展开,如下图所示:
import AdvancedOptions from './_02-advanced_options.mdx'
**最大读取并发数** 数据源连接数或读取线程数限制,当默认参数不满足需要或需要调整资源使用量时修改此参数。
<AdvancedOptions/>
**批次大小** 单次发送的最大消息数或行数。默认是 10000。
### 9. 异常处理策略
![mssql-07.png](pic/mssql-07.png)
import Contributing from './_03-exception-handling-strategy.mdx'
### 9. 创建完成
<Contributing />
### 10. 创建完成
点击 **提交** 按钮,完成创建 Microsoft SQL Server 到 TDengine 的数据同步任务,回到**数据源列表**页面可查看任务执行情况。

View File

@ -122,14 +122,16 @@ MongoDB 是一个介于关系型数据库与非关系型数据库之间的产品
### 8. 配置高级选项
**高级选项** 区域是默认折叠的,点击右侧 `>` 可以展开,如下图所示:
import AdvancedOptions from './_02-advanced_options.mdx'
**最大读取并发数** 数据源连接数或读取线程数限制,当默认参数不满足需要或需要调整资源使用量时修改此参数。
<AdvancedOptions/>
**批次大小** 单次发送的最大消息数或行数。默认是 10000。
### 9. 异常处理策略
![mongodb-07.png](pic/mongodb-07.png)
import Contributing from './_03-exception-handling-strategy.mdx'
### 9. 创建完成
<Contributing />
### 10. 创建完成
点击 **提交** 按钮,完成创建 MongoDB 到 TDengine 的数据同步任务,回到**数据源列表**页面可查看任务执行情况。

View File

@ -0,0 +1,7 @@
**高级选项** 区域是默认折叠的,点击右侧 `>` 可以展开,如下图所示:
**最大读取并发数** 数据源连接数或读取线程数限制,当默认参数不满足需要或需要调整资源使用量时修改此参数。
**批次大小** 单次发送的最大消息数或行数。默认是 10000。
![advanced_options.png](pic/advanced_options.png)

View File

@ -0,0 +1,23 @@
异常处理策略区域是对数据异常时的处理策略进行配置,默认折叠的,点击右侧 `>` 可以展开,如下图所示:
![exception-handling-strategy.png](pic/exception-handling-strategy.png)
各异常项说明及相应可选处理策略如下:
> 通用处理策略说明:
> 归档:将异常数据写入归档文件(默认路径为 `${data_dir}/tasks/_id/.datetime`),不写入目标库
> 丢弃:将异常数据忽略,不写入目标库
> 报错:任务报错
- **主键时间戳溢出** 检查数据中第一列时间戳是否在正确的时间范围内now - keep1, now + 100y可选处理策略归档、丢弃、报错
- **主键时间戳空** 检查数据中第一列时间戳是否为空,可选处理策略:归档、丢弃、报错、使用当前时间
> 使用当前时间:使用当前时间填充到空的时间戳字段中
- **表名长度溢出** 检查子表表名的长度是否超出限制(最大 192 字符),可选处理策略:归档、丢弃、报错、截断、截断且归档
> 截断:截取原始表名的前 192 个字符作为新的表名
> 截断且归档:截取原始表名的前 192 个字符作为新的表名,并且将此行记录写入归档文件
- **表名非法字符** 检查子表表名中是否包含特殊字符(符号 `.` 等),可选处理策略:归档、丢弃、报错、非法字符替换为指定字符串
> 非法字符替换为指定字符串:将原始表名中的特殊字符替换为后方输入框中的指定字符串,例如 `a.b` 替换为 `a_b`
- **表名模板变量空值** 检查子表表名模板中的变量是否为空,可选处理策略:丢弃、留空、变量替换为指定字符串
> 留空:变量位置不做任何特殊处理,例如 `a_{x}` 转换为 `a_`
> 变量替换为指定字符串:变量位置使用后方输入框中的指定字符串,例如 `a_{x}` 转换为 `a_b`
- **列名长度溢出** 检查列名的长度是否超出限制(最大 64 字符),可选处理策略:归档、丢弃、报错

Binary file not shown.

Before

Width:  |  Height:  |  Size: 6.7 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 13 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 7.2 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 98 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 7.2 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 97 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 21 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 43 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 13 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 31 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 31 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 15 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 31 KiB