diff --git a/docs/zh/06-advanced/06-TDgpt/04-forecast/index.md b/docs/zh/06-advanced/06-TDgpt/04-forecast/index.md index 087d6540e6..8b41cae3eb 100644 --- a/docs/zh/06-advanced/06-TDgpt/04-forecast/index.md +++ b/docs/zh/06-advanced/06-TDgpt/04-forecast/index.md @@ -3,6 +3,9 @@ title: 预测算法 description: 预测算法 --- +import fc_result from '../pic/fc.png'; +import fc_result_figure from '../pic/fc-result.png'; + 时序数据预测处理以持续一个时间段的时序数据作为输入，预测接下来一个连续时间区间内时间序列数据趋势。用户可以指定输出的（预测）时间序列数据点的数量，因此其输出的结果行数不确定。为此，TDengine 使用新 SQL 函数 `FORECAST` 提供时序数据预测服务。基础数据（用于预测的历史时间序列数据）是该函数的输入，预测结果是该函数的输出。用户可以通过 `FORECAST` 函数调用 Anode 提供的预测算法提供的服务。 在后续章节中，使用时序数据表`foo`作为示例，介绍预测和异常检测算法的使用方式，`foo` 表的模式如下： @@ -106,3 +109,37 @@ taos> select _flow, _fhigh, _frowts, forecast(i32) from foo; - PatchTST (Patch Time Series Transformer) - Temporal Fusion Transformer - TimesNet + +## 算法有效性评估工具 +TDgpt 提供预测分析算法有效性评估工具 `analytics_compare`，调用该工具并设置合适的参数，能够使用 TDengine 中的数据作为回测依据，评估不同预测算法或相同的预测算法在不同的参数或训练模型的下的预测有效性。预测有效性的评估使用 `MSE` 和 `MAE` 指标作为依据，后续还将增加 `MAPE`指标。 + +```ini +[forecast] +# 训练数据的周期，每个周期包含多少个输入点 +period = 10 + +# 使用范围内最后 10 条记录作为预测结果 +rows = 10 + +# 训练数据开始时间 +start_time = 1949-01-01T00:00:00 + +# 训练数据结束时间 +end_time = 1960-12-01T00:00:00 + +# 输出结果的起始时间 +res_start_time = 1730000000000 + +# 是否绘制预测结果图 +gen_figure = true +``` + +算法对比分析运行完成以后，生成 fc-results.xlsx 文件，其中包含了调用算法的预测分析误差、执行时间、调用参数等信息。如下图所示： + +预测对比结果 + + +如果设置了 `gen_figure` 为 true，分析结果中还会有绘制的分析预测结果图（如下图所示）。 + +预测对比结果 + diff --git a/docs/zh/06-advanced/06-TDgpt/05-anomaly-detection/index.md b/docs/zh/06-advanced/06-TDgpt/05-anomaly-detection/index.md index 632492ce72..7eff427518 100644 --- a/docs/zh/06-advanced/06-TDgpt/05-anomaly-detection/index.md +++ b/docs/zh/06-advanced/06-TDgpt/05-anomaly-detection/index.md @@ -4,6 +4,8 @@ description: 异常检测算法 --- import ad from '../pic/anomaly-detection.png'; +import ad_result from '../pic/ad-result.png'; +import ad_result_figure from '../pic/ad-result-figure.png'; TDengine 中定义了异常（状态）窗口来提供异常检测服务。异常窗口可以视为一种特殊的**事件窗口（Event Window）**，即异常检测算法确定的连续异常时间序列数据所在的时间窗口。与普通事件窗口区别在于——时间窗口的起始时间和结束时间均是分析算法识别确定，不是用户给定的表达式进行判定。因此，在 `WHERE` 子句中使用 `ANOMALY_WINDOW` 关键词即可调用时序数据异常检测服务，同时窗口伪列（`_WSTART`, `_WEND`, `_WDURATION`）也能够像其他时间窗口一样用于描述异常窗口的起始时间(`_WSTART`)、结束时间(`_WEND`)、持续时间(`_WDURATION`)。例如： @@ -67,3 +69,38 @@ Query OK, 1 row(s) in set (0.028946s) ### 内置异常检测算法 分析平台内置了6个异常检查模型，分为3个类别，分别是[基于统计学的算法](./02-statistics-approach.md)、[基于数据密度的算法](./03-data-density.md)、以及[基于机器学习的算法](./04-machine-learning.md)。在不指定异常检测使用的方法的情况下，默认调用 IQR 进行异常检测。 +### 异常检测算法有效性比较工具 +TDgpt 提供自动化的工具对比不同数据集的不同算法监测有效性，针对异常检测算法提供查全率（recall）和查准率（precision）两个指标衡量不同算法的有效性。 +通过在配置文件中(analysis.ini)设置以下的选项可以调用需要使用的异常检测算法，异常检测算法测试用数据的时间范围、是否生成标注结果的图片、调用的异常检测算法以及相应的参数。 +调用异常检测算法比较之前，需要人工手动标注异常监测数据集的结果，即设置[anno_res]选项的数值，第几个数值是异常点，需要标注在数组中，如下测试集中，第 9 个点是异常点，我们就标注异常结果为 [9]. + +```bash +[ad] +# training data start time +start_time = 2021-01-01T01:01:01 + +# training data end time +end_time = 2021-01-01T01:01:11 + +# draw the results or not +gen_figure = true + +# annotate the anomaly_detection result +anno_res = [9] + +# algorithms list that is involved in the comparion +[ad.algos] +ksigma={"k": 2} +iqr={} +grubbs={} +lof={"algo":"auto", "n_neighbor": 3} +``` + +对比程序执行完成以后，会自动生成名称为`ad_result.xlsx` 的文件，第一个卡片是算法运行结果（如下图所示），分别包含了算法名称、执行调用参数、查全率、查准率、执行时间 5 个指标。 + +异常检测对比结果 + +如果设置了 `gen_figure` 为 `true`，比较程序会自动将每个参与比较的算法分析结果采用图片方式呈现出来（如下图所示为 ksigma 的异常检测结果标注）。 + +异常检测标注图 + diff --git a/docs/zh/06-advanced/06-TDgpt/pic/ad-result-figure.png b/docs/zh/06-advanced/06-TDgpt/pic/ad-result-figure.png new file mode 100644 index 0000000000..b1bf231786 Binary files /dev/null and b/docs/zh/06-advanced/06-TDgpt/pic/ad-result-figure.png differ diff --git a/docs/zh/06-advanced/06-TDgpt/pic/ad-result.png b/docs/zh/06-advanced/06-TDgpt/pic/ad-result.png new file mode 100644 index 0000000000..80667c5733 Binary files /dev/null and b/docs/zh/06-advanced/06-TDgpt/pic/ad-result.png differ diff --git a/docs/zh/06-advanced/06-TDgpt/pic/fc-result.png b/docs/zh/06-advanced/06-TDgpt/pic/fc-result.png new file mode 100644 index 0000000000..6bcca3934c Binary files /dev/null and b/docs/zh/06-advanced/06-TDgpt/pic/fc-result.png differ diff --git a/docs/zh/06-advanced/06-TDgpt/pic/fc.png b/docs/zh/06-advanced/06-TDgpt/pic/fc.png new file mode 100644 index 0000000000..ff11a5dc48 Binary files /dev/null and b/docs/zh/06-advanced/06-TDgpt/pic/fc.png differ