docs: minor changes
This commit is contained in:
Simon Guan
parent
a488cb3d40
commit
257c7cbd9f
|
|
@ -1,6 +1,6 @@
|
|||
---
|
||||
sidebar_label: TDgpt技术内幕
|
||||
title: TDgpt技术内幕
|
||||
sidebar_label: TDgpt 技术内幕
|
||||
title: TDgpt 技术内幕
|
||||
---
|
||||
|
||||
import TDgpt from './pic/data-analysis.png';
|
||||
|
|
@ -8,11 +8,11 @@ import TDgpt from './pic/data-analysis.png';
|
|||
# 背景介绍
|
||||
针对时间序列数据预测分析、异常检测、数据补全和数据分类的应用领域，相关领域的研究人员提出并开发出了众多不同技术特点、适用于不同场景的时序数据分析算法，广泛应用在时间序列数据预测、异常检测等领域。
|
||||
|
||||
分析算法通常以高级编程语言（Python语言或R语言）工具包的形式存在，并通过开源的方式广泛分发和使用，这种应用模式极大地便利了软件开发人员在应用系统中调用复杂的分析算法，极大地降低了使用高级算法的门槛。
|
||||
分析算法通常以高级编程语言（Python 语言或 R 语言）工具包的形式存在，并通过开源的方式广泛分发和使用，这种应用模式极大地便利了软件开发人员在应用系统中调用复杂的分析算法，极大地降低了使用高级算法的门槛。
|
||||
|
||||
另一方面，数据库系统研发人员也尝试将数据分析算法模型整合到数据库系统中，通过建立Machine Learning 库（例如 Spark 的机器学习库）充分利用成熟分析技术增强数据库或分析计算引擎的高级数据分析能力。
|
||||
另一方面，数据库系统研发人员也尝试将数据分析算法模型整合到数据库系统中，通过建立 Machine Learning 库（例如 Spark 的机器学习库）充分利用成熟分析技术增强数据库或分析计算引擎的高级数据分析能力。
|
||||
|
||||
飞速发展的人工智能（AI）为时序数据分析应用带来的新机遇，快速有效地将 AI 能力应用在时间序列数据分析领域也为数据库。为此，涛思数据创新性地提出了时序数据分析智能体 TDgpt，使用 TDgpt，将您能够通过SQL 语句，直接调用适配和整合驱动统计分析算法、机器学习算法模型、深度学习模型，时序数据基础模型以及大语言模型，并将这些分析能力转化为 SQL 语句的调用，通过异常检测窗口和预测函数的方式应用在时序数据上。
|
||||
飞速发展的人工智能（AI）为时序数据分析应用带来的新机遇，快速有效地将 AI 能力应用在时间序列数据分析领域也为数据库。为此，涛思数据创新性地提出了时序数据分析智能体 TDgpt，使用 TDgpt，将您能够通过 SQL 语句，直接调用适配和整合驱动统计分析算法、机器学习算法模型、深度学习模型，时序数据基础模型以及大语言模型，并将这些分析能力转化为 SQL 语句的调用，通过异常检测窗口和预测函数的方式应用在时序数据上。
|
||||
|
||||
|
||||
# 技术特点
|
||||
|
|
@ -27,9 +27,9 @@ TDgpt 是一个开放的系统，用户能够根据自己的需要，添加预
|
|||
TDgpt 由若干个无状态的分析节点 anode 构成，可以按需在系统集群中部署 Anode 节点，也可以根据分析模型算法的特点，将 Anode 部署在合适的硬件环境中，例如带有 GPU 的计算节点。
|
||||
TDgpt 针对不同的分析算法，提供统一的调用接口和调用方式，根据用户请求的参数，调用高级分析算法包及其他的分析工具，并将分析获得的结果按照约定的方式返回给 TDengine 的主进程 taosd。
|
||||
TDgpt 的主要包含四个部分的内容。
|
||||
- 第一部分是内置分析库，包括statsmodels, pyculiarity, pmdarima 等，提供可以直接调用的预测分析和异常检测算法模型。
|
||||
- 第一部分是内置分析库，包括 statsmodels, pyculiarity, pmdarima 等，提供可以直接调用的预测分析和异常检测算法模型。
|
||||
- 第二部分是内置的机器学习库（包括：torch,keras,scikit-learn等），用于驱动预训练完成的机器（深度）学习模型在 TDgpt 的进程空间内运行。预训练的流程可以使用 Merlion/Kats 等 开源的端到端机器学习框架进行管理，并将完成训练的模型上传到 TDgpt 指定目录即可;
|
||||
- 第三部分是通用大语言模型的请求适配模块。将时序数据预测请求转换后，基于 Prompt 向 DeepSeek，LlaMa 等通用大语言模型 MaaS 请求服务（这部分功能暂未开源）；
|
||||
- 第三部分是通用大语言模型的请求适配模块。将时序数据预测请求转换后，基于 Prompt 向 DeepSeek、LlaMa 等通用大语言模型 MaaS 请求服务（这部分功能暂未开源）；
|
||||
- 第四部分是通过 Adapter 直接向本地部署的 Time-MoE、TDtsfm 等时序数据模型请求服务。时序数据专用模型相对于通用语言大模型，无需 Prompt，更加便捷轻量，本地应用部署对硬件资源要求也较低；除此之外，Adapter 还可以直接请求 TimeGPT 这种类型的时序数据分析 MaaS 服务，调用云端的时序模型服务提供本地化时序数据分析能力。
|
||||
|
||||
<img src={TDgpt} alt="TDgpt架构图" />
|
||||
|
|
@ -41,14 +41,14 @@ TDgpt 的主要包含四个部分的内容。
|
|||
使用TDgpt 提供的时序数据分析服务，包括：
|
||||
- 时序数据异常检测：TDengine 中定义了新的时间窗口——异常（状态）窗口——来提供异常检测服务。异常窗口可以视为一种特殊的事件窗口（Event Window），即异常检测算法确定的连续异常时间序列数据所在的时间窗口。与普通事件窗口区别在于——时间窗口的起始时间和结束时间均是分析算法确定，不是用户指定的表达式判定。异常窗口使用方式与其他类型的时间窗口（例如状态窗口、会话窗口等）类似。因此时间窗口内可使用的查询操作均可应用在异常窗口上。
|
||||
- 时序数据分析预测：TDengine 中提供了一个新的函数FORECAST提供时序数据预测服务，基于输入的（历史）时间序列数据调用指定（或默认）预测算法给出输入时序数据后续时间序列的预测数据。
|
||||
- 时序数据补全：研发测试中，2025年7月发布
|
||||
- 时序数据分类：研发测试中，2025年7月发布
|
||||
- 时序数据补全：研发测试中，2025 年 7 月发布
|
||||
- 时序数据分类：研发测试中，2025 年 7 月发布
|
||||
|
||||
# 自定义分析算法
|
||||
|
||||
TDgpt 是一个可扩展的时序数据高级分析智能体，用户遵循[算法开发者指南](./dev)中的简易步骤就能将自己开发的分析算法添加到系统中。之后应用可以通过 SQL语句直接调用, 让高级分析算法的使用门槛降到几乎为零。对于新引入的算法或模型，应用不用做任何调整。
|
||||
TDgpt 是一个可扩展的时序数据高级分析智能体，用户遵循 [算法开发者指南](./dev)中的简易步骤就能将自己开发的分析算法添加到系统中。之后应用可以通过 SQL 语句直接调用, 让高级分析算法的使用门槛降到几乎为零。对于新引入的算法或模型，应用不用做任何调整。
|
||||
|
||||
TDpgt 只支持使用 Python 语言开发的分析算法。 Anode 采用 Python 类动态加载模式，在启动的时候扫描特定目录内满足约定条件的所有代码文件，并将其加载到系统中。因此，开发者只需要遵循以下几步就能完成新算法的添加工作：
|
||||
TDpgt 只支持使用 Python 语言开发的分析算法。Anode 采用 Python 类动态加载模式，在启动的时候扫描特定目录内满足约定条件的所有代码文件，并将其加载到系统中。因此，开发者只需要遵循以下几步就能完成新算法的添加工作：
|
||||
1. 开发完成符合要求的分析算法类
|
||||
2. 将代码文件放入对应目录，然后重启 Anode
|
||||
3. 使用SQL命令更新算法缓存列表即可。
|
||||
|
|
@ -60,8 +60,8 @@ TDpgt 只支持使用 Python 语言开发的分析算法。 Anode 采用 Python
|
|||
|
||||
# 模型管理
|
||||
|
||||
对于Torch/Tensorflow/Keras 等机器学习库框架驱动的预训练模型，需要首先将训练完成的数据模型添加到 Anode 的指定目录中，Anode 可以自动调用该目录内的模型，驱动其运行并提供服务。
|
||||
企业版本的 TDgpt 具备模型的管理能力，能够与开源的端到端时序数据机器学习框架（例如：Merlion、Kats等）无缝集成。
|
||||
对于 Torch/Tensorflow/Keras 等机器学习库框架驱动的预训练模型，需要首先将训练完成的数据模型添加到 Anode 的指定目录中，Anode 可以自动调用该目录内的模型，驱动其运行并提供服务。
|
||||
企业版本的 TDgpt 具备模型的管理能力，能够与开源的端到端时序数据机器学习框架（例如：Merlion、Kats 等）无缝集成。
|
||||
处理能力
|
||||
|
||||
通常意义上，时间序列数据分析主要是计算密集型任务。这种计算密集型任务，可以使用更高性能的 CPU 或 GPU 来提升处理性能。
|
||||
|
|
|
|||
|
|
@ -168,7 +168,7 @@ SELECT * from information_schema.`ins_streams`;
|
|||
|
||||
4. FORCE_WINDOW_CLOSE：以操作系统当前时间为准，只计算当前关闭窗口的结果，并推送出去。窗口只会在被关闭的时刻计算一次，后续不会再重复计算。该模式当前只支持 INTERVAL 窗口（不支持滑动）；FILL_HISTORY 必须为 0，IGNORE EXPIRED 必须为 1，IGNORE UPDATE 必须为 1；FILL 只支持 PREV、NULL、NONE、VALUE。
|
||||
|
||||
5. CONTINUOUS_WINDOW_CLOSE：窗口关闭时输出结果。修改、删除数据，并不会立即触发重算，每等待 rec_time_val 时长，会进行周期性重算。如果不指定 rec_time_val，那么重算周期是60分钟。如果重算的时间长度超过 rec_time_val，在本次重算后，自动开启下一次重算。该模式当前只支持 INTERVAL 窗口。如果使用 FILL，需要配置 adapter的相关信息：adapterFqdn、adapterPort、adapterToken。adapterToken 为 `{username}:{password}` 经过 Base64 编码之后的字符串，例如 `root:taosdata` 编码后为 `cm9vdDp0YW9zZGF0YQ==`
|
||||
5. CONTINUOUS_WINDOW_CLOSE：窗口关闭时输出结果。修改、删除数据，并不会立即触发重算，每等待 rec_time_val 时长，会进行周期性重算。如果不指定 rec_time_val，那么重算周期是 60 分钟。如果重算的时间长度超过 rec_time_val，在本次重算后，自动开启下一次重算。该模式当前只支持 INTERVAL 窗口。如果使用 FILL，需要配置 adapter的相关信息：adapterFqdn、adapterPort、adapterToken。adapterToken 为 `{username}:{password}` 经过 Base64 编码之后的字符串，例如 `root:taosdata` 编码后为 `cm9vdDp0YW9zZGF0YQ==`
|
||||
|
||||
由于窗口关闭是由事件时间决定的，如事件流中断、或持续延迟，则事件时间无法更新，可能导致无法得到最新的计算结果。
|
||||
|
||||
|
|
|
|||
Loading…
Reference in New Issue