doc: refactor docs
This commit is contained in:
gccgdb1234
parent
b54f0c875b
commit
208af8eeae
|
|
@ -96,4 +96,50 @@ TDengine 数据源插件已被提交至 Grafana 官网，完成插件的安装
|
|||
|
||||
## 可视化管理
|
||||
|
||||
为方便用户更高效地使用和管理 TDengine，TDengine 3.0 版本推出了一个全新的可视化组件—taosExplorer。这个组件旨在帮助用户在不熟悉 SQL 的情况下，也能轻松管理 TDengine 集群。通过 taosExplorer，用户可以轻松查看 TDengine 的运行状态、浏览数据、配置数据源、实现流计算和数据订阅等功能。此外，用户还可以利用taosExplorer 进行数据的备份、复制和同步操作，以及配置用户的各种访问权限。这些功能极大地简化了数据库的使用过程，提高了用户体验。
|
||||
为方便用户更高效地使用和管理 TDengine，TDengine 3.0 版本推出了一个全新的可视化组件—taosExplorer。这个组件旨在帮助用户在不熟悉 SQL 的情况下，也能轻松管理 TDengine 集群。通过 taosExplorer，用户可以轻松查看 TDengine 的运行状态、浏览数据、配置数据源、实现流计算和数据订阅等功能。此外，用户还可以利用taosExplorer 进行数据的备份、复制和同步操作，以及配置用户的各种访问权限。这些功能极大地简化了数据库的使用过程，提高了用户体验。
|
||||
|
||||
本节介绍可视化管理的基本功能。
|
||||
|
||||
### 登录
|
||||
|
||||
在完成 TDengine 的安装与启动流程之后，用户便可立即开始使用 taosExplorer。该组件默认监听 TCP 端口 6060，用户只须在浏览器中输入 `http://<IP>:6060/login`（其中的IP 是用户自己的地址），便可顺利登录。成功登录集群后，用户会发现在左侧的导航栏中各项功能被清晰地划分为不同的模块。接下来将简单介绍主要模块。
|
||||
|
||||
### 运行监控面板
|
||||
|
||||
在 Grafana 上安装 TDengine 数据源插件后，即可添加 TDengine 数据源，并导入TDengine 的 Grafana Dashboard: TDengine for 3.x。通过这一操作，用户将能够在不编写任何代码的情况下实现对 TDengine 运行状态的实时监控和告警功能。
|
||||
|
||||
### 数据写入
|
||||
|
||||
通过创建不同的任务，用户能够以零代码的方式，将来自不同外部数据源的数据导入 TDengine。目前，TDengine 支持的数据源包括 AVEVA PI System、OPC-UA/DA、MQTT、Kafka、InfluxDB、OpenTSDB、TDengine 2、TDengine 3、CSV、AVEVA Historian 等。在任务的配置中，用户还可以添加与 ETL 相关的配置。
|
||||
|
||||
在任务列表页中，可以实现任务的启动、停止、编辑、删除、查看任务的活动日志等操作。
|
||||
|
||||
### 数据浏览器
|
||||
|
||||
通过“数据浏览器”页面，用户无须编写任何代码，便可轻松进行各种数据查询和分析操作。具体而言，可以通过此页面创建或删除数据库、创建或删除超级表及其子表，执行 SQL 并查看执行结果。此外，查询结果将以可视化形式展现，方便用户理解和分析。同时，还可以收藏常用的 SQL，以便日后快速调用。超级管理员还将拥有对数据库的管理权限，以实现更高级别的数据管理和操作。
|
||||
|
||||
### 编程
|
||||
|
||||
通过“编程”页面，可以看到不同编程语言如何与 TDengine 进行交互，实现写入和查询等基本操作。用户通过复制粘贴，即可完成一个示例工程的创建。目前支持的编程语言包括 Java、Go、Python、Node.js（Javascript）、C#、Rust、R 等。
|
||||
|
||||
### 流计算
|
||||
|
||||
通过“流计算”页面，用户可以轻松地创建一个流，从而使用 TDengine 提供的强大的流计算能力。更多关于流计算功能的介绍，详见参考手册。
|
||||
|
||||
### 数据订阅
|
||||
|
||||
通过“数据订阅”页面，用户可以进行创建、管理和共享主题，查看主题的消费者等操作。除此以外，TDengine 还提供了通过 Go、Rust、Python、Java 等编程语言使用数据订阅相关 API 的示例。
|
||||
|
||||
### 工具
|
||||
|
||||
通过 “工具” 页面，用户可以了解如下 TDengine 周边工具的使用方法。
|
||||
- TDengine CLI。
|
||||
- taosBenchmark。
|
||||
- taosDump。
|
||||
- TDengine 与 BI 工具的集成，例如 Google Data Studio、Power BI、永洪 BI 等。
|
||||
- TDengine 与 Grafana、Seeq 的集成。
|
||||
|
||||
### 数据管理
|
||||
|
||||
“数据管理”页面为用户提供了丰富的管理功能，包括用户管理、备份、数据同步、集群管理、许可证管理以及审计等。
|
||||
|
||||
|
|
|
|||
|
|
@ -15,7 +15,7 @@ create user user_name pass'password' [sysinfo {1|0}]
|
|||
|
||||
相关参数说明如下。
|
||||
- user_name：最长为 23 B。
|
||||
- password：最长为 128 B，合法字符包括 a~z、A~Z、0~9、!、?、\、$、%、\、^、&、*、( )、_、–、+、=、{、[、}、]、:、;、@、~、#、|、\、<、,、>、.、?、/、，不可以出现单双引号、撇号、反斜杠和空格，且不可以为空。
|
||||
- password：最长为 128 B，合法字符包括字母和数字以及单双引号、撇号、反斜杠和空格以外的特殊字符，且不可以为空。
|
||||
- sysinfo ：用户是否可以查看系统信息。1 表示可以查看，0 表示不可以查看。系统信息包括服务端配置信息、服务端各种节点信息，如 dnode、查询节点（qnode）等，以及与存储相关的信息等。默认为可以查看系统信息。
|
||||
|
||||
如下 SQL 可以创建密码为 123456 且可以查看系统信息的用户 test。
|
||||
|
|
|
|||
|
|
@ -1,75 +0,0 @@
|
|||
---
|
||||
sidebar_label: 容量规划
|
||||
title: 容量规划
|
||||
description: 如何规划一个 TDengine 集群所需的物理资源
|
||||
---
|
||||
|
||||
使用 TDengine 来搭建一个物联网大数据平台，计算资源、存储资源需要根据业务场景进行规划。下面分别讨论系统运行所需要的内存、CPU 以及硬盘空间。
|
||||
|
||||
## 服务端内存需求
|
||||
|
||||
每个 Database 可以创建固定数目的 vgroup，默认 2 个 vgroup，在创建数据库时可以通过`vgroups <num>`参数来指定，其副本数由参数`replica <num>`指定。vgroup 中的每个副本会是一个 vnode；所以每个数据库占用的内存由以下几个参数决定：
|
||||
|
||||
- vgroups
|
||||
- replica
|
||||
- buffer
|
||||
- pages
|
||||
- pagesize
|
||||
- cachesize
|
||||
|
||||
关于这些参数的详细说明请参考 [数据库管理](../../taos-sql/database)。
|
||||
|
||||
一个数据库所需要的内存大小等于
|
||||
|
||||
```
|
||||
vgroups * replica * (buffer + pages * pagesize + cachesize)
|
||||
```
|
||||
|
||||
但要注意的是这些内存并不需要由单一服务器提供，而是由整个集群中所有数据节点共同负担，相当于由这些数据节点所在的服务器共同负担。如果集群中有不止一个数据库，则所需内存要累加。更复杂的场景是如果集群中的数据节点并非在最初就一次性全部建立，而是随着使用中系统负载的增加逐步增加服务器并增加数据节点，则新创建的数据库会导致新旧数据节点上的负载并不均衡，此时简单的理论计算并不能直接使用，要结合各数据节点的负载情况。
|
||||
|
||||
## 客户端内存需求
|
||||
|
||||
客户端应用采用 taosc 客户端驱动连接服务端，会有内存需求的开销。
|
||||
|
||||
客户端的内存开销主要由写入过程中的 SQL 语句、表的元数据信息缓存、以及结构性开销构成。系统最大容纳的表数量为 N（每个通过超级表创建的表的 meta data 开销约 256 字节），最大并行写入线程数量 T，最大 SQL 语句长度 S（通常是 1 Mbytes）。由此可以进行客户端内存开销的估算（单位 MBytes）：
|
||||
|
||||
```
|
||||
M = (T * S * 3 + (N / 4096) + 100)
|
||||
```
|
||||
|
||||
举例如下：用户最大并发写入线程数 100，子表数总数 10,000,000，那么客户端的内存最低要求是：
|
||||
|
||||
```
|
||||
100 * 3 + (10000000 / 4096) + 100 = 2741 (MBytes)
|
||||
```
|
||||
|
||||
即配置 3 GBytes 内存是最低要求。
|
||||
|
||||
## CPU 需求
|
||||
|
||||
CPU 的需求取决于如下两方面：
|
||||
|
||||
- **数据插入** TDengine 单核每秒能至少处理一万个插入请求。每个插入请求可以带多条记录，一次插入一条记录与插入 10 条记录，消耗的计算资源差别很小。因此每次插入，条数越大，插入效率越高。如果一个插入请求带 200 条以上记录，单核就能达到每秒插入 100 万条记录的速度。但对前端数据采集的要求越高，因为需要缓存记录，然后一批插入。
|
||||
- **查询需求** TDengine 提供高效的查询，但是每个场景的查询差异很大，查询频次变化也很大，难以给出客观数字。需要用户针对自己的场景，写一些查询语句，才能确定。
|
||||
|
||||
因此仅对数据插入而言，CPU 是可以估算出来的，但查询所耗的计算资源无法估算。在实际运行过程中，不建议 CPU 使用率超过 50%，超过后，需要增加新的节点，以获得更多计算资源。
|
||||
|
||||
## 存储需求
|
||||
|
||||
TDengine 相对于通用数据库，有超高的压缩比，在绝大多数场景下，TDengine 的压缩比不会低于 5 倍，有的场合，压缩比可达到 10 倍以上，取决于实际场景的数据特征。压缩前的原始数据大小可通过如下方式计算：
|
||||
|
||||
```
|
||||
Raw DataSize = numOfTables * rowSizePerTable * rowsPerTable
|
||||
```
|
||||
|
||||
示例：1000 万台智能电表，每台电表每 15 分钟采集一次数据，每次采集的数据 128 字节，那么一年的原始数据量是：10000000 \* 128 \* 24 \* 60 / 15 \* 365 = 44.8512T。TDengine 大概需要消耗 44.851 / 5 = 8.97024T 空间。
|
||||
|
||||
用户可以通过参数 keep，设置数据在磁盘中的最大保存时长。为进一步减少存储成本，TDengine 还提供多级存储，最冷的数据可以存放在最廉价的存储介质上，应用的访问不用做任何调整，只是读取速度降低了。
|
||||
|
||||
为提高速度，可以配置多块硬盘，这样可以并发写入或读取数据。需要提醒的是，TDengine 采取多副本的方式提供数据的高可靠，因此不再需要采用昂贵的磁盘阵列。
|
||||
|
||||
## 物理机或虚拟机台数
|
||||
|
||||
根据上面的内存、CPU、存储的预估，就可以知道整个系统需要多少核、多少内存、多少存储空间。如果数据副本数不为 1，总需求量需要再乘以副本数。
|
||||
|
||||
因为 TDengine 具有很好的水平扩展能力，根据总量，再根据单个物理机或虚拟机的资源，就可以轻松决定需要购置多少台物理机或虚拟机了。
|
||||
|
|
@ -1,26 +0,0 @@
|
|||
---
|
||||
title: 容错和灾备
|
||||
sidebar_label: 容错和灾备
|
||||
description: TDengine 的容错和灾备功能
|
||||
---
|
||||
|
||||
## 容错
|
||||
|
||||
TDengine 支持 **WAL**（Write Ahead Log）机制，实现数据的容错能力，保证数据的高可用。
|
||||
|
||||
TDengine 接收到应用的请求数据包时，先将请求的原始数据包写入数据库日志文件，等数据成功写入数据库数据文件后，再删除相应的 WAL。这样保证了 TDengine 能够在断电等因素导致的服务重启时从数据库日志文件中恢复数据，避免数据的丢失。
|
||||
|
||||
涉及的系统配置参数有两个：
|
||||
|
||||
- wal_level：WAL 级别，1：写 WAL，但不执行 fsync。2：写 WAL，而且执行 fsync。默认值为 1。
|
||||
- wal_fsync_period：当 wal_level 设置为 2 时，执行 fsync 的周期。设置为 0，表示每次写入，立即执行 fsync。
|
||||
|
||||
如果要 100%的保证数据不丢失，需要将 wal_level 设置为 2，wal_fsync_period 设置为 0。这时写入速度将会下降。但如果应用侧启动的写数据的线程数达到一定的数量(超过 50)，那么写入数据的性能也会很不错，只会比 wal_fsync_period 设置为 3000 毫秒下降 30%左右。
|
||||
|
||||
## 灾备
|
||||
|
||||
TDengine 灾备是通过在异地的两个数据中心中设置两个 TDengine 集群并利用 taosX 的数据复制能力来实现的。假定两个集群为集群 A 和集群 B，其中集群 A 为源集群，承担写入请求并提供查询服务。则在集群 A 所在数据中心中可以配置 taosX 利用 TDengine 提供的数据订阅能力，实时消费集群 A 中新写入的数据，并同步到集群 B。如果发生了灾难导致集群 A 所在数据中心不可用，则可以启用集群 B 作为数据写入和查询的主节点，并在集群 B 所处数据中心中配置 taosX 将数据复制到已经恢复的集群 A 或者新建的集群 C。
|
||||
|
||||
利用 taosX 的数据复制能力也可以构造出更复杂的灾备方案。
|
||||
|
||||
taosX 只在 TDengine 企业版中提供，关于其具体细节，请联系 business@taosdata.com
|
||||
|
|
@ -1,68 +0,0 @@
|
|||
---
|
||||
title: 数据导入
|
||||
description: 如何导入外部数据到 TDengine
|
||||
---
|
||||
|
||||
TDengine 提供多种方便的数据导入功能，一种按脚本文件导入，一种按数据文件导入，一种是 taosdump 工具导入本身导出的文件。
|
||||
|
||||
## 按脚本文件导入
|
||||
|
||||
TDengine 的 shell 支持 source filename 命令，用于批量运行文件中的 SQL 语句。用户可将建库、建表、写数据等 SQL 命令写在同一个文件中，每条命令单独一行，在 shell 中运行 source 命令，即可按顺序批量运行文件中的 SQL 语句。以‘#’开头的 SQL 语句被认为是注释，shell 将自动忽略。
|
||||
|
||||
## 按数据文件导入
|
||||
|
||||
TDengine 也支持在 shell 对已存在的表从 CSV 文件中进行数据导入。CSV 文件只属于一张表且 CSV 文件中的数据格式需与要导入表的结构相同，在导入的时候，其语法如下：
|
||||
|
||||
```sql
|
||||
insert into tb1 file 'path/data.csv';
|
||||
```
|
||||
|
||||
:::note
|
||||
注意：如果 CSV 文件首行存在描述信息，请手动删除后再导入。如某列为空，填 NULL，无引号。\*\*
|
||||
|
||||
:::
|
||||
|
||||
例如，现在存在一个子表 d1001, 其表结构如下：
|
||||
|
||||
```sql
|
||||
taos> DESCRIBE d1001
|
||||
Field | Type | Length | Note |
|
||||
=================================================================================
|
||||
ts | TIMESTAMP | 8 | |
|
||||
current | FLOAT | 4 | |
|
||||
voltage | INT | 4 | |
|
||||
phase | FLOAT | 4 | |
|
||||
location | BINARY | 64 | TAG |
|
||||
groupid | INT | 4 | TAG |
|
||||
```
|
||||
|
||||
要导入的 data.csv 的格式如下：
|
||||
|
||||
```csv
|
||||
'2018-10-04 06:38:05.000',10.30000,219,0.31000
|
||||
'2018-10-05 06:38:15.000',12.60000,218,0.33000
|
||||
'2018-10-06 06:38:16.800',13.30000,221,0.32000
|
||||
'2018-10-07 06:38:05.000',13.30000,219,0.33000
|
||||
'2018-10-08 06:38:05.000',14.30000,219,0.34000
|
||||
'2018-10-09 06:38:05.000',15.30000,219,0.35000
|
||||
'2018-10-10 06:38:05.000',16.30000,219,0.31000
|
||||
'2018-10-11 06:38:05.000',17.30000,219,0.32000
|
||||
'2018-10-12 06:38:05.000',18.30000,219,0.31000
|
||||
```
|
||||
|
||||
那么可以用如下命令导入数据：
|
||||
|
||||
|
||||
```sql
|
||||
taos> insert into d1001 file '~/data.csv'; # For Linux / Mac
|
||||
Query OK, 9 row(s) affected (0.004763s)
|
||||
```
|
||||
|
||||
```sql
|
||||
taos> insert into d1001 file 'E:\\taos\\data.csv'; # For Windows
|
||||
Query OK, 9 row(s) affected (0.004763s)
|
||||
```
|
||||
|
||||
## taosdump 工具导入
|
||||
|
||||
TDengine 提供了方便的数据库导入导出工具 taosdump。用户可以将 taosdump 从一个系统导出的数据，导入到其他系统中。具体使用方法，请参考 taosdump 的相关文档。
|
||||
|
|
@ -1,20 +0,0 @@
|
|||
---
|
||||
title: 数据导出
|
||||
description: 如何导出 TDengine 中的数据
|
||||
---
|
||||
|
||||
为方便数据导出，TDengine 提供了两种导出方式，分别是按表导出和用 taosdump 导出。
|
||||
|
||||
## 按表导出 CSV 文件
|
||||
|
||||
如果用户需要导出一个表或一个 STable 中的数据，可在 TDengine CLI 中运行：
|
||||
|
||||
```sql
|
||||
select * from <tb_name> >> data.csv;
|
||||
```
|
||||
|
||||
这样，表 tb_name 中的数据就会按照 CSV 格式导出到文件 data.csv 中。
|
||||
|
||||
## 用 taosdump 导出数据
|
||||
|
||||
利用 taosdump，用户可以根据需要选择导出所有数据库、一个数据库或者数据库中的一张表，所有数据或一时间段的数据，甚至仅仅表的定义。具体使用方法，请参考 taosdump 的相关文档。
|
||||
|
|
@ -1,325 +0,0 @@
|
|||
---
|
||||
title: 系统监控
|
||||
description: 监控 TDengine 的运行状态
|
||||
---
|
||||
|
||||
TDengine 通过 [taosKeeper](../../reference/taosKeeper/) 将服务器的 CPU、内存、硬盘空间、带宽、请求数、磁盘读写速度等信息定时写入指定数据库。TDengine 还将重要的系统操作（比如登录、创建、删除数据库等）日志以及各种错误报警信息进行记录。系统管理员可以从 CLI 直接查看这个数据库，也可以在 WEB 通过图形化界面查看这些监测信息。
|
||||
|
||||
这些监测信息的采集缺省是打开的，但可以修改配置文件里的选项 monitor 将其关闭或打开。
|
||||
|
||||
## TDinsight - 使用监控数据库 + Grafana 对 TDengine 进行监控的解决方案
|
||||
|
||||
我们提供了一个自动化脚本 `TDinsight.sh` 对 TDinsight 进行部署。
|
||||
|
||||
下载 `TDinsight.sh`：
|
||||
|
||||
```bash
|
||||
wget https://github.com/taosdata/grafanaplugin/raw/master/dashboards/TDinsight.sh
|
||||
chmod +x TDinsight.sh
|
||||
```
|
||||
|
||||
准备：
|
||||
|
||||
1. TDengine Server 信息：
|
||||
|
||||
- TDengine RESTful 服务：对本地而言，可以是 `http://localhost:6041`，使用参数 `-a`。
|
||||
- TDengine 用户名和密码，使用 `-u` `-p` 参数设置。
|
||||
|
||||
2. Grafana 告警通知
|
||||
|
||||
- 使用已经存在的 Grafana Notification Channel `uid`，参数 `-E`。该参数可以使用 `curl -u admin:admin localhost:3000/api/alert-notifications |jq` 来获取。
|
||||
|
||||
```bash
|
||||
./TDinsight.sh -a http://localhost:6041 -u root -p taosdata -E <notifier uid>
|
||||
```
|
||||
|
||||
运行程序并重启 Grafana 服务，打开面板：`http://localhost:3000/d/tdinsight`。
|
||||
|
||||
## log 库
|
||||
|
||||
TDinsight dashboard 数据来源于 log 库（存放监控数据的默认db，可以在 taoskeeper 配置文件中修改，具体参考 [taoskeeper 文档](../../reference/taosKeeper)）。taoskeeper 启动后会自动创建 log 库，并将监控数据写入到该数据库中。
|
||||
|
||||
### taosd\_cluster\_basic 表
|
||||
|
||||
`taosd_cluster_basic` 表记录集群基础信息。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|ts|TIMESTAMP||timestamp|
|
||||
|first\_ep|VARCHAR||集群 first ep|
|
||||
|first\_ep\_dnode\_id|INT||集群 first ep 的 dnode id|
|
||||
|cluster_version|VARCHAR||tdengine version。例如：3.0.4.0|
|
||||
|cluster\_id|VARCHAR|TAG|cluster id|
|
||||
|
||||
### taosd\_cluster\_info 表
|
||||
|
||||
`taosd_cluster_info` 表记录集群信息。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|ts|TIMESTAMP||timestamp|
|
||||
|cluster_uptime|DOUBLE||当前 master 节点的uptime。单位：秒|
|
||||
|dbs\_total|DOUBLE||database 总数|
|
||||
|tbs\_total|DOUBLE||当前集群 table 总数|
|
||||
|stbs\_total|DOUBLE||当前集群 stable 总数|
|
||||
|dnodes\_total|DOUBLE||当前集群 dnode 总数|
|
||||
|dnodes\_alive|DOUBLE||当前集群 dnode 存活总数|
|
||||
|mnodes\_total|DOUBLE||当前集群 mnode 总数|
|
||||
|mnodes\_alive|DOUBLE||当前集群 mnode 存活总数|
|
||||
|vgroups\_total|DOUBLE||当前集群 vgroup 总数|
|
||||
|vgroups\_alive|DOUBLE||当前集群 vgroup 存活总数|
|
||||
|vnodes\_total|DOUBLE||当前集群 vnode 总数|
|
||||
|vnodes\_alive|DOUBLE||当前集群 vnode 存活总数|
|
||||
|connections\_total|DOUBLE||当前集群连接总数|
|
||||
|topics\_total|DOUBLE||当前集群 topic 总数|
|
||||
|streams\_total|DOUBLE||当前集群 stream 总数|
|
||||
|grants_expire\_time|DOUBLE||认证过期时间，企业版有效，社区版为 DOUBLE 最大值|
|
||||
|grants_timeseries\_used|DOUBLE||已用测点数|
|
||||
|grants_timeseries\_total|DOUBLE||总测点数，开源版本为 DOUBLE 最大值|
|
||||
|cluster\_id|VARCHAR|TAG|cluster id|
|
||||
|
||||
### taosd\_vgroups\_info 表
|
||||
|
||||
`taosd_vgroups_info` 表记录虚拟节点组信息。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|ts|TIMESTAMP||timestamp|
|
||||
|tables\_num|DOUBLE||vgroup 中 table 数量|
|
||||
|status|DOUBLE||vgroup 状态, 取值范围：unsynced = 0, ready = 1|
|
||||
|vgroup\_id|VARCHAR|TAG|vgroup id|
|
||||
|database\_name|VARCHAR|TAG|vgroup 所属的 database 名字|
|
||||
|cluster\_id|VARCHAR|TAG|cluster id|
|
||||
|
||||
### taosd\_dnodes\_info 表
|
||||
|
||||
`taosd_dnodes_info` 记录 dnode 信息。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|ts|TIMESTAMP||timestamp|
|
||||
|uptime|DOUBLE||dnode uptime，单位：秒|
|
||||
|cpu\_engine|DOUBLE||taosd cpu 使用率，从 `/proc/<taosd_pid>/stat` 读取|
|
||||
|cpu\_system|DOUBLE||服务器 cpu 使用率，从 `/proc/stat` 读取|
|
||||
|cpu\_cores|DOUBLE||服务器 cpu 核数|
|
||||
|mem\_engine|DOUBLE||taosd 内存使用率，从 `/proc/<taosd_pid>/status` 读取|
|
||||
|mem\_free|DOUBLE||服务器可用内存，单位 KB|
|
||||
|mem\_total|DOUBLE||服务器内存总量，单位 KB|
|
||||
|disk\_used|DOUBLE||data dir 挂载的磁盘使用量，单位 bytes|
|
||||
|disk\_total|DOUBLE||data dir 挂载的磁盘总容量，单位 bytes|
|
||||
|system\_net\_in|DOUBLE||网络吞吐率，从 `/proc/net/dev` 中读取的 received bytes。单位 byte/s|
|
||||
|system\_net\_out|DOUBLE||网络吞吐率，从 `/proc/net/dev` 中读取的 transmit bytes。单位 byte/s|
|
||||
|io\_read|DOUBLE||io 吞吐率，从 `/proc/<taosd_pid>/io` 中读取的 rchar 与上次数值计算之后，计算得到速度。单位 byte/s|
|
||||
|io\_write|DOUBLE||io 吞吐率，从 `/proc/<taosd_pid>/io` 中读取的 wchar 与上次数值计算之后，计算得到速度。单位 byte/s|
|
||||
|io\_read\_disk|DOUBLE||磁盘 io 吞吐率，从 `/proc/<taosd_pid>/io` 中读取的 read_bytes。单位 byte/s|
|
||||
|io\_write\_disk|DOUBLE||磁盘 io 吞吐率，从 `/proc/<taosd_pid>/io` 中读取的 write_bytes。单位 byte/s|
|
||||
|vnodes\_num|DOUBLE||dnode 上 vnodes 数量|
|
||||
|masters|DOUBLE||dnode 上 master node 数量|
|
||||
|has\_mnode|DOUBLE||dnode 是否包含 mnode，取值范围：包含=1,不包含=0|
|
||||
|has\_qnode|DOUBLE||dnode 是否包含 qnode，取值范围：包含=1,不包含=0|
|
||||
|has\_snode|DOUBLE||dnode 是否包含 snode，取值范围：包含=1,不包含=0|
|
||||
|has\_bnode|DOUBLE||dnode 是否包含 bnode，取值范围：包含=1,不包含=0|
|
||||
|error\_log\_count|DOUBLE||error 总数|
|
||||
|info\_log\_count|DOUBLE||info 总数|
|
||||
|debug\_log\_count|DOUBLE||debug 总数|
|
||||
|trace\_log\_count|DOUBLE||trace 总数|
|
||||
|dnode\_id|VARCHAR|TAG|dnode id|
|
||||
|dnode\_ep|VARCHAR|TAG|dnode endpoint|
|
||||
|cluster\_id|VARCHAR|TAG|cluster id|
|
||||
|
||||
### taosd\_dnodes\_status 表
|
||||
|
||||
`taosd_dnodes_status` 表记录 dnode 状态信息。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|ts|TIMESTAMP||timestamp|
|
||||
|status|DOUBLE||dnode 状态,取值范围：ready=1，offline =0|
|
||||
|dnode\_id|VARCHAR|TAG|dnode id|
|
||||
|dnode\_ep|VARCHAR|TAG|dnode endpoint|
|
||||
|cluster\_id|VARCHAR|TAG|cluster id|
|
||||
|
||||
### taosd\_dnodes\_log\_dir 表
|
||||
|
||||
`taosd_dnodes_log_dir` 表记录 log 目录信息。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|ts|TIMESTAMP||timestamp|
|
||||
|avail|DOUBLE||log 目录可用空间。单位 byte|
|
||||
|used|DOUBLE||log 目录已使用空间。单位 byte|
|
||||
|total|DOUBLE||log 目录空间。单位 byte|
|
||||
|name|VARCHAR|TAG|log 目录名，一般为 `/var/log/taos/`|
|
||||
|dnode\_id|VARCHAR|TAG|dnode id|
|
||||
|dnode\_ep|VARCHAR|TAG|dnode endpoint|
|
||||
|cluster\_id|VARCHAR|TAG|cluster id|
|
||||
|
||||
### taosd\_dnodes\_data\_dir 表
|
||||
|
||||
`taosd_dnodes_data_dir` 表记录 data 目录信息。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|ts|TIMESTAMP||timestamp|
|
||||
|avail|DOUBLE||data 目录可用空间。单位 byte|
|
||||
|used|DOUBLE||data 目录已使用空间。单位 byte|
|
||||
|total|DOUBLE||data 目录空间。单位 byte|
|
||||
|level|VARCHAR|TAG|0、1、2 多级存储级别|
|
||||
|name|VARCHAR|TAG|data 目录，一般为 `/var/lib/taos`|
|
||||
|dnode\_id|VARCHAR|TAG|dnode id|
|
||||
|dnode\_ep|VARCHAR|TAG|dnode endpoint|
|
||||
|cluster\_id|VARCHAR|TAG|cluster id|
|
||||
|
||||
### taosd\_mnodes\_info 表
|
||||
|
||||
`taosd_mnodes_info` 表记录 mnode 角色信息。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|ts|TIMESTAMP||timestamp|
|
||||
|role|DOUBLE||mnode 角色， 取值范围：offline = 0,follower = 100,candidate = 101,leader = 102,error = 103,learner = 104|
|
||||
|mnode\_id|VARCHAR|TAG|master node id|
|
||||
|mnode\_ep|VARCHAR|TAG|master node endpoint|
|
||||
|cluster\_id|VARCHAR|TAG|cluster id|
|
||||
|
||||
### taosd\_vnodes\_role 表
|
||||
|
||||
`taosd_vnodes_role` 表记录虚拟节点角色信息。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|ts|TIMESTAMP||timestamp|
|
||||
|vnode\_role|DOUBLE||vnode 角色，取值范围：offline = 0,follower = 100,candidate = 101,leader = 102,error = 103,learner = 104|
|
||||
|vgroup\_id|VARCHAR|TAG|dnode id|
|
||||
|dnode\_id|VARCHAR|TAG|dnode id|
|
||||
|database\_name|VARCHAR|TAG|vgroup 所属的 database 名字|
|
||||
|cluster\_id|VARCHAR|TAG|cluster id|
|
||||
|
||||
### taosd\_sql\_req 表
|
||||
|
||||
`taosd_sql_req` 记录授权信息。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|ts|TIMESTAMP||timestamp|
|
||||
|count|DOUBLE||sql 数量|
|
||||
|result|VARCHAR|TAG|sql的执行结果，取值范围：Success, Failed|
|
||||
|username|VARCHAR|TAG|执行sql的user name|
|
||||
|sql\_type|VARCHAR|TAG|sql类型，取值范围：inserted_rows|
|
||||
|dnode\_id|VARCHAR|TAG|dnode id|
|
||||
|dnode\_ep|VARCHAR|TAG|dnode endpoint|
|
||||
|vgroup\_id|VARCHAR|TAG|dnode id|
|
||||
|cluster\_id|VARCHAR|TAG|cluster id|
|
||||
|
||||
### taos\_sql\_req 表
|
||||
|
||||
`taos_sql_req` 记录授权信息。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|ts|TIMESTAMP||timestamp|
|
||||
|count|DOUBLE||sql 数量|
|
||||
|result|VARCHAR|TAG|sql的执行结果，取值范围：Success, Failed|
|
||||
|username|VARCHAR|TAG|执行sql的user name|
|
||||
|sql\_type|VARCHAR|TAG|sql类型，取值范围：select, insert，delete|
|
||||
|cluster\_id|VARCHAR|TAG|cluster id|
|
||||
|
||||
### taos\_slow\_sql 表
|
||||
|
||||
`taos_slow_sql` 记录授权信息。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|ts|TIMESTAMP||timestamp|
|
||||
|count|DOUBLE||sql 数量|
|
||||
|result|VARCHAR|TAG|sql的执行结果，取值范围：Success, Failed|
|
||||
|username|VARCHAR|TAG|执行sql的user name|
|
||||
|duration|VARCHAR|TAG|sql执行耗时，取值范围：3-10s,10-100s,100-1000s,1000s-|
|
||||
|cluster\_id|VARCHAR|TAG|cluster id|
|
||||
|
||||
### keeper\_monitor 表
|
||||
|
||||
`keeper_monitor` 记录 taoskeeper 监控数据。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|ts|TIMESTAMP||timestamp|
|
||||
|cpu|DOUBLE||cpu 使用率|
|
||||
|mem|DOUBLE||内存使用率|
|
||||
|identify|NCHAR|TAG||
|
||||
|
||||
### taosadapter\_restful\_http\_request\_total 表
|
||||
|
||||
`taosadapter_restful_http_request_total` 记录 taosadapter rest 请求信息，该表为 schemaless 方式创建的表，时间戳字段名为 `_ts`。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|\_ts|TIMESTAMP||timestamp|
|
||||
|gauge|DOUBLE||监控指标值|
|
||||
|client\_ip|NCHAR|TAG|client ip|
|
||||
|endpoint|NCHAR|TAG|taosadpater endpoint|
|
||||
|request\_method|NCHAR|TAG|request method|
|
||||
|request\_uri|NCHAR|TAG|request uri|
|
||||
|status\_code|NCHAR|TAG|status code|
|
||||
|
||||
### taosadapter\_restful\_http\_request\_fail 表
|
||||
|
||||
`taosadapter_restful_http_request_fail` 记录 taosadapter rest 请求失败信息，该表为 schemaless 方式创建的表，时间戳字段名为 `_ts`。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|\_ts|TIMESTAMP||timestamp|
|
||||
|gauge|DOUBLE||监控指标值|
|
||||
|client\_ip|NCHAR|TAG|client ip|
|
||||
|endpoint|NCHAR|TAG|taosadpater endpoint|
|
||||
|request\_method|NCHAR|TAG|request method|
|
||||
|request\_uri|NCHAR|TAG|request uri|
|
||||
|status\_code|NCHAR|TAG|status code|
|
||||
|
||||
### taosadapter\_restful\_http\_request\_in\_flight 表
|
||||
|
||||
`taosadapter_restful_http_request_in_flight` 记录 taosadapter rest 实时请求信息，该表为 schemaless 方式创建的表，时间戳字段名为 `_ts`。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|\_ts|TIMESTAMP||timestamp|
|
||||
|gauge|DOUBLE||监控指标值|
|
||||
|endpoint|NCHAR|TAG|taosadpater endpoint|
|
||||
|
||||
### taosadapter\_restful\_http\_request\_summary\_milliseconds 表
|
||||
|
||||
`taosadapter_restful_http_request_summary_milliseconds` 记录 taosadapter rest 请求汇总信息，该表为 schemaless 方式创建的表，时间戳字段名为 `_ts`。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|\_ts|TIMESTAMP||timestamp|
|
||||
|count|DOUBLE|||
|
||||
|sum|DOUBLE|||
|
||||
|0.5|DOUBLE|||
|
||||
|0.9|DOUBLE|||
|
||||
|0.99|DOUBLE|||
|
||||
|0.1|DOUBLE|||
|
||||
|0.2|DOUBLE|||
|
||||
|endpoint|NCHAR|TAG|taosadpater endpoint|
|
||||
|request\_method|NCHAR|TAG|request method|
|
||||
|request\_uri|NCHAR|TAG|request uri|
|
||||
|
||||
### taosadapter\_system\_mem\_percent 表
|
||||
|
||||
`taosadapter_system_mem_percent` 表记录 taosadapter 内存使用情况，该表为 schemaless 方式创建的表，时间戳字段名为 `_ts`。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|\_ts|TIMESTAMP||timestamp|
|
||||
|gauge|DOUBLE||监控指标值|
|
||||
|endpoint|NCHAR|TAG|taosadpater endpoint|
|
||||
|
||||
### taosadapter\_system\_cpu\_percent 表
|
||||
|
||||
`taosadapter_system_cpu_percent` 表记录 taosadapter cpu 使用情况，该表为 schemaless 方式创建的表，时间戳字段名为 `_ts`。
|
||||
|
||||
|field|type|is\_tag|comment|
|
||||
|:----|:---|:-----|:------|
|
||||
|\_ts|TIMESTAMP||timestamp|
|
||||
|gauge|DOUBLE||监控指标值|
|
||||
|endpoint|NCHAR|TAG|taosadpater endpoint|
|
||||
|
|
@ -1,72 +0,0 @@
|
|||
---
|
||||
title: 诊断及其他
|
||||
description: 一些常见问题的诊断技巧
|
||||
---
|
||||
|
||||
## 网络连接诊断
|
||||
|
||||
当出现客户端应用无法访问服务端时，需要确认客户端与服务端之间网络的各端口连通情况，以便有针对性地排除故障。
|
||||
|
||||
目前网络连接诊断支持在：Linux/Windows/macOS 之间进行诊断测试。
|
||||
|
||||
诊断步骤：
|
||||
|
||||
1. 如拟诊断的端口范围与服务器 taosd 实例的端口范围相同，须先停掉 taosd 实例
|
||||
2. 服务端命令行输入：`taos -n server -P <port> -l <pktlen>` 以服务端身份启动对端口 port 为基准端口的监听
|
||||
3. 客户端命令行输入：`taos -n client -h <fqdn of server> -P <port> -l <pktlen>` 以客户端身份启动对指定的服务器、指定的端口发送测试包
|
||||
|
||||
-l \<pktlen>： 测试网络包的大小（单位：字节）。最小值是 11、最大值是 64000，默认值为 1000。
|
||||
注：两端命令行中指定的测试包长度必须一致，否则测试显示失败。
|
||||
|
||||
服务端运行正常的话会输出以下信息：
|
||||
|
||||
```bash
|
||||
# taos -n server -P 6030 -l 1000
|
||||
network test server is initialized, port:6030
|
||||
request is received, size:1000
|
||||
request is received, size:1000
|
||||
...
|
||||
...
|
||||
...
|
||||
request is received, size:1000
|
||||
request is received, size:1000
|
||||
```
|
||||
|
||||
客户端运行正常会输出以下信息：
|
||||
|
||||
```bash
|
||||
# taos -n client -h 172.27.0.7 -P 6000
|
||||
taos -n client -h v3s2 -P 6030 -l 1000
|
||||
network test client is initialized, the server is v3s2:6030
|
||||
request is sent, size:1000
|
||||
response is received, size:1000
|
||||
request is sent, size:1000
|
||||
response is received, size:1000
|
||||
...
|
||||
...
|
||||
...
|
||||
request is sent, size:1000
|
||||
response is received, size:1000
|
||||
request is sent, size:1000
|
||||
response is received, size:1000
|
||||
|
||||
total succ: 100/100 cost: 16.23 ms speed: 5.87 MB/s
|
||||
```
|
||||
|
||||
仔细阅读打印出来的错误信息，可以帮助管理员找到原因，以解决问题。
|
||||
|
||||
## 服务端日志
|
||||
|
||||
taosd 服务端日志文件标志位 debugflag 默认为 131，在 debug 时往往需要将其提升到 135 或 143 。
|
||||
|
||||
一旦设定为 135 或 143，日志文件增长很快，特别是写入、查询请求量较大时，增长速度惊人。请注意日志文件目录所在磁盘的空间大小。
|
||||
|
||||
## 客户端日志
|
||||
|
||||
每个独立运行的客户端（一个进程）生成一个独立的客户端日志，其命名方式采用 taoslog+\<序号> 的方式命名。文件标志位 debugflag 默认为 131，在 debug 时往往需要将其提升到 135 或 143 。
|
||||
|
||||
- taoslog 客户端（driver）生成的日志，默认记录客户端 INFO/ERROR/WARNING 级别日志，还根据设置的日志输出级别，记录 DEBUG（日志级别 135）、TRACE（日志级别是 143）。
|
||||
|
||||
其中，日志文件最大长度由 numOfLogLines 来进行配置，一个 taosd 实例最多保留两个文件。
|
||||
|
||||
taosd 服务端日志采用异步落盘写入机制，优点是可以避免硬盘写入压力太大，对性能造成很大影响。缺点是，在极端情况下，存在少量日志行数丢失的可能。当问题分析需要的时候，可以考虑将 参数 asynclog 设置成 0，修改为同步落盘写入机制，保证日志不会丢失。
|
||||
|
|
@ -1 +0,0 @@
|
|||
label: 运维指南
|
||||
|
|
@ -1,12 +0,0 @@
|
|||
---
|
||||
title: 运维指南
|
||||
---
|
||||
|
||||
本章节主要为系统管理员写的，覆盖安装、下载、数据导入、导出、运行系统的监测、用户管理、连接管理等内容，同时介绍根据业务量，如何做容量规划，系统运行一段时间后，如何做系统优化。
|
||||
|
||||
```mdx-code-block
|
||||
import DocCardList from '@theme/DocCardList';
|
||||
import {useCurrentSidebarCategory} from '@docusaurus/theme-common';
|
||||
|
||||
<DocCardList items={useCurrentSidebarCategory().items}/>
|
||||
```
|
||||
Loading…
Reference in New Issue