fix(docs/s3): make OBS explicitly
This commit is contained in:
Minglei Jin
parent
1e407d097a
commit
abbede0229
|
|
@ -60,11 +60,15 @@ dataDir /mnt/data6 2 0
|
|||
|
||||
## 对象存储
|
||||
|
||||
本节介绍在 TDengine Enterprise 如何使用 S3 对象存储，本功能基于通用 S3 SDK 实现，对各个 S3 平台的访问参数进行了兼容适配，可以访问如 Amazon S3、Azure Blob、华为 OBS、腾讯云 COS、阿里云 OSS、minio等对象存储服务。通过适当的参数配置，可以把大部分较冷的时序数据存储到 S3 服务中。
|
||||
本节介绍在 TDengine Enterprise 版本中如何使用对象存储功能，如 Amazon S3、Azure Blob Storage、华为 OBS、腾讯云 COS、阿里云 OSS、MinIO 等对象存储服务。
|
||||
|
||||
**注意** 在配合多级存储使用时，每一级存储介质上保存的数据都有可能被按规则备份到远程对象存储中并删除本地数据文件。
|
||||
|
||||
### 配置方式
|
||||
### S3 对象存储
|
||||
|
||||
本功能基于通用 S3 SDK 实现，对各个 S3 平台的访问参数进行了兼容适配，通过适当的参数配置，可以把大部分较冷的时序数据存储到 S3 服务中。
|
||||
|
||||
#### 配置方式
|
||||
|
||||
在配置文件 /etc/taos/taos.cfg 中，添加用于 S3 访问的参数：
|
||||
|
||||
|
|
@ -78,7 +82,7 @@ dataDir /mnt/data6 2 0
|
|||
| s3MigrateIntervalSec | 本地数据文件自动上传 S3 的触发周期，单位为秒。最小值：600；最大值：100000。默认值 3600 |
|
||||
| s3MigrateEnabled | 是否自动进行 S3 迁移，默认值为 0，表示关闭自动 S3 迁移，可配置为 1。 |
|
||||
|
||||
### 检查配置参数可用性
|
||||
#### 检查配置参数可用性
|
||||
|
||||
在 taos.cfg 中完成对 S3 的配置后，通过 taosd 命令的 checks3 参数可以检查所配置的 S3 服务是否可用：
|
||||
|
||||
|
|
@ -88,7 +92,7 @@ taosd --checks3
|
|||
|
||||
如果配置的 S3 服务无法访问，此命令会在运行过程中输出相应的错误信息。
|
||||
|
||||
### 创建使用 S3 的 DB
|
||||
#### 创建使用 S3 的 DB
|
||||
|
||||
完成配置后，即可启动 TDengine 集群，创建使用 S3 的数据库，比如：
|
||||
|
||||
|
|
@ -112,11 +116,11 @@ s3migrate database <db_name>;
|
|||
| 2 | s3_chunkpages | 131072 | 131072 | 1048576 | 上传对象的大小阈值，与 tsdb_pagesize 参数一样，不可修改，单位为 TSDB 页 |
|
||||
| 3 | s3_compact | 1 | 0 | 1 | TSDB 文件组首次上传 S3 时，是否自动进行 compact 操作 |
|
||||
|
||||
### 对象存储读写次数估算
|
||||
#### 对象存储读写次数估算
|
||||
|
||||
对象存储服务的使用成本与存储的数据量及请求次数相关，下面分别介绍数据的上传及下载过程。
|
||||
|
||||
#### 数据上传
|
||||
##### 数据上传
|
||||
|
||||
当 TSDB 时序数据超过 `s3_keeplocal` 参数指定的时间，相关的数据文件会被切分成多个文件块，每个文件块的默认大小是 512M 字节 (`s3_chunkpages * tsdb_pagesize`)。除了最后一个文件块保留在本地文件系统外，其余的文件块会被上传到对象存储服务。
|
||||
|
||||
|
|
@ -128,7 +132,7 @@ s3migrate database <db_name>;
|
|||
|
||||
其它类型的文件如 head, stt, sma 等，保留在本地文件系统，以加速预计算相关查询。
|
||||
|
||||
#### 数据下载
|
||||
##### 数据下载
|
||||
|
||||
在查询操作中，如果需要访问对象存储中的数据，TSDB 不会下载整个数据文件，而是计算所需数据在文件中的位置，只下载相应的数据到 TSDB 页缓存中，然后将数据返回给查询执行引擎。后续查询首先检查页缓存，查看数据是否已被缓存。如果数据已缓存，则直接使用缓存中的数据，而无需重复从对象存储下载，从而有效降低从对象存储下载数据的次数。
|
||||
|
||||
|
|
@ -140,15 +144,15 @@ s3migrate database <db_name>;
|
|||
|
||||
页缓存是内存缓存，节点重启后，再次查询需要重新下载数据。缓存采用 LRU (Least Recently Used) 策略，当缓存空间不足时，最近最少使用的数据将被淘汰。缓存的大小可以通过 `s3PageCacheSize` 参数进行调整，通常来说，缓存越大，下载次数越少。
|
||||
|
||||
## Azure Blob 存储
|
||||
本节介绍在 TDengine Enterprise 如何使用微软 Azure Blob 对象存储。本功能是上一小节‘对象存储’功能的扩展，需额外依赖 Flexify 服务提供的 S3 网关。通过适当的参数配置，可以把大部分较冷的时序数据存储到 Azure Blob 服务中。
|
||||
### Azure Blob 存储
|
||||
本节介绍在 TDengine Enterprise 版本中如何使用微软 Azure Blob 存储。本功能可以通过两个方式使用：利用 Flexify 服务提供的 S3 网关功能和不依赖 Flexify 服务。通过配置参数，可以把大部分较冷的时序数据存储到 Azure Blob 服务中。
|
||||
|
||||
### Flexify 服务
|
||||
#### Flexify 服务
|
||||
Flexify 是 Azure Marketplace 中的一款应用程序，允许兼容 S3 的应用程序通过标准 S3 API 在 Azure Blob Storage 中存储数据。可使用多个 Flexify 服务对同一个 Blob 存储建立多个 S3 网关。
|
||||
|
||||
部署方式请参考 [Flexify](https://azuremarketplace.microsoft.com/en-us/marketplace/apps/flexify.azure-s3-api?tab=Overview) 应用页面说明。
|
||||
|
||||
### 配置方式
|
||||
##### 配置方式
|
||||
|
||||
在配置文件 /etc/taos/taos.cfg 中，添加用于 S3 访问的参数：
|
||||
|
||||
|
|
@ -164,7 +168,7 @@ s3BucketName td-test
|
|||
- 在某一 S3 服务上操作失败后会切换至其他服务，全部服务都失败后将返回最后产生的错误码
|
||||
- 最大支持的 S3 服务配置数为 10
|
||||
|
||||
### 不依赖 Flexify 服务
|
||||
#### 不依赖 Flexify 服务
|
||||
|
||||
用户界面同 S3，不同的地方在于下面三个参数的配置：
|
||||
|
||||
|
|
|
|||
Loading…
Reference in New Issue