refactor desc. on data block

This commit is contained in:
Minglei Jin 2024-10-28 13:51:51 +08:00
parent b89d01a11f
commit 9fecac7850
1 changed files with 4 additions and 2 deletions

View File

@ -112,7 +112,7 @@ s3migrate database <db_name>;
| 2 | s3_chunksize | 262144 | 131072 | 1048576 | 上传对象的大小阈值,与 tsdb_pagesize 参数一样,不可修改,单位为 TSDB 页 |
| 3 | s3_compact | 1 | 0 | 1 | TSDB 文件组首次上传 S3 时,是否自动进行 compact 操作。 |
### 对象存储交互
### 对象存储读写次数估算
对象存储服务的使用成本与存储的数据量及请求次数相关,下面分别介绍数据的上传及下载过程。
@ -130,7 +130,9 @@ s3migrate database <db_name>;
#### 数据下载
在查询操作中如果需要访问对象存储中的数据TSDB 不会下载整个数据文件,而是计算所需数据在文件中的位置,只下载相应的数据块(请参考存储引擎部分)到 TSDB 页缓存中,然后将数据返回给查询执行引擎。后续查询首先检查页缓存,查看数据是否已被缓存。如果数据已缓存,则直接使用缓存中的数据,而无需重复从对象存储下载,从而有效降低从对象存储下载数据的次数。
在查询操作中如果需要访问对象存储中的数据TSDB 不会下载整个数据文件,而是计算所需数据在文件中的位置,只下载相应的数据到 TSDB 页缓存中,然后将数据返回给查询执行引擎。后续查询首先检查页缓存,查看数据是否已被缓存。如果数据已缓存,则直接使用缓存中的数据,而无需重复从对象存储下载,从而有效降低从对象存储下载数据的次数。
相邻的多个数据页(创建数据库时,通过 `tsdb_pagesize` 参数指定数据页大小,默认 4K 字节)会作为一个数据块从对象存储下载一次,以减少从对象存储下载的次数。
```math
下载次数 = 查询需要的数据块数量 - 已缓存的数据块数量