refact vnod
This commit is contained in:
parent
b0f4a396d4
commit
1592ea69d5
|
@ -31,8 +31,6 @@ extern "C" {
|
||||||
// clang-format on
|
// clang-format on
|
||||||
|
|
||||||
// vnodeCfg ====================
|
// vnodeCfg ====================
|
||||||
int vnodeSaveCfg(const char* dir, const SVnodeCfg* pCfg);
|
|
||||||
int vnodeCommitCfg(const char* dir);
|
|
||||||
|
|
||||||
// vnodeModule ====================
|
// vnodeModule ====================
|
||||||
int vnodeScheduleTask(int (*execute)(void*), void* arg);
|
int vnodeScheduleTask(int (*execute)(void*), void* arg);
|
||||||
|
@ -42,6 +40,10 @@ int vnodeQueryOpen(SVnode* pVnode);
|
||||||
void vnodeQueryClose(SVnode* pVnode);
|
void vnodeQueryClose(SVnode* pVnode);
|
||||||
int vnodeGetTableMeta(SVnode* pVnode, SRpcMsg* pMsg);
|
int vnodeGetTableMeta(SVnode* pVnode, SRpcMsg* pMsg);
|
||||||
|
|
||||||
|
// vnodeCommit ====================
|
||||||
|
int vnodeSaveInfo(const char* dir, const SVnodeInfo* pCfg);
|
||||||
|
int vnodeCommitInfo(const char* dir, const SVnodeInfo* pInfo);
|
||||||
|
|
||||||
#if 1
|
#if 1
|
||||||
// SVBufPool
|
// SVBufPool
|
||||||
int vnodeOpenBufPool(SVnode* pVnode);
|
int vnodeOpenBufPool(SVnode* pVnode);
|
||||||
|
|
|
@ -43,6 +43,7 @@
|
||||||
extern "C" {
|
extern "C" {
|
||||||
#endif
|
#endif
|
||||||
|
|
||||||
|
typedef struct SVnodeInfo SVnodeInfo;
|
||||||
typedef struct SMeta SMeta;
|
typedef struct SMeta SMeta;
|
||||||
typedef struct STsdb STsdb;
|
typedef struct STsdb STsdb;
|
||||||
typedef struct STQ STQ;
|
typedef struct STQ STQ;
|
||||||
|
@ -72,6 +73,11 @@ struct SVState {
|
||||||
int64_t applied;
|
int64_t applied;
|
||||||
};
|
};
|
||||||
|
|
||||||
|
struct SVnodeInfo {
|
||||||
|
SVnodeCfg config;
|
||||||
|
SVState state;
|
||||||
|
};
|
||||||
|
|
||||||
struct SVnode {
|
struct SVnode {
|
||||||
int32_t vgId;
|
int32_t vgId;
|
||||||
char* path;
|
char* path;
|
||||||
|
|
|
@ -15,12 +15,6 @@
|
||||||
|
|
||||||
#include "vnodeInt.h"
|
#include "vnodeInt.h"
|
||||||
|
|
||||||
#define VND_INFO_FNAME "vnode.json"
|
|
||||||
#define VND_INFO_FNAME_TMP "vnode_tmp.json"
|
|
||||||
|
|
||||||
static int vnodeEncodeInfo(const SVnodeCfg *pCfg, uint8_t **ppData, int *len);
|
|
||||||
static int vnodeDecodeInfo(uint8_t *pData, int len, SVnodeCfg *pCfg);
|
|
||||||
|
|
||||||
const SVnodeCfg vnodeCfgDefault = {
|
const SVnodeCfg vnodeCfgDefault = {
|
||||||
.wsize = 96 * 1024 * 1024, .ssize = 1 * 1024 * 1024, .lsize = 1024, .walCfg = {.level = TAOS_WAL_WRITE}};
|
.wsize = 96 * 1024 * 1024, .ssize = 1 * 1024 * 1024, .lsize = 1024, .walCfg = {.level = TAOS_WAL_WRITE}};
|
||||||
|
|
||||||
|
@ -29,84 +23,6 @@ int vnodeCheckCfg(const SVnodeCfg *pCfg) {
|
||||||
return 0;
|
return 0;
|
||||||
}
|
}
|
||||||
|
|
||||||
int vnodeSaveCfg(const char *dir, const SVnodeCfg *pCfg) {
|
|
||||||
char fname[TSDB_FILENAME_LEN];
|
|
||||||
TdFilePtr pFile;
|
|
||||||
uint8_t *data;
|
|
||||||
int len;
|
|
||||||
|
|
||||||
snprintf(fname, TSDB_FILENAME_LEN, "%s%s%s", dir, TD_DIRSEP, VND_INFO_FNAME_TMP);
|
|
||||||
|
|
||||||
// encode info
|
|
||||||
data = NULL;
|
|
||||||
len = 0;
|
|
||||||
|
|
||||||
if (vnodeEncodeInfo(pCfg, &data, &len) < 0) {
|
|
||||||
return -1;
|
|
||||||
}
|
|
||||||
|
|
||||||
// save info to a vnode_tmp.json
|
|
||||||
pFile = taosOpenFile(fname, TD_FILE_CREATE | TD_FILE_WRITE | TD_FILE_TRUNC);
|
|
||||||
if (pFile == NULL) {
|
|
||||||
terrno = TAOS_SYSTEM_ERROR(errno);
|
|
||||||
return -1;
|
|
||||||
}
|
|
||||||
|
|
||||||
if (taosWriteFile(pFile, data, len) < 0) {
|
|
||||||
terrno = TAOS_SYSTEM_ERROR(errno);
|
|
||||||
goto _err;
|
|
||||||
}
|
|
||||||
|
|
||||||
if (taosFsyncFile(pFile) < 0) {
|
|
||||||
terrno = TAOS_SYSTEM_ERROR(errno);
|
|
||||||
goto _err;
|
|
||||||
}
|
|
||||||
|
|
||||||
taosCloseFile(&pFile);
|
|
||||||
|
|
||||||
// free info binary
|
|
||||||
taosMemoryFree(data);
|
|
||||||
|
|
||||||
vInfo("vgId: %d vnode info is saved, fname: %s", pCfg->vgId, fname);
|
|
||||||
|
|
||||||
return 0;
|
|
||||||
|
|
||||||
_err:
|
|
||||||
taosCloseFile(&pFile);
|
|
||||||
taosMemoryFree(data);
|
|
||||||
return -1;
|
|
||||||
}
|
|
||||||
|
|
||||||
int vnodeCommitCfg(const char *dir) {
|
|
||||||
char fname[TSDB_FILENAME_LEN];
|
|
||||||
char tfname[TSDB_FILENAME_LEN];
|
|
||||||
|
|
||||||
snprintf(fname, TSDB_FILENAME_LEN, "%s%s%s", dir, TD_DIRSEP, VND_INFO_FNAME);
|
|
||||||
snprintf(tfname, TSDB_FILENAME_LEN, "%s%s%s", dir, TD_DIRSEP, VND_INFO_FNAME_TMP);
|
|
||||||
|
|
||||||
if (taosRenameFile(tfname, fname) < 0) {
|
|
||||||
terrno = TAOS_SYSTEM_ERROR(errno);
|
|
||||||
return -1;
|
|
||||||
}
|
|
||||||
|
|
||||||
return 0;
|
|
||||||
}
|
|
||||||
|
|
||||||
int vnodeLoadCfg(const char *dir) {
|
|
||||||
// TODO
|
|
||||||
return 0;
|
|
||||||
}
|
|
||||||
|
|
||||||
static int vnodeEncodeInfo(const SVnodeCfg *pCfg, uint8_t **ppData, int *len) {
|
|
||||||
// TODO
|
|
||||||
return 0;
|
|
||||||
}
|
|
||||||
|
|
||||||
static int vnodeDecodeInfo(uint8_t *pData, int len, SVnodeCfg *pCfg) {
|
|
||||||
// TODO
|
|
||||||
return 0;
|
|
||||||
}
|
|
||||||
|
|
||||||
#if 1 //======================================================================
|
#if 1 //======================================================================
|
||||||
void vnodeOptionsCopy(SVnodeCfg *pDest, const SVnodeCfg *pSrc) {
|
void vnodeOptionsCopy(SVnodeCfg *pDest, const SVnodeCfg *pSrc) {
|
||||||
memcpy((void *)pDest, (void *)pSrc, sizeof(SVnodeCfg));
|
memcpy((void *)pDest, (void *)pSrc, sizeof(SVnodeCfg));
|
||||||
|
|
|
@ -15,11 +15,86 @@
|
||||||
|
|
||||||
#include "vnodeInt.h"
|
#include "vnodeInt.h"
|
||||||
|
|
||||||
|
#define VND_INFO_FNAME "vnode.json"
|
||||||
|
#define VND_INFO_FNAME_TMP "vnode_tmp.json"
|
||||||
|
|
||||||
|
static int vnodeEncodeInfo(const SVnodeInfo *pInfo, uint8_t **ppData, int *len);
|
||||||
|
static int vnodeDecodeInfo(uint8_t *pData, int len, SVnodeInfo *pInfo);
|
||||||
static int vnodeStartCommit(SVnode *pVnode);
|
static int vnodeStartCommit(SVnode *pVnode);
|
||||||
static int vnodeEndCommit(SVnode *pVnode);
|
static int vnodeEndCommit(SVnode *pVnode);
|
||||||
static int vnodeCommit(void *arg);
|
static int vnodeCommit(void *arg);
|
||||||
static void vnodeWaitCommit(SVnode *pVnode);
|
static void vnodeWaitCommit(SVnode *pVnode);
|
||||||
|
|
||||||
|
int vnodeSaveInfo(const char *dir, const SVnodeInfo *pInfo) {
|
||||||
|
char fname[TSDB_FILENAME_LEN];
|
||||||
|
TdFilePtr pFile;
|
||||||
|
uint8_t *data;
|
||||||
|
int len;
|
||||||
|
|
||||||
|
snprintf(fname, TSDB_FILENAME_LEN, "%s%s%s", dir, TD_DIRSEP, VND_INFO_FNAME_TMP);
|
||||||
|
|
||||||
|
// encode info
|
||||||
|
data = NULL;
|
||||||
|
len = 0;
|
||||||
|
|
||||||
|
if (vnodeEncodeInfo(pInfo, &data, &len) < 0) {
|
||||||
|
return -1;
|
||||||
|
}
|
||||||
|
|
||||||
|
// save info to a vnode_tmp.json
|
||||||
|
pFile = taosOpenFile(fname, TD_FILE_CREATE | TD_FILE_WRITE | TD_FILE_TRUNC);
|
||||||
|
if (pFile == NULL) {
|
||||||
|
terrno = TAOS_SYSTEM_ERROR(errno);
|
||||||
|
return -1;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (taosWriteFile(pFile, data, len) < 0) {
|
||||||
|
terrno = TAOS_SYSTEM_ERROR(errno);
|
||||||
|
goto _err;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (taosFsyncFile(pFile) < 0) {
|
||||||
|
terrno = TAOS_SYSTEM_ERROR(errno);
|
||||||
|
goto _err;
|
||||||
|
}
|
||||||
|
|
||||||
|
taosCloseFile(&pFile);
|
||||||
|
|
||||||
|
// free info binary
|
||||||
|
taosMemoryFree(data);
|
||||||
|
|
||||||
|
vInfo("vgId: %d vnode info is saved, fname: %s", pInfo->config.vgId, fname);
|
||||||
|
|
||||||
|
return 0;
|
||||||
|
|
||||||
|
_err:
|
||||||
|
taosCloseFile(&pFile);
|
||||||
|
taosMemoryFree(data);
|
||||||
|
return -1;
|
||||||
|
}
|
||||||
|
|
||||||
|
int vnodeCommitInfo(const char *dir, const SVnodeInfo *pInfo) {
|
||||||
|
char fname[TSDB_FILENAME_LEN];
|
||||||
|
char tfname[TSDB_FILENAME_LEN];
|
||||||
|
|
||||||
|
snprintf(fname, TSDB_FILENAME_LEN, "%s%s%s", dir, TD_DIRSEP, VND_INFO_FNAME);
|
||||||
|
snprintf(tfname, TSDB_FILENAME_LEN, "%s%s%s", dir, TD_DIRSEP, VND_INFO_FNAME_TMP);
|
||||||
|
|
||||||
|
if (taosRenameFile(tfname, fname) < 0) {
|
||||||
|
terrno = TAOS_SYSTEM_ERROR(errno);
|
||||||
|
return -1;
|
||||||
|
}
|
||||||
|
|
||||||
|
vInfo("vgId: %d vnode info is committed", pInfo->config.vgId);
|
||||||
|
|
||||||
|
return 0;
|
||||||
|
}
|
||||||
|
|
||||||
|
int vnodeLoadInfo(const char *dir) {
|
||||||
|
// TODO
|
||||||
|
return 0;
|
||||||
|
}
|
||||||
|
|
||||||
int vnodeAsyncCommit(SVnode *pVnode) {
|
int vnodeAsyncCommit(SVnode *pVnode) {
|
||||||
vnodeWaitCommit(pVnode);
|
vnodeWaitCommit(pVnode);
|
||||||
|
|
||||||
|
@ -60,4 +135,14 @@ static int vnodeEndCommit(SVnode *pVnode) {
|
||||||
return 0;
|
return 0;
|
||||||
}
|
}
|
||||||
|
|
||||||
static FORCE_INLINE void vnodeWaitCommit(SVnode *pVnode) { tsem_wait(&pVnode->canCommit); }
|
static FORCE_INLINE void vnodeWaitCommit(SVnode *pVnode) { tsem_wait(&pVnode->canCommit); }
|
||||||
|
|
||||||
|
static int vnodeEncodeInfo(const SVnodeInfo *pInfo, uint8_t **ppData, int *len) {
|
||||||
|
// TODO
|
||||||
|
return 0;
|
||||||
|
}
|
||||||
|
|
||||||
|
static int vnodeDecodeInfo(uint8_t *pData, int len, SVnodeInfo *pInfo) {
|
||||||
|
// TODO
|
||||||
|
return 0;
|
||||||
|
}
|
||||||
|
|
|
@ -21,7 +21,8 @@ static int vnodeOpenImpl(SVnode *pVnode);
|
||||||
static void vnodeCloseImpl(SVnode *pVnode);
|
static void vnodeCloseImpl(SVnode *pVnode);
|
||||||
|
|
||||||
int vnodeCreate(const char *path, SVnodeCfg *pCfg, STfs *pTfs) {
|
int vnodeCreate(const char *path, SVnodeCfg *pCfg, STfs *pTfs) {
|
||||||
char dir[TSDB_FILENAME_LEN];
|
SVnodeInfo info = {0};
|
||||||
|
char dir[TSDB_FILENAME_LEN];
|
||||||
|
|
||||||
// TODO: check if directory exists
|
// TODO: check if directory exists
|
||||||
|
|
||||||
|
@ -32,9 +33,15 @@ int vnodeCreate(const char *path, SVnodeCfg *pCfg, STfs *pTfs) {
|
||||||
}
|
}
|
||||||
|
|
||||||
// create vnode env
|
// create vnode env
|
||||||
tfsMkdir(pTfs, path);
|
if (tfsMkdir(pTfs, path) < 0) {
|
||||||
|
vError("vgId: %d failed to create vnode since: %s", pCfg->vgId, tstrerror(terrno));
|
||||||
|
return -1;
|
||||||
|
}
|
||||||
|
|
||||||
snprintf(dir, TSDB_FILENAME_LEN, "%s%s%s", tfsGetPrimaryPath(pTfs), TD_DIRSEP, path);
|
snprintf(dir, TSDB_FILENAME_LEN, "%s%s%s", tfsGetPrimaryPath(pTfs), TD_DIRSEP, path);
|
||||||
if (vnodeSaveCfg(dir, pCfg) < 0 || vnodeCommitCfg(dir) < 0) {
|
info.config = *pCfg;
|
||||||
|
|
||||||
|
if (vnodeSaveInfo(dir, &info) < 0 || vnodeCommitInfo(dir, &info) < 0) {
|
||||||
vError("vgId: %d failed to save vnode config since %s", pCfg->vgId, tstrerror(terrno));
|
vError("vgId: %d failed to save vnode config since %s", pCfg->vgId, tstrerror(terrno));
|
||||||
return -1;
|
return -1;
|
||||||
}
|
}
|
||||||
|
|
Loading…
Reference in New Issue