homework-jianmu/2.0/documentation20/cn/08.connector/01.java/docs.md

25 KiB
Raw Blame History

Java Connector

总体介绍

taos-jdbcdriver 的实现包括 2 种形式: JDBC-JNI 和 JDBC-RESTfultaos-jdbcdriver-2.0.18 开始支持 JDBC-RESTful。 JDBC-JNI 通过调用客户端 libtaos.so或 taos.dll )的本地方法实现, JDBC-RESTful 则在内部封装了 RESTful 接口实现。

tdengine-connector

上图显示了 3 种 Java 应用使用连接器访问 TDengine 的方式:

  • JDBC-JNIJava 应用在物理节点1pnode1上使用 JDBC-JNI 的 API ,直接调用客户端 APIlibtaos.so 或 taos.dll将写入和查询请求发送到位于物理节点2pnode2上的 taosd 实例。
  • RESTful应用将 SQL 发送给位于物理节点2pnode2上的 RESTful 连接器,再调用客户端 APIlibtaos.so
  • JDBC-RESTfulJava 应用通过 JDBC-RESTful 的 API ,将 SQL 封装成一个 RESTful 请求发送给物理节点2的 RESTful 连接器。

TDengine 的 JDBC 驱动实现尽可能与关系型数据库驱动保持一致但TDengine与关系对象型数据库的使用场景和技术特征存在差异导致 taos-jdbcdriver 与传统的 JDBC driver 也存在一定差异。在使用时需要注意以下几点:

  • TDengine 目前不支持针对单条数据记录的删除操作。
  • 目前不支持事务操作。

JDBC-JNI和JDBC-RESTful的对比

对比项JDBC-JNIJDBC-RESTful
支持的操作系统 linux、windows 全平台
是否需要安装 client 需要 不需要
server 升级后是否需要升级 client 需要 不需要
写入性能 JDBC-RESTful 是 JDBC-JNI 的 50%90%
查询性能 JDBC-RESTful 与 JDBC-JNI 没有差别

注意:与 JNI 方式不同RESTful 接口是无状态的。在使用JDBC-RESTful时需要在sql中指定表、超级表的数据库名称。从 TDengine 2.2.0.0 版本开始,也可以在 RESTful url 中指定当前 SQL 语句所使用的默认数据库名。)例如:

INSERT INTO test.t1 USING test.weather (ts, temperature) TAGS('beijing') VALUES(now, 24.6);

TAOS-JDBCDriver 版本以及支持的 TDengine 版本和 JDK 版本

taos-jdbcdriver 版本 TDengine 版本 JDK 版本
2.0.33 - 2.0.34 2.0.3.0 及以上 1.8.x
2.0.31 - 2.0.32 2.1.3.0 及以上 1.8.x
2.0.22 - 2.0.30 2.0.18.0 - 2.1.2.x 1.8.x
2.0.12 - 2.0.21 2.0.8.0 - 2.0.17.x 1.8.x
2.0.4 - 2.0.11 2.0.0.0 - 2.0.7.x 1.8.x
1.0.3 1.6.1.x 及以上 1.8.x
1.0.2 1.6.1.x 及以上 1.8.x
1.0.1 1.6.1.x 及以上 1.8.x

TDengine DataType 和 Java DataType

TDengine 目前支持时间戳、数字、字符、布尔类型,与 Java 对应类型转换如下:

TDengine DataType Java DataType
TIMESTAMP java.sql.Timestamp
INT java.lang.Integer
BIGINT java.lang.Long
FLOAT java.lang.Float
DOUBLE java.lang.Double
SMALLINT java.lang.Short
TINYINT java.lang.Byte
BOOL java.lang.Boolean
BINARY byte array
NCHAR java.lang.String

安装Java Connector

安装前准备

使用Java Connector连接数据库前需要具备以下条件

  1. Linux或Windows操作系统
  2. Java 1.8以上运行时环境
  3. TDengine-client使用JDBC-JNI时必须使用JDBC-RESTful时非必须

注意:由于 TDengine 的应用驱动是使用C语言开发的使用 taos-jdbcdriver 驱动包时需要依赖系统对应的本地函数库。

  • libtaos.so 在 Linux 系统中成功安装 TDengine 后,依赖的本地函数库 libtaos.so 文件会被自动拷贝至 /usr/lib/libtaos.so该目录包含在 Linux 自动扫描路径上,无需单独指定。
  • taos.dll 在 Windows 系统中安装完客户端之后,驱动包依赖的 taos.dll 文件会自动拷贝到系统默认搜索路径 C:/Windows/System32 下,同样无需要单独指定。

注意:在 Windows 环境开发时需要安装 TDengine 对应的 windows 客户端Linux 服务器安装完 TDengine 之后默认已安装 client也可以单独安装 Linux 客户端 连接远程 TDengine Server。

通过maven获取JDBC driver

目前 taos-jdbcdriver 已经发布到 Sonatype Repository 仓库,且各大仓库都已同步。

maven 项目中在pom.xml 中添加以下依赖:

<dependency>
 <groupId>com.taosdata.jdbc</groupId>
 <artifactId>taos-jdbcdriver</artifactId>
 <version>2.0.18</version>
</dependency>

通过源码编译获取JDBC driver

可以通过下载TDengine的源码自己编译最新版本的java connector

git clone https://github.com/taosdata/TDengine.git
cd TDengine/src/connector/jdbc
mvn clean package -Dmaven.test.skip=true

编译后在target目录下会产生taos-jdbcdriver-2.0.XX-dist.jar的jar包。

Java连接器的使用

获取连接

指定URL获取连接

通过指定URL获取连接如下所示

Class.forName("com.taosdata.jdbc.rs.RestfulDriver");
String jdbcUrl = "jdbc:TAOS-RS://taosdemo.com:6041/test?user=root&password=taosdata";
Connection conn = DriverManager.getConnection(jdbcUrl);

以上示例,使用 JDBC-RESTful 的 driver建立了到 hostname 为 taosdemo.com端口为 6041数据库名为 test 的连接。这个 URL 中指定用户名user为 root密码password为 taosdata。

使用 JDBC-RESTful 接口,不需要依赖本地函数库。与 JDBC-JNI 相比,仅需要:

  1. driverClass 指定为“com.taosdata.jdbc.rs.RestfulDriver”
  2. jdbcUrl 以“jdbc:TAOS-RS://”开头;
  3. 使用 6041 作为连接端口。

如果希望获得更好的写入和查询性能Java 应用可以使用 JDBC-JNI 的driver如下所示

Class.forName("com.taosdata.jdbc.TSDBDriver");
String jdbcUrl = "jdbc:TAOS://taosdemo.com:6030/test?user=root&password=taosdata";
Connection conn = DriverManager.getConnection(jdbcUrl);

以上示例,使用了 JDBC-JNI 的 driver建立了到 hostname 为 taosdemo.com端口为 6030TDengine 的默认端口),数据库名为 test 的连接。这个 URL 中指定用户名user为 root密码password为 taosdata。

注意:使用 JDBC-JNI 的 drivertaos-jdbcdriver 驱动包时需要依赖系统对应的本地函数库Linux 下是 libtaos.soWindows 下是 taos.dll

在 Windows 环境开发时需要安装 TDengine 对应的 windows 客户端Linux 服务器安装完 TDengine 之后默认已安装 client也可以单独安装 Linux 客户端 连接远程 TDengine Server。

JDBC-JNI 的使用请参见视频教程

TDengine 的 JDBC URL 规范格式为: jdbc:[TAOS|TAOS-RS]://[host_name]:[port]/[database_name]?[user={user}|&password={password}|&charset={charset}|&cfgdir={config_dir}|&locale={locale}|&timezone={timezone}]

url中的配置参数如下

  • user登录 TDengine 用户名,默认值 'root'。
  • password用户登录密码默认值 'taosdata'。
  • cfgdir客户端配置文件目录路径Linux OS 上默认值 /etc/taosWindows OS 上默认值 C:/TDengine/cfg
  • charset客户端使用的字符集默认值为系统字符集。
  • locale客户端语言环境默认值系统当前 locale。
  • timezone客户端使用的时区默认值为系统当前时区。
  • batchfetch: 仅在使用JDBC-JNI时生效。true在执行查询时批量拉取结果集false逐行拉取结果集。默认值为false。
  • timestampFormat: 仅在使用JDBC-RESTful时生效. 'TIMESTAMP'结果集中timestamp类型的字段为一个long值; 'UTC'结果集中timestamp类型的字段为一个UTC时间格式的字符串; 'STRING'结果集中timestamp类型的字段为一个本地时间格式的字符串。默认值为'STRING'。
  • batchErrorIgnoretrue在执行Statement的executeBatch时如果中间有一条sql执行失败继续执行下面的sq了。false不再执行失败sql后的任何语句。默认值为false。

指定URL和Properties获取连接

除了通过指定的 URL 获取连接,还可以使用 Properties 指定建立连接时的参数,如下所示:

public Connection getConn() throws Exception{
  Class.forName("com.taosdata.jdbc.TSDBDriver");
  // Class.forName("com.taosdata.jdbc.rs.RestfulDriver");
  String jdbcUrl = "jdbc:TAOS://taosdemo.com:6030/test?user=root&password=taosdata";
  // String jdbcUrl = "jdbc:TAOS-RS://taosdemo.com:6041/test?user=root&password=taosdata";
  Properties connProps = new Properties();
  connProps.setProperty(TSDBDriver.PROPERTY_KEY_CHARSET, "UTF-8");
  connProps.setProperty(TSDBDriver.PROPERTY_KEY_LOCALE, "en_US.UTF-8");
  connProps.setProperty(TSDBDriver.PROPERTY_KEY_TIME_ZONE, "UTC-8");
  Connection conn = DriverManager.getConnection(jdbcUrl, connProps);
  return conn;
}

以上示例,建立一个到 hostname 为 taosdemo.com端口为 6030数据库名为 test 的连接。注释为使用 JDBC-RESTful 时的方法。这个连接在 url 中指定了用户名(user)为 root密码password为 taosdata并在 connProps 中指定了使用的字符集、语言环境、时区等信息。

properties 中的配置参数如下:

  • TSDBDriver.PROPERTY_KEY_USER登录 TDengine 用户名,默认值 'root'。
  • TSDBDriver.PROPERTY_KEY_PASSWORD用户登录密码默认值 'taosdata'。
  • TSDBDriver.PROPERTY_KEY_CONFIG_DIR客户端配置文件目录路径Linux OS 上默认值 /etc/taosWindows OS 上默认值 C:/TDengine/cfg
  • TSDBDriver.PROPERTY_KEY_CHARSET客户端使用的字符集默认值为系统字符集。
  • TSDBDriver.PROPERTY_KEY_LOCALE客户端语言环境默认值系统当前 locale。
  • TSDBDriver.PROPERTY_KEY_TIME_ZONE客户端使用的时区默认值为系统当前时区。
  • TSDBDriver.PROPERTY_KEY_BATCH_LOAD: 仅在使用JDBC-JNI时生效。true在执行查询时批量拉取结果集false逐行拉取结果集。默认值为false。
  • TSDBDriver.PROPERTY_KEY_TIMESTAMP_FORMAT: 仅在使用JDBC-RESTful时生效. 'TIMESTAMP'结果集中timestamp类型的字段为一个long值; 'UTC'结果集中timestamp类型的字段为一个UTC时间格式的字符串; 'STRING'结果集中timestamp类型的字段为一个本地时间格式的字符串。默认值为'STRING'。
  • TSDBDriver.PROPERTY_KEY_BATCH_ERROR_IGNOREtrue在执行Statement的executeBatch时如果中间有一条sql执行失败继续执行下面的sq了。false不再执行失败sql后的任何语句。默认值为false。

使用客户端配置文件建立连接

当使用 JDBC-JNI 连接 TDengine 集群时,可以使用客户端配置文件,在客户端配置文件中指定集群的 firstEp、secondEp参数。如下所示

  1. 在 Java 应用中不指定 hostname 和 port
public Connection getConn() throws Exception{
  Class.forName("com.taosdata.jdbc.TSDBDriver");
  String jdbcUrl = "jdbc:TAOS://:/test?user=root&password=taosdata";
  Properties connProps = new Properties();
  connProps.setProperty(TSDBDriver.PROPERTY_KEY_CHARSET, "UTF-8");
  connProps.setProperty(TSDBDriver.PROPERTY_KEY_LOCALE, "en_US.UTF-8");
  connProps.setProperty(TSDBDriver.PROPERTY_KEY_TIME_ZONE, "UTC-8");
  Connection conn = DriverManager.getConnection(jdbcUrl, connProps);
  return conn;
}
  1. 在配置文件中指定 firstEp 和 secondEp
# first fully qualified domain name (FQDN) for TDengine system
firstEp               cluster_node1:6030

# second fully qualified domain name (FQDN) for TDengine system, for cluster only
secondEp              cluster_node2:6030

# default system charset
# charset               UTF-8  

# system locale
# locale                en_US.UTF-8

以上示例jdbc 会使用客户端的配置文件,建立到 hostname 为 cluster_node1、端口为 6030、数据库名为 test 的连接。当集群中 firstEp 节点失效时JDBC 会尝试使用 secondEp 连接集群。

TDengine 中,只要保证 firstEp 和 secondEp 中一个节点有效,就可以正常建立到集群的连接。

注意:这里的配置文件指的是调用 JDBC Connector 的应用程序所在机器上的配置文件Linux OS 上默认值 /etc/taos/taos.cfg Windows OS 上默认值 C://TDengine/cfg/taos.cfg。

配置参数的优先级

通过以上 3 种方式获取连接,如果配置参数在 url、Properties、客户端配置文件中有重复则参数的优先级由高到低分别如下:

  1. JDBC URL 参数,如上所述,可以在 JDBC URL 的参数中指定。
  2. Properties connProps
  3. 客户端配置文件 taos.cfg

例如:在 url 中指定了 password 为 taosdata在 Properties 中指定了 password 为 taosdemo那么JDBC 会使用 url 中的 password 建立连接。

更多详细配置请参考客户端配置

创建数据库和表

Statement stmt = conn.createStatement();

// create database
stmt.executeUpdate("create database if not exists db");

// use database
stmt.executeUpdate("use db");

// create table
stmt.executeUpdate("create table if not exists tb (ts timestamp, temperature int, humidity float)");

注意:如果不使用 use db 指定数据库,则后续对表的操作都需要增加数据库名称作为前缀,如 db.tb。

插入数据

// insert data
int affectedRows = stmt.executeUpdate("insert into tb values(now, 23, 10.3) (now + 1s, 20, 9.3)");

System.out.println("insert " + affectedRows + " rows.");

now 为系统内部函数,默认为客户端所在计算机当前时间。 now + 1s 代表客户端当前时间往后加 1 秒数字后面代表时间单位a(毫秒)s(秒)m(分)h(小时)d(天)w(周)n(月)y(年)。

查询数据

// query data
ResultSet resultSet = stmt.executeQuery("select * from tb");

Timestamp ts = null;
int temperature = 0;
float humidity = 0;
while(resultSet.next()){

    ts = resultSet.getTimestamp(1);
    temperature = resultSet.getInt(2);
    humidity = resultSet.getFloat("humidity");

    System.out.printf("%s, %d, %s\n", ts, temperature, humidity);
}

查询和操作关系型数据库一致,使用下标获取返回字段内容时从 1 开始,建议使用字段名称获取。

处理异常

在报错后通过SQLException可以获取到错误的信息和错误码

try (Statement statement = connection.createStatement()) {
    // executeQuery
    ResultSet resultSet = statement.executeQuery(sql);
    // print result
    printResult(resultSet);
} catch (SQLException e) {
    System.out.println("ERROR Message: " + e.getMessage());
    System.out.println("ERROR Code: " + e.getErrorCode());
    e.printStackTrace();
}

JDBC连接器可能报错的错误码包括3种JDBC driver本身的报错错误码在0x2301到0x2350之间JNI方法的报错错误码在0x2351到0x2400之间TDengine其他功能模块的报错。

具体的错误码请参考:

通过参数绑定写入数据

从 2.1.2.0 版本开始TDengine 的 JDBC-JNI 实现大幅改进了参数绑定方式对数据写入INSERT场景的支持。采用这种方式写入数据时能避免 SQL 语法解析的资源消耗,从而在很多情况下显著提升写入性能。(注意:JDBC-RESTful 实现并不提供参数绑定这种使用方式。)

Statement stmt = conn.createStatement();
Random r = new Random();

// INSERT 语句中VALUES 部分允许指定具体的数据列;如果采取自动建表,则 TAGS 部分需要设定全部 TAGS 列的参数值:
TSDBPreparedStatement s = (TSDBPreparedStatement) conn.prepareStatement("insert into ? using weather_test tags (?, ?) (ts, c1, c2) values(?, ?, ?)");

// 设定数据表名:
s.setTableName("w1");
// 设定 TAGS 取值:
s.setTagInt(0, r.nextInt(10));
s.setTagString(1, "Beijing");

int numOfRows = 10;

// VALUES 部分以逐列的方式进行设置:
ArrayList<Long> ts = new ArrayList<>();
for (int i = 0; i < numOfRows; i++){
    ts.add(System.currentTimeMillis() + i);
}
s.setTimestamp(0, ts);

ArrayList<Integer> s1 = new ArrayList<>();
for (int i = 0; i < numOfRows; i++){
    s1.add(r.nextInt(100));
}
s.setInt(1, s1);

ArrayList<String> s2 = new ArrayList<>();
for (int i = 0; i < numOfRows; i++){
    s2.add("test" + r.nextInt(100));
}
s.setString(2, s2, 10);

// AddBatch 之后,缓存并未清空。为避免混乱,并不推荐在 ExecuteBatch 之前再次绑定新一批的数据:
s.columnDataAddBatch();
// 执行绑定数据后的语句:
s.columnDataExecuteBatch();
// 执行语句后清空缓存。在清空之后,可以复用当前的对象,绑定新的一批数据(可以是新表名、新 TAGS 值、新 VALUES 值):
s.columnDataClearBatch();
// 执行完毕,释放资源:
s.columnDataCloseBatch();

用于设定 TAGS 取值的方法总共有:

public void setTagNull(int index, int type)
public void setTagBoolean(int index, boolean value)
public void setTagInt(int index, int value)
public void setTagByte(int index, byte value)
public void setTagShort(int index, short value)
public void setTagLong(int index, long value)
public void setTagTimestamp(int index, long value)
public void setTagFloat(int index, float value)
public void setTagDouble(int index, double value)
public void setTagString(int index, String value)
public void setTagNString(int index, String value)

用于设定 VALUES 数据列的取值的方法总共有:

public void setInt(int columnIndex, ArrayList<Integer> list) throws SQLException
public void setFloat(int columnIndex, ArrayList<Float> list) throws SQLException
public void setTimestamp(int columnIndex, ArrayList<Long> list) throws SQLException
public void setLong(int columnIndex, ArrayList<Long> list) throws SQLException
public void setDouble(int columnIndex, ArrayList<Double> list) throws SQLException
public void setBoolean(int columnIndex, ArrayList<Boolean> list) throws SQLException
public void setByte(int columnIndex, ArrayList<Byte> list) throws SQLException
public void setShort(int columnIndex, ArrayList<Short> list) throws SQLException
public void setString(int columnIndex, ArrayList<String> list, int size) throws SQLException
public void setNString(int columnIndex, ArrayList<String> list, int size) throws SQLException

其中 setString 和 setNString 都要求用户在 size 参数里声明表定义中对应列的列宽。

订阅

创建

TSDBSubscribe sub = ((TSDBConnection)conn).subscribe("topic", "select * from meters", false);

subscribe 方法的三个参数含义如下:

  • topic订阅的主题即名称此参数是订阅的唯一标识
  • sql订阅的查询语句此语句只能是 select 语句,只应查询原始数据,只能按时间正序查询数据
  • restart如果订阅已经存在是重新开始还是继续之前的订阅

如上面的例子将使用 SQL 语句 select * from meters 创建一个名为 topic 的订阅,如果这个订阅已经存在,将继续之前的查询进度,而不是从头开始消费所有的数据。

消费数据

int total = 0;
while(true) {
    TSDBResultSet rs = sub.consume();
    int count = 0;
    while(rs.next()) {
        count++;
    }
    total += count;
    System.out.printf("%d rows consumed, total %d\n", count, total);
    Thread.sleep(1000);
}

consume 方法返回一个结果集,其中包含从上次 consume 到目前为止的所有新数据。请务必按需选择合理的调用 consume 的频率(如例子中的 Thread.sleep(1000)),否则会给服务端造成不必要的压力。

关闭订阅

sub.close(true);

close 方法关闭一个订阅。如果其参数为 true 表示保留订阅进度信息,后续可以创建同名订阅继续消费数据;如为 false 则不保留订阅进度。

关闭资源

resultSet.close();
stmt.close();
conn.close();

注意务必要将 connection 进行关闭,否则会出现连接泄露。

与连接池使用

HikariCP

使用示例如下:

 public static void main(String[] args) throws SQLException {
    HikariConfig config = new HikariConfig();
    // jdbc properties
    config.setJdbcUrl("jdbc:TAOS://127.0.0.1:6030/log");
    config.setUsername("root");
    config.setPassword("taosdata");
    // connection pool configurations
    config.setMinimumIdle(10);           //minimum number of idle connection
    config.setMaximumPoolSize(10);      //maximum number of connection in the pool
    config.setConnectionTimeout(30000); //maximum wait milliseconds for get connection from pool
    config.setMaxLifetime(0);       // maximum life time for each connection
    config.setIdleTimeout(0);       // max idle time for recycle idle connection
    config.setConnectionTestQuery("select server_status()"); //validation query

    HikariDataSource ds = new HikariDataSource(config); //create datasource

    Connection  connection = ds.getConnection(); // get connection
    Statement statement = connection.createStatement(); // get statement

    //query or insert
    // ...

    connection.close(); // put back to conneciton pool
}

通过 HikariDataSource.getConnection() 获取连接后,使用完成后需要调用 close() 方法,实际上它并不会关闭连接,只是放回连接池中。 更多 HikariCP 使用问题请查看官方说明

Druid

使用示例如下:

public static void main(String[] args) throws Exception {

    DruidDataSource dataSource = new DruidDataSource();
    // jdbc properties
    dataSource.setDriverClassName("com.taosdata.jdbc.TSDBDriver");
    dataSource.setUrl(url);
    dataSource.setUsername("root");
    dataSource.setPassword("taosdata");
    // pool configurations
    dataSource.setInitialSize(10);
    dataSource.setMinIdle(10);
    dataSource.setMaxActive(10);
    dataSource.setMaxWait(30000);
    dataSource.setValidationQuery("select server_status()");
	
    Connection  connection = dataSource.getConnection(); // get connection
    Statement statement = connection.createStatement(); // get statement
    //query or insert 
    // ...

    connection.close(); // put back to conneciton pool
}

更多 druid 使用问题请查看官方说明

注意事项:

  • TDengine v1.6.4.1 版本开始提供了一个专门用于心跳检测的函数 select server_status(),所以在使用连接池时推荐使用 select server_status() 进行 Validation Query。

如下所示,select server_status() 执行成功会返回 1

taos> select server_status();
server_status()|
================
1              |
Query OK, 1 row(s) in set (0.000141s)

在框架中使用

示例程序

示例程序源码位于TDengine/test/examples/JDBC下:

  • JDBCDemoJDBC示例源程序
  • JDBCConnectorCheckerJDBC安装校验源程序及jar包
  • Springbootdemospringboot示例源程序
  • SpringJdbcTemplateSpringJDBC模板

请参考:JDBC example

常见问题

  • java.lang.UnsatisfiedLinkError: no taos in java.library.path

    原因:程序没有找到依赖的本地函数库 taos。

    解决方法Windows 下可以将 C:\TDengine\driver\taos.dll 拷贝到 C:\Windows\System32\ 目录下Linux 下将建立如下软链 ln -s /usr/local/taos/driver/libtaos.so.x.x.x.x /usr/lib/libtaos.so 即可。

  • java.lang.UnsatisfiedLinkError: taos.dll Can't load AMD 64 bit on a IA 32-bit platform

    原因:目前 TDengine 只支持 64 位 JDK。

    解决方法:重新安装 64 位 JDK。

  • 其它问题请参考 Issues