MySQL批量插入数据的几种方法
最近公司要求测试数据库的性能,就上网查了一些批量插入数据的代码,发现有好几种不同的用法,插入同样数据的耗时也有区别
别的先不说,先上一段代码与君共享
方法一:
package com.bigdata; import java.sql.Connection; import java.sql.Driver; import java.sql.DriverManager; import java.sql.PreparedStatement; public class TestBigData { /** * @param args * @throws Exception * @throws IllegalAccessException * @throws InstantiationException */ public static void main(String[] args) throws Exception { //--------------------------------连接数据库---------------------- String driver="com.mysql.jdbc.Driver"; String url="jdbc:mysql://127.0.0.1:3306/test"; String user="root"; String password="root"; //1、新建驱动 Driver driverInstance = (Driver) Class.forName(driver).newInstance(); //2、注册驱动 DriverManager.registerDriver(driverInstance); //3、获取连接 Connection conn = DriverManager.getConnection(url, user, password); //----------------------对数据库进行操作------------------- //记录开始时间 Long begin=System.currentTimeMillis(); //-----------插入数据---------- //sql语句前缀 String sqlPre="insert into tb_big_db (count,create_time,random) values "; StringBuffer sb = new StringBuffer(); //设置事务为非自动提交 conn.setAutoCommit(false); //使用PrepareStatement更好 PreparedStatement pstate = conn.prepareStatement(""); //--------------------------十万条数据------------- //设置外循环,总提交事务的次数 for(int i=0;i<100;i++){ for(int j=0;j<10000;j++){ //构建sql后缀 sb.append("("+j*i+",SYSDATE(),"+i*j*Math.random()+"),"); } //构建完整的sql String sql = sqlPre + sb.substring(0, sb.length()-1); //添加sql pstate.addBatch(sql); //执行sql pstate.executeBatch(); //提交事务 conn.commit(); //清空StringBuffer上一次添加的sql语句 sb = new StringBuffer(); } //大循环完毕,关闭连接 pstate.close(); conn.close(); //结束时间 Long end = System.currentTimeMillis(); System.out.println("10万条数据,插入数据库耗时:"+(end-begin)+"ms"); } }
耗时:1952ms
说明:这速度,不堪入目啊,公司的数据库,不管从硬件还是软件来看,都不行呐。
方法二:
package com.bigdata; import java.sql.Connection; import java.sql.Driver; import java.sql.DriverManager; import java.sql.PreparedStatement; public class TestBigData2 { public static void main(String[] args) throws Exception{ //--------------------------------连接数据库---------------------- String driver="com.mysql.jdbc.Driver"; String url="jdbc:mysql://127.0.0.1:3306/test"; String user="root"; String password="root"; //1、新建驱动 Driver driverInstance = (Driver) Class.forName(driver).newInstance(); //2、注册驱动 DriverManager.registerDriver(driverInstance); //3、获取连接 Connection conn = DriverManager.getConnection(url, user, password); //-----------------------------------操作数据库----------------- //记录开始时间 Long begin = System.currentTimeMillis(); //动态sql语句 String sql = "insert into tb_big_db (count,create_time,random) values (?,SYSDATE(),?)"; //设置事务为非自动提交 conn.setAutoCommit(false); //预编译sql PreparedStatement pstate = conn.prepareStatement(sql); //外循环10次 for(int i=0;i<10;i++){ //内循环10000次 for(int j=0;i<1000;j++){ pstate.setLong(1, i*j); pstate.setLong(2, i*j); //添加到批处理上 pstate.addBatch(); } //批处理 pstate.executeBatch(); //提交 conn.commit(); } //关闭 pstate.close(); conn.close(); //结束时间 Long end = System.currentTimeMillis(); System.out.println("插入10万条数据,耗时:"+(end-begin)+"ms"); } }
耗时:未知,原因是我用这个方法测试的时候,居然给我报内存溢出异常,说明这个方法需要的内存大,耗时高,所以我和上面的方法一做了个对比。
由于2个方法都用来prepareStatement类,该类在执行sql语句之前会对其进行预编译,就是说先把sql准备好先,用到的时候就直接用就可以了
方法一:通过代码分析,可以明显看到,方法一种的sql语句通过拼接成10条sql语句,故数据库执行语句时,只要执行10条就好
方法二:可以看出,它每循环一次,就要addBach()一次,速度变得更加慢,有10000条就addBatch()一万次,再批处理10次,所以速度变得慢是理所当然的
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。