JDBC连接mysql，查大数据集报：java.lang.OutOfMemoryError: Java heap space

问题描述：

在项目中需要连接mysql，查询上千上万的记录，每个字段都挺大。结果在Eclipse中报如下错误：

 java.lang.OutOfMemoryError: Java heap space

原因分析：

mysql会将查询到的记录全部发送到java端保存，而JVM中如果98%的时间是用于GC,且可用的Heap size 不足2%的时候将抛出此异常信息。JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置.JVM在启动的时候会自动设置Heap size的值，其初始空间(即-Xms)是物理内存的1/64，最大空间(-Xmx)是物理内存的1/4。可以利用JVM提供的-Xmn -Xms -Xmx等选项可进行设置。

解决方案记录如下：
方案一：
eclipse 有启动参数里设置jvm大小，因为eclipse运行时自己也需要jvm,所以eclipse.ini里设置的jvm大小不是具体某个程序运行时所用jvm的大小，这和具体程序运行的jvm大小无关。 
那么怎么才能设置某个程序的jvm大小呢？
（当然控制台运行的话不会存在这个问题，如：java -Xms256m -Xmx1024m classname，这样就可以把当前程序的jvm大小给设定） 
因为eclipse里默认的一个程序的jvm配置为：-Xms8m -Xmx128m，所以我们的处理耗内存比较大时需要手动调整一下，以便不会内存溢出。
具体的设置方法为：
选中被运行的类，点击菜单‘run->run configurations’，选择(x)=Argument标签页下的vm arguments框里输入
-Xms128m-Xmx512m（根据你物理内存的大小调整）, 保存运行就ok了

 方案二:
这个问题的根源是jvm虚拟机的默认Heap大小是64M,可以通过设置其最大和最小值来实现.设置的方法主要是几个.
1.可以在windows 更改系统环境变量加上JAVA_OPTS=-Xms64m -Xmx512m
2.如果用的tomcat,在windows下,可以在C:\tomcat5.5.9\bin\catalina.bat 中加上:
set JAVA_OPTS=-Xms64m -Xmx256m
位置在: rem Guess CATALINA_HOME if not defined 这行的下面加合适.
3.如果是linux系统
Linux 在{tomcat_home}/bin/catalina.sh的前面，加 
set JAVA_OPTS=‘-Xms64 -Xmx512‘

方案三（通用性强）：

采用PreparedStatement：

1、当PreparedStatement设置以下属性时，采用的是流数据接收方式，每次只从服务器接收部分数据，直到所有数据处理完毕，不会发生JVM OOM。
          setResultSetType(ResultSet.TYPE_FORWARD_ONLY);
          setFetchSize(Integer.MIN_VALUE); 
2、调用statement的enableStreamingResults方法，实际上enableStreamingResults方法内部封装的就是第1种方式。
3、设置连接属性useCursorFetch=true (5.0版驱动开始支持)，statement以TYPE_FORWARD_ONLY打开，再设置fetch size参数，表示采用服务器端游标，每次从服务器取fetch_size条数据。

package com.seven.dbTools.DBTools;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;

public class JdbcHandleMySQLBigResultSet {

	public static long importData(String sql){
		String url = "jdbc:mysql://ipaddress:3306/test?user=username&password=password";
		try {
			Class.forName("com.mysql.jdbc.Driver");
		} catch (ClassNotFoundException e1) {
			e1.printStackTrace();
		}
		long allStart = System.currentTimeMillis();
		long count =0;

		Connection con = null;
		PreparedStatement ps = null;
		Statement st = null;
		ResultSet rs = null;
		try {
			con = DriverManager.getConnection(url);
			
			ps = (PreparedStatement) con.prepareStatement(sql,ResultSet.TYPE_FORWARD_ONLY,
		              ResultSet.CONCUR_READ_ONLY);
					  
			ps.setFetchSize(Integer.MIN_VALUE);
			
			ps.setFetchDirection(ResultSet.FETCH_REVERSE);

			rs = ps.executeQuery();


			while (rs.next()) {
				
				//此处处理业务逻辑
				count++;
				if(count%600000==0){
					System.out.println(" 写入到第  "+(count/600000)+" 个文件中！");
					long end = System.currentTimeMillis();
				}
				
			}
			System.out.println("取回数据量为  "+count+" 行！");
		} catch (SQLException e) {
			e.printStackTrace();
		} finally {
			try {
				if(rs!=null){
					rs.close();
				}
			} catch (SQLException e) {
				e.printStackTrace();
			}
			try {
				if(ps!=null){
					ps.close();
				}
			} catch (SQLException e) {
				e.printStackTrace();
			}
			try {
				if(con!=null){
					con.close();
				}
			} catch (SQLException e) {
				e.printStackTrace();
			}
		}
		return count;

	}

	public static void main(String[] args) throws InterruptedException {

		String sql = "select * from test.bigTable ";
		importData(sql);

	}

}