关于java:大数据量查询容易OOM试试MySQL流式查询

一、前言

程序拜访 MySQL 数据库时，当查问进去的数据量特地大时，数据库驱动把加载到的数据全副加载到内存里，就有可能会导致内存溢出（OOM）。

其实在 MySQL 数据库中提供了流式查问，容许把符合条件的数据分批一部分一部分地加载到内存中，能够无效防止 OOM；本文次要介绍如何应用流式查问并比照一般查问进行性能测试。

二、JDBC 实现流式查问

应用 JDBC 的 PreparedStatement/Statement 的 setFetchSize 办法设置为 Integer.MIN_VALUE 或者应用办法 Statement.enableStreamingResults() 能够实现流式查问，在执行 ResultSet.next() 办法时，会通过数据库连贯一条一条的返回，这样也不会大量占用客户端的内存。

public int execute(String sql, boolean isStreamQuery) throws SQLException {
    Connection conn = null;
    PreparedStatement stmt = null;
    ResultSet rs = null;
    int count = 0;
    try {
        // 获取数据库连贯
        conn = getConnection();
        if (isStreamQuery) {
            // 设置流式查问参数
            stmt = conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
            stmt.setFetchSize(Integer.MIN_VALUE);
        } else {
            // 一般查问
            stmt = conn.prepareStatement(sql);
        }

        // 执行查问获取后果
        rs = stmt.executeQuery();
        // 遍历后果
        while(rs.next()){System.out.println(rs.getString(1));
            count++;
        }
    } catch (SQLException e) {e.printStackTrace();
    } finally {close(stmt, rs, conn);
    }
    return count;
}

PS：下面的例子中通过参数 isStreamQuery 来切换 流式查问 与一般查问，用于上面做测试比照。

三、性能测试

创立了一张测试表 my_test 进行测试，总数据量为 27w 条，别离应用以下 4 个测试用例进行测试：

1. 大数据量一般查问(27w 条)
2. 大数据量流式查问(27w 条)
3. 小数据量一般查问(10 条)
4. 小数据量流式查问(10 条)

3.1. 测试大数据量一般查问

@Test
public void testCommonBigData() throws SQLException {
    String sql = "select * from my_test";
    testExecute(sql, false);
}

3.1.1. 查问耗时

27w 数据量用时 38 秒

3.1.2. 内存占用状况

应用将近 1G 内存

3.2. 测试大数据量流式查问

@Test
public void testStreamBigData() throws SQLException {
    String sql = "select * from my_test";
    testExecute(sql, true);
}

3.2.1. 查问耗时

27w 数据量用时 37 秒

3.2.2. 内存占用状况

因为是分批获取，所以内存在 30-270m 稳定

3.3. 测试小数据量一般查问

@Test
public void testCommonSmallData() throws SQLException {
    String sql = "select * from my_test limit 100000, 10";
    testExecute(sql, false);
}

3.3.1. 查问耗时

10 条数据量用时 1 秒

3.4. 测试小数据量流式查问

@Test
public void testStreamSmallData() throws SQLException {
    String sql = "select * from my_test limit 100000, 10";
    testExecute(sql, true);
}

3.4.1. 查问耗时

10 条数据量用时 1 秒

四、总结

MySQL 流式查问对于内存占用方面的优化还是比拟显著的，然而对于查问速度的影响较小，次要用于解决大数据量查问时的内存占用多的场景。

DEMO 地址：https://github.com/zlt2000/my…

扫码关注有惊喜！