关于java:MyBatis原生批量插入的坑与解决方案

后面的文章咱们讲了 MyBatis 批量插入的 3 种办法：循环单次插入、MyBatis Plus 批量插入、MyBatis 原生批量插入，详情请点击《MyBatis 批量插入数据的 3 种办法！》。

但之前的文章也有不完满之处，起因在于：应用「循环单次插入」的性能太低，应用「MyBatis Plus 批量插入」性能还行，但要额定的引入 MyBatis Plus 框架，应用「MyBatis 原生批量插入」性能最好，但在插入大量数据时会导致程序报错，那么，明天咱们就会提供一个更优的解决方案。

首先，咱们来看一下 MyBatis 原生批量插入中的坑，当咱们批量插入 10 万条数据时，实现代码如下：

import com.example.demo.model.User;
import com.example.demo.service.impl.UserServiceImpl;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

import java.util.ArrayList;
import java.util.List;

@SpringBootTest
class UserControllerTest {

    // 最大循环次数
    private static final int MAXCOUNT = 100000;

    @Autowired
    private UserServiceImpl userService;
    
    /**
     * 原生本人拼接 SQL，批量插入
     */
    @Test
    void saveBatchByNative() {long stime = System.currentTimeMillis(); // 统计开始工夫
        List<User> list = new ArrayList<>();
        for (int i = 0; i < MAXCOUNT; i++) {User user = new User();
            user.setName("test:" + i);
            user.setPassword("123456");
            list.add(user);
        }
        // 批量插入
        userService.saveBatchByNative(list);
        long etime = System.currentTimeMillis(); // 统计完结工夫
        System.out.println("执行工夫：" + (etime - stime));
    }
}

外围文件 UserMapper.xml 中的实现代码如下：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.example.demo.mapper.UserMapper">
    <insert id="saveBatchByNative">
        INSERT INTO `USER`(`NAME`,`PASSWORD`) VALUES
        <foreach collection="list" separator="," item="item">
            (#{item.name},#{item.password})
        </foreach>
    </insert>

</mapper>

当咱们开心地运行以上程序时，就呈现了以下的一幕：

沃，程序居然报错了！

这是因为应用 MyBatis 原生批量插入拼接的插入 SQL 大小是 4.56M，而默认状况下 MySQL 能够执行的最大 SQL 为 4M，那么在程序执行时就会报错了。

以上的问题就是因为批量插入时拼接的 SQL 文件太大了，所以导致 MySQL 的执行报错了。那么咱们第一工夫想到的解决方案就是将大文件分成 N 个小文件，这样就不会因为 SQL 太大而导致执行报错了。也就是说，咱们能够将待插入的 List 汇合分隔为多个小 List 来执行批量插入的操作，而这个操作过程就叫做 List 分片。

有了解决思路之后，接下来就是实际了，那如何对汇合进行分片操作呢？

分片操作的实现形式有很多种，这个咱们后文再讲，接下来咱们应用最简略的形式，也就是 Google 提供的 Guava 框架来实现分片的性能。

要实现分片性能，第一步咱们先要增加 Guava 框架的反对，在 pom.xml 中增加以下援用：

<!-- google guava 工具类 -->
<!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
<dependency>
  <groupId>com.google.guava</groupId>
  <artifactId>guava</artifactId>
  <version>31.0.1-jre</version>
</dependency>

接下来咱们写一个小小的 demo，将以下 7 集体名分为 3 组（每组最多 3 个），实现代码如下：

import com.google.common.collect.Lists;

import java.util.Arrays;
import java.util.List;

/**
 * Guava 分片
 */
public class PartitionByGuavaExample {
    // 原汇合
    private static final List<String> OLD_LIST = Arrays.asList("唐僧, 悟空, 八戒, 沙僧, 曹操, 刘备, 孙权".split(","));

    public static void main(String[] args) {
        // 汇合分片
        List<List<String>> newList = Lists.partition(OLD_LIST, 3);
        // 打印分片汇合
        newList.forEach(i -> {System.out.println("汇合长度：" + i.size());
        });
    }
}

以上程序的执行后果如下：

从上述后果能够看出，咱们只须要应用 Guava 提供的 Lists.partition 办法就能够很轻松的将一个汇合进行分片了。

那接下来，就是革新咱们的 MyBatis 批量插入代码了，具体实现如下：

@Test
void saveBatchByNativePartition() {long stime = System.currentTimeMillis(); // 统计开始工夫
    List<User> list = new ArrayList<>();
    // 构建插入数据
    for (int i = 0; i < MAXCOUNT; i++) {User user = new User();
        user.setName("test:" + i);
        user.setPassword("123456");
        list.add(user);
    }
    // 分片批量插入
    int count = (int) Math.ceil(MAXCOUNT / 1000.0); // 分为 n 份，每份 1000 条
    List<List<User>> listPartition = Lists.partition(list, count);
    // 分片批量插入
    for (List<User> item : listPartition) {userService.saveBatchByNative(item);
    }
    long etime = System.currentTimeMillis(); // 统计完结工夫
    System.out.println("执行工夫：" + (etime - stime));
}

执行以上程序，最终的执行后果如下：

从上图能够看出，之前批量插入时的异样报错不见了，并且此实现形式的执行效率竟比 MyBatis Plus 的批量插入的执行效率要高，MyBatis Plus 批量插入 10W 条数据的执行工夫如下：

本文咱们演示了 MyBatis 原生批量插入时的问题：可能会因为插入的数据太多从而导致运行失败，咱们能够通过分片的形式来解决此问题，分片批量插入的实现步骤如下：

计算出分片的数量（分为 N 批）；
应用 Lists.partition 办法将汇合进行分片（分为 N 个汇合）；
循环将分片的汇合进行批量插入的操作。

关注公众号「Java 中文社群」查看更多 MyBatis 和 Spring Boot 的系列文章。

关于java:MyBatis原生批量插入的坑与解决方案

原生批量插入的“坑”

解决方案

分片 Demo 实战

原生批量插入分片实现

总结