关于java:MyBatis-批量插入的-3-种方式还有谁不会

45次阅读

共计 3695 个字符,预计需要花费 10 分钟才能阅读完成。

作者:楼主楼主 \
链接:https://www.jianshu.com/p/cce…

数据库应用的是 sqlserver,JDK 版本 1.8,运行在 SpringBoot 环境下,比照 3 种可用的形式:

  1. 重复执行单条插入语句
  2. xml 拼接 sql
  3. 批处理执行

先说论断:大量插入请应用重复插入单条数据,不便。数量较多请应用批处理形式。(能够思考以有需要的插入数据量 20 条左右为界吧,在我的测试和数据库环境下耗时都是百毫秒级的,不便最重要)。

无论何时都不必 xml 拼接 sql 的形式

代码

拼接 SQL 的 xml

newId()是 sqlserver 生成 UUID 的函数,与本文内容无关

<insert id="insertByBatch" parameterType="java.util.List">
    INSERT INTO tb_item VALUES
    <foreach collection="list" item="item" index="index" separator=",">
        (newId(),#{item.uniqueCode},#{item.projectId},#{item.name},#{item.type},#{item.packageUnique},
        #{item.isPackage},#{item.factoryId},#{item.projectName},#{item.spec},#{item.length},#{item.weight},
        #{item.material},#{item.setupPosition},#{item.areaPosition},#{item.bottomHeight},#{item.topHeight},
        #{item.serialNumber},#{item.createTime}</foreach>
</insert>

Mapper 接口

Mapper<Item> 是 mybatis 插件 tk.Mapper 的接口,与本文内容关系不大

public interface ItemMapper extends Mapper<Item> {int insertByBatch(List<Item> itemList);
}

Service 类

@Service
public class ItemService {
    @Autowired
    private ItemMapper itemMapper;
    @Autowired
    private SqlSessionFactory sqlSessionFactory;
    // 批处理
    @Transactional
    public void add(List<Item> itemList) {SqlSession session = sqlSessionFactory.openSession(ExecutorType.BATCH,false);
        ItemMapper mapper = session.getMapper(ItemMapper.class);
        for (int i = 0; i < itemList.size(); i++) {mapper.insertSelective(itemList.get(i));
            if(i%1000==999){// 每 1000 条提交一次避免内存溢出
                session.commit();
                session.clearCache();}
        }
        session.commit();
        session.clearCache();}
    // 拼接 sql
    @Transactional
    public void add1(List<Item> itemList) {itemList.insertByBatch(itemMapper::insertSelective);
    }
    // 循环插入
    @Transactional
    public void add2(List<Item> itemList) {itemList.forEach(itemMapper::insertSelective);
    }
}

测试类

@RunWith(SpringRunner.class)
@SpringBootTest(webEnvironment = SpringBootTest.WebEnvironment.RANDOM_PORT, classes = ApplicationBoot.class)
public class ItemServiceTest {
    @Autowired
    ItemService itemService;

    private List<Item> itemList = new ArrayList<>();
    // 生成测试 List
    @Before 
    public void createList(){
        String json ="{\n" +
                "\"areaPosition\": \"TEST\",\n" +
                "\"bottomHeight\": 5,\n" +
                "\"factoryId\": \"0\",\n" +
                "\"length\": 233.233,\n" +
                "\"material\": \"Q345B\",\n" +
                "\"name\": \"TEST\",\n" +
                "\"package\": false,\n" +
                "\"packageUnique\": \"45f8a0ba0bf048839df85f32ebe5bb81\",\n" +
                "\"projectId\": \"094b5eb5e0384bb1aaa822880a428b6d\",\n" +
                "\"projectName\": \" 我的项目_TEST1\",\n" +
                "\"serialNumber\": \"1/2\",\n" +
                "\"setupPosition\": \"1B 柱 \",\n" +
                "\"spec\": \"200X200X200\",\n" +
                "\"topHeight\": 10,\n" +
                "\"type\": \"Steel\",\n" +
                "\"uniqueCode\": \"12344312\",\n" +
                "\"weight\": 100\n" +
                "}";
        Item test1 = JSON.parseObject(json,Item.class);
        test1.setCreateTime(new Date());
        for (int i = 0; i < 1000; i++) {// 测试会批改此数量
            itemList.add(test1);
        }
    }
     // 批处理
    @Test
    @Transactional
    public void tesInsert() {itemService.add(itemList);
    }
    // 拼接字符串
    @Test
    @Transactional
    public void testInsert1(){itemService.add1(itemList);
    }
    // 循环插入
    @Test
    @Transactional
    public void testInsert2(){itemService.add2(itemList);
    }
}

测试后果:

10 条 25 条数据插入经屡次测试,波动性较大,但根本都在百毫秒级别

形式 50 条 100 条 500 条 1000 条
批处理 159ms 208ms 305ms 432ms
xml 拼接 sql 208ms 232ms 报错 报错
重复单条插入 1013ms 2266ms 8141ms 18861ms

其中 拼接 sql 形式在插入 500 条和 1000 条时报错(仿佛是因为 sql 语句过长,此条跟数据库类型无关,未做其余数据库的测试):
com.microsoft.sqlserver.jdbc.SQLServerException: 传入的表格格局数据流 (TDS) 近程过程调用 (RPC) 协定流不正确。此 RPC 申请中提供了过多的参数。最多应为 2100

能够发现

  • 循环插入的工夫复杂度是 O(n), 并且常数 C 很大
  • 拼接 SQL 插入的工夫复杂度(应该)是 O(logn), 然而胜利实现次数不多,不确定
  • 批处理的效率的工夫复杂度是 O(logn), 并且常数 C 也比拟小

论断

循环插入单条数据 尽管效率极低,然而代码量极少,在应用 tk.Mapper 的插件状况下,仅需代码,:

@Transactional
public void add1(List<Item> itemList) {itemList.forEach(itemMapper::insertSelective);
}

因而,在需要插入数据数量不多的状况下必定用它了。

xml 拼接 sql是最不举荐的形式,应用时有大段的 xml 和 sql 语句要写,很容易出错,工作效率很低。更关键点是,尽管效率尚可,然而真正须要效率的时候你挂了,要你何用?

批处理执行 是有大数据量插入时举荐的做法,应用起来也比拟不便。

最初,关注公众号 Java 技术栈,在后盾回复:面试,能够获取我整顿的 Java、MyBatis 系列面试题和答案,十分齐全。
近期热文举荐:

1.600+ 道 Java 面试题及答案整顿(2021 最新版)

2. 终于靠开源我的项目弄到 IntelliJ IDEA 激活码了,真香!

3. 阿里 Mock 工具正式开源,干掉市面上所有 Mock 工具!

4.Spring Cloud 2020.0.0 正式公布,全新颠覆性版本!

5.《Java 开发手册(嵩山版)》最新公布,速速下载!

感觉不错,别忘了顺手点赞 + 转发哦!

正文完
 0