作者:楼主楼主 \
链接:https://www.jianshu.com/p/cce…
数据库应用的是 sqlserver,JDK 版本 1.8,运行在 SpringBoot 环境下,比照 3 种可用的形式:
- 重复执行单条插入语句
- xml 拼接 sql
- 批处理执行
先说论断:大量插入请应用重复插入单条数据,不便。数量较多请应用批处理形式。(能够思考以有需要的插入数据量 20 条左右为界吧,在我的测试和数据库环境下耗时都是百毫秒级的,不便最重要)。
无论何时都不必 xml 拼接 sql 的形式。
代码
拼接 SQL 的 xml
newId()是 sqlserver 生成 UUID 的函数,与本文内容无关
<insert id="insertByBatch" parameterType="java.util.List">
INSERT INTO tb_item VALUES
<foreach collection="list" item="item" index="index" separator=",">
(newId(),#{item.uniqueCode},#{item.projectId},#{item.name},#{item.type},#{item.packageUnique},
#{item.isPackage},#{item.factoryId},#{item.projectName},#{item.spec},#{item.length},#{item.weight},
#{item.material},#{item.setupPosition},#{item.areaPosition},#{item.bottomHeight},#{item.topHeight},
#{item.serialNumber},#{item.createTime}</foreach>
</insert>
Mapper 接口
Mapper<Item> 是 mybatis 插件 tk.Mapper 的接口,与本文内容关系不大
public interface ItemMapper extends Mapper<Item> {int insertByBatch(List<Item> itemList);
}
Service 类
@Service
public class ItemService {
@Autowired
private ItemMapper itemMapper;
@Autowired
private SqlSessionFactory sqlSessionFactory;
// 批处理
@Transactional
public void add(List<Item> itemList) {SqlSession session = sqlSessionFactory.openSession(ExecutorType.BATCH,false);
ItemMapper mapper = session.getMapper(ItemMapper.class);
for (int i = 0; i < itemList.size(); i++) {mapper.insertSelective(itemList.get(i));
if(i%1000==999){// 每 1000 条提交一次避免内存溢出
session.commit();
session.clearCache();}
}
session.commit();
session.clearCache();}
// 拼接 sql
@Transactional
public void add1(List<Item> itemList) {itemList.insertByBatch(itemMapper::insertSelective);
}
// 循环插入
@Transactional
public void add2(List<Item> itemList) {itemList.forEach(itemMapper::insertSelective);
}
}
测试类
@RunWith(SpringRunner.class)
@SpringBootTest(webEnvironment = SpringBootTest.WebEnvironment.RANDOM_PORT, classes = ApplicationBoot.class)
public class ItemServiceTest {
@Autowired
ItemService itemService;
private List<Item> itemList = new ArrayList<>();
// 生成测试 List
@Before
public void createList(){
String json ="{\n" +
"\"areaPosition\": \"TEST\",\n" +
"\"bottomHeight\": 5,\n" +
"\"factoryId\": \"0\",\n" +
"\"length\": 233.233,\n" +
"\"material\": \"Q345B\",\n" +
"\"name\": \"TEST\",\n" +
"\"package\": false,\n" +
"\"packageUnique\": \"45f8a0ba0bf048839df85f32ebe5bb81\",\n" +
"\"projectId\": \"094b5eb5e0384bb1aaa822880a428b6d\",\n" +
"\"projectName\": \" 我的项目_TEST1\",\n" +
"\"serialNumber\": \"1/2\",\n" +
"\"setupPosition\": \"1B 柱 \",\n" +
"\"spec\": \"200X200X200\",\n" +
"\"topHeight\": 10,\n" +
"\"type\": \"Steel\",\n" +
"\"uniqueCode\": \"12344312\",\n" +
"\"weight\": 100\n" +
"}";
Item test1 = JSON.parseObject(json,Item.class);
test1.setCreateTime(new Date());
for (int i = 0; i < 1000; i++) {// 测试会批改此数量
itemList.add(test1);
}
}
// 批处理
@Test
@Transactional
public void tesInsert() {itemService.add(itemList);
}
// 拼接字符串
@Test
@Transactional
public void testInsert1(){itemService.add1(itemList);
}
// 循环插入
@Test
@Transactional
public void testInsert2(){itemService.add2(itemList);
}
}
测试后果:
10 条 25 条数据插入经屡次测试,波动性较大,但根本都在百毫秒级别
形式 | 50 条 | 100 条 | 500 条 | 1000 条 |
---|---|---|---|---|
批处理 | 159ms | 208ms | 305ms | 432ms |
xml 拼接 sql | 208ms | 232ms | 报错 | 报错 |
重复单条插入 | 1013ms | 2266ms | 8141ms | 18861ms |
其中 拼接 sql 形式在插入 500 条和 1000 条时报错(仿佛是因为 sql 语句过长,此条跟数据库类型无关,未做其余数据库的测试):com.microsoft.sqlserver.jdbc.SQLServerException: 传入的表格格局数据流 (TDS) 近程过程调用 (RPC) 协定流不正确。此 RPC 申请中提供了过多的参数。最多应为 2100
能够发现
- 循环插入的工夫复杂度是 O(n), 并且常数 C 很大
- 拼接 SQL 插入的工夫复杂度(应该)是 O(logn), 然而胜利实现次数不多,不确定
- 批处理的效率的工夫复杂度是 O(logn), 并且常数 C 也比拟小
论断
循环插入单条数据 尽管效率极低,然而代码量极少,在应用 tk.Mapper 的插件状况下,仅需代码,:
@Transactional
public void add1(List<Item> itemList) {itemList.forEach(itemMapper::insertSelective);
}
因而,在需要插入数据数量不多的状况下必定用它了。
xml 拼接 sql是最不举荐的形式,应用时有大段的 xml 和 sql 语句要写,很容易出错,工作效率很低。更关键点是,尽管效率尚可,然而真正须要效率的时候你挂了,要你何用?
批处理执行 是有大数据量插入时举荐的做法,应用起来也比拟不便。
最初,关注公众号 Java 技术栈,在后盾回复:面试,能够获取我整顿的 Java、MyBatis 系列面试题和答案,十分齐全。
近期热文举荐:
1.600+ 道 Java 面试题及答案整顿(2021 最新版)
2. 终于靠开源我的项目弄到 IntelliJ IDEA 激活码了,真香!
3. 阿里 Mock 工具正式开源,干掉市面上所有 Mock 工具!
4.Spring Cloud 2020.0.0 正式公布,全新颠覆性版本!
5.《Java 开发手册(嵩山版)》最新公布,速速下载!
感觉不错,别忘了顺手点赞 + 转发哦!