共计 1417 个字符，预计需要花费 4 分钟才能阅读完成。
温故而知新
业务很简略：须要批量插入一些数据，数据起源可能是其余数据库的表，也可能是一个内部 excel 的导入
那么问题来了，是不是每次插入之前都要查一遍，看看重不反复，在代码里筛选一下数据，反复的就过滤掉呢？
向大数据数据库中插入值时，还要判断插入是否反复，而后插入。如何提高效率
看来这个问题不止我一个人苦恼过。
解决的方法有很多种，不同的场景解决方案也不一样，数据量很小的状况下，怎么搞都行，然而数据量很大的时候，这就不是一个简略的问题了。
几百万的数据，不可能查出来，做去重解决
说一下我 Google 到的解决方案
1、insert ignore into
当插入数据时，如呈现谬误时，如反复数据，将不返回谬误，只以正告模式返回。所以应用 ignore 请确保语句自身没有问题，否则也会被疏忽掉。例如：
INSERT IGNORE INTO user (name) VALUES ('telami') 这种办法很简便，然而有一种可能，就是插入不是因为反复数据报错，而是因为其余起因报错的，也同样被忽略了～
2、on duplicate key update
当 primary 或者 unique 反复时，则执行 update 语句，如 update 后为无用语句，如 id=id，则同 1 性能雷同，但谬误不会被疏忽掉。
例如，为了实现 name 反复的数据插入不报错，可应用一下语句：
INSERT INTO user (name) VALUES ('telami') ON duplicate KEY UPDATE id = id 这种办法有个前提条件，就是，须要插入的束缚，须要是主键或者惟一束缚（在你的业务中那个要作为惟一的判断就将那个字段设置为惟一束缚也就是 unique key）。
3、insert … select … where not exist
依据 select 的条件判断是否插入，能够不光通过 primary 和 unique 来判断，也可通过其它条件。例如：
INSERT INTO user (name) SELECT 'telami' FROM dual WHERE NOT EXISTS (SELECT id FROM user WHERE id = 1) 这种办法其实就是应用了 mysql 的一个长期表的形式，然而外面应用到了子查问，效率也会有一点点影响，如果能应用下面的就不应用这个。
4、replace into
如果存在 primary or unique 雷同的记录，则先删除掉。再插入新记录。
REPLACE INTO user SELECT 1, 'telami' FROM books 这种办法就是不论原来有没有雷同的记录，都会先删除掉而后再插入。
实际
抉择的是第二种形式
<insert id="batchSaveUser" parameterType="list"> insert into user (id,username,mobile_number) values <foreach collection="list" item="item" index="index" separator=","> (#{item.id}, #{item.username}, #{item.mobileNumber} ) </foreach> ON duplicate KEY UPDATE id = id </insert>这里用的是 Mybatis，批量插入的一个操作，mobile_number 曾经加了惟一束缚。这样在批量插入时，如果存在手机号雷同的话，是不会再插入了的。
起源：http://www.telami.cn/2018/whe…
