共计 3476 个字符,预计需要花费 9 分钟才能阅读完成。
背景
前几天因工作须要,组长给我安顿了一个数据荡涤的工作。
工作:把 A 表的数据洗到 B 表。
我的第一反馈,什么是「洗」?洗数据是什么?洗钱我倒是晓得。
不过我不能慌啊,于是问了问组长。
我:组长,把 A 表的数据洗到 B 表是什么意思?
组长一脸无奈,手捂住脸,恨铁不成钢,而后调整过去,还是很急躁地跟我讲的,大略意思就是咱们当初 B 表须要 A 表的数据,A 表中和 B 表中字段含意一样,然而值可能不一样,这就须要咱们进行解决,在将 A 表数据搞到 B 表的过程中,把数据搞正确。
基于我理解能力无限,过后并不是很懂所谓的「洗数据」,而且这个 A 表的字段也和 B 表的字段没怎么对上,A 的字段显著多于 B 的字段,某些字段命名也和 B 不一样,然而表白的意思是一样的,该如何洗?
于是疯狂搜寻如何洗数据!
我这里就举个例子来阐明,别离给出 A 表和 B 表,当然我只列出了一部分字段,当初假如就这么多字段。
A 表
A 表字段:name, province_id, city_id, area_id, tech_id, crop_id, field_id, create_time, update_time, xxx, yyy, zzz, ...
A 表的字段是多于 B 表的 ,我须要将 A 表的数据洗到 B 表, 只解决我须要的字段,不须要的就不必理。
A 表中有 2 万多条记录,B 表我本人插入的有 200 多条记录。
当然,给出 A 表后,还给了个实体模型(JavaBean,Entity,超多种叫法,花里胡哨的)
public class A {
private String name;
private Long provinceId;
private Long cityId;
private Long areaId;
private Long techId;
private Long cropId;
private Date createTime;
private Date updateTime;
...
}
B 表
B 表字段:name, province_id, city_id, area_id, mature_id, crop_id, create_time, update_time
还原现场
上面我模仿测试环境中数据库的那两张表,下面是 A 表(2 万多条记录,这里我只模仿了 7 条),上面的 B 表(200 多条记录)。
洗数据思路
首先,我是先找出 A 表中能和 B 表对上意思的字段,而后将 A 表数据全副插入到 B 表中。
于是,我便找出了如下这些字段:
name, province_id, city_id, area_id, tech_id, crop_id, update_time
之后在 B 表中对新插入的数据进行解决,即 洗数据。
写 SQL 操作
次要的 SQL 语句是:
INSERT INTO 指标表(字段 1, 字段 2, ...) SELECT 字段 1, 字段 2, ... FROM 起源表 WHERE 条件;
于是,便这样操作:
INSERT INTO b(name, province_id, city_id, area_id, mature_id, crop_id, update_time)
SELECT name, province_id, city_id, area_id, tech_id, crop_id, update_time FROM a;
操作是失常的,胜利将 A 中 2 万多条记录全副插入到了 B 中。
然而!我漏了一个字段,就是 create_time
。
于是,想着对这个字段进行更新,将 A 中这个字段更新到 B 中。
于是写了一条 SQL 语句。
UPDATE b(create_time) SET create_time = (SELECT create_time FROM a);
> 1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '(create_time) SET create_time = (SELECT create_time FROM a)' at line 1
噢,看来不能这样更新啊!(一个大嘴巴子过来,写错了还没发现)
换种写法:
UPDATE b AS tb, (SELECT create_time FROM a) AS ta SET tb.create_time = ta.create_time;
能够,噩梦开始了!
更新了十分久,看着十几秒的 SQL 执行到六七百秒还没执行完,心里着实很慌!眼看着数据库可能会崩,我不得不向我的组长求救了!
这时问题呈现了,有人数据库连贯不上了,可见这严重性,曾经影响到其他人的应用了!
于是我组长来帮我解决了,想着 kill 掉我的 navicat
,然而 kill 掉还是没成果,毕竟这个 SQL 曾经在执行了。
我:能不能重启这个 MySQL 服务?
组长一波连环炮过去了
组长:重启?你晓得这个 MySQL 有多少人在用吗?又不只是咱们在用,你重启其他人怎么搞?
我理屈词穷,心里十分忐忑,想着闯祸了,GG,就看着他操作。没过多久,通过他的一顿操作,终于解决了这个问题。我的心里的一块悬着的大石终于放下了,还好解决了。组长牛逼,救世主!
我:如何解决的?
组长:将这个事务回滚解决的,你更新的 SQL 怎么写的?(致力回忆)
于是写出了下面写的 SQL:
UPDATE b AS tb, (SELECT create_time FROM a) AS ta SET tb.create_time = ta.create_time;
组长:你为什么这样写?不应该把子查问写在 SET tb.create_time
前面吗?
我:对啊,我一开始就是把这个子查问写在它前面的,然而提醒我语法错误,我就换了一种写法。
组长:那你写写你说提醒谬误的 SQL。
于是我又丢进去一个 SQL:
UPDATE b SET create_time = (SELECT create_time FROM a);
实际上,这条 SQL 也是不行的,子查问返回的后果不止一行,而以后 SET 是更新某一行的。
正确的写法是:
UPDATE b AS tb
SET create_time = (SELECT create_time FROM a AS ta WHERE tb.id = ta.id AND tb.name = ta.name)
WHERE tb.id = (SELECT tb.id FROM a AS ta WHERE tb.id = ta.id AND tb.name = ta.name)
博客园 -SQL 把一个表中数据更新到另一个表的多种办法
最初组长沉思,你 B 表曾经有 2 万多条记录了,A 表也有 2 万多条记录,你这样更新,每一次都须要子查问查出 A 表的 2 万多条记录,B 也有 2 万多条记录,这样成笛卡尔积了,你晓得什么是笛卡尔积吧?2 万 × 2 万 = 4 亿的记录行了,难怪这么久。
总结
状况:漏了某一个字段 X,须要将 A 表的这个字段列值更新到 B 表
条件:A 中的 id 字段的值等于 B 表中的 id 字段的值 且 A 中的 name 字段的值等于 B 中 name 字段的值(条件为什么这样写?)。
条件这样写次要是因为 表和表之间的关联关系 可能有多个字段,此处只选二个字段,多个依此类推。
操作:
- 一张表的数据插入到另一张表,能够这样写:
INSERT INTO 指标表(字段 1, 字段 2, ...) SELECT 字段 1, 字段 2, ... FROM 起源表 WHERE 条件;
- 批量更新一张表的某个字段到另一张表,那么 SQL 能够相似这样写:
UPDATE b AS tb
SET create_time = (SELECT create_time FROM a AS ta WHERE tb.id = ta.id AND tb.name = ta.name)
WHERE tb.id = (SELECT tb.id FROM a AS ta WHERE tb.id = ta.id AND tb.name = ta.name)
所谓 洗数据:在我的了解中,就是把旧数据,依照新数据的规定把旧数据不正确的值批改正确,同时把这些旧数据插入到新数据中,成为新数据。举个例子,A 表中的 province_id,值为 10 代表 广东,而 B 表中的 province_id,值为 19 代表 广东,把 A 表中的数据插入到 B 表的过程中,把值为 10 批改为 19,这样插入的数据能力在 B 表中正确示意 广东,这个过程就是「洗数据」,当然,也能够在插入后再批改,不论过程是怎么,最终能把数据的值批改正确,就是洗数据!
教训:
- 数据量大的表,少在测试环境操作,要操作尽量保障写的 SQL 是正确的,能在本地环境操作就当初本地环境操作!
- 能用 Java 代码进行操作,优先写 Java 代码操作!
最初的最初
由自己程度所限,不免有谬误以及不足之处,屏幕前的靓仔靓女们
如有发现,恳请指出!
最初,谢谢你看到这里,谢谢你认真对待我的致力,心愿这篇博客对你有所帮忙!
你轻轻地点了个赞,那将在我的心里世界削减一颗亮堂而夺目的星!