关于大数据:MaxCompute中如何处理异常字符

在解决数据时，当业务数据同步至 MaxCompute 后，会产生一些含异样字符的脏数据，比方字段中蕴含了一个不可见字符，在 DataWorks 中显示不进去，但在 BI 界面又会显示成其余字符，影响整体观感。这种状况，通常咱们的解法是，将异样的字符洗掉，上面来介绍几种常见的解决异样字符的办法。

如下图，能够看到“异样 name”和“失常 name”的 length 值不同，多了个不可见字符，然而咱们并不能看进去啥。前期做数据处理或数据展现可能成为一个难以定位的问题。

SELECT 
    name as 异样 name,
    LENGTH(name) as 异样 name 长度,
    '北京'  as 失常 name,
    LENGTH('北京') as 失常 name 长度
from tbl1 
where name RLIKE '北京';

后果：

咱们能够通过在线 Unicode 编码转换工具，将数值粘贴过来，获取到对应的 Unicode 码。同理也能够获取其余异样字符的 Unicode 码，以便后续解决。
输出异样 vs 失常的字符串，比照 Unicode 差别能够倒推不可见字符为“\u200b”。

定位到问题后，回顾数据荡涤的惯例计划，想方法把消掉这种不可见字符

计划	形容	备注	本 case 是否实用
trim()函数	惯例的首尾不可见字符解决	实用首尾部的空格、tab、换行	Yes
replace()函数	定向剔除字符串	实用于单个待替换的字符，多个须要层层嵌套	Yes
正则替换函数	定向剔除一类字符串	通过正则匹配符，替换一类字符串	Yes

MaxCompute 的 trim()函数反对通过设置参数的形式调特色字符
TRIM 相干文档：https://help.aliyun.com/document_detail/455667.html

成果如下：

利用 trim() 函数将数值中的异样不可见字符替换为失常空值字符（不可见字符可通过在线 Unicode 编码转换工具 Unicode 转中文复制一下）

SELECT 
    name as 异样 name,
    LENGTH(name) as 异样 name 长度,
    trim(name,'')  as 失常 name,
  LENGTH(trim(name,'')) as 失常 name 长度
from tbl1 
where name RLIKE '北京';

后果：

长处：点对点思路解决问题，方便快捷
毛病：实用待替换的字符只有一个状况，如果有多个，须要再套一层 replace 函数，不容易保护
REPLACE 相干文档：https://help.aliyun.com/document_detail/455611.html

成果如下：

利用 replace() 函数将数值中的异样不可见字符替换为失常空值字符（不可见字符可通过在线 Unicode 编码转换工具 Unicode 转中文复制一下）

SELECT 
 name as 异样 name,
 LENGTH(name) as 异样 name 长度,
 replace(name,'','')  as 失常 name,
 LENGTH(replace(name,'','')) as 失常 name 长度
from tbl1 
where name RLIKE '北京';

后果：

应用函数一层一层替换会比拟麻烦，目前 MaxCompute 反对通过正则表达式匹配出异样的字符
只有筛选出了带有异样的一部分字符，再解决就不便很多了
例如上文中的不可见字符，Unicode 码为“\u200b”，通过执行如下 SQL

select id,name from tbl1 where name rlike '[\x{200b}]';

后果返回：

此时如果再用 regexp_replace()函数能够替换掉这一部分含不可见字符的数值

-- regexp_replace()函数
SELECT 
 name as 异样 name,
 LENGTH(name) as 异样 name 长度,
 regexp_replace(name, '[\x{200b}]', '',0)  as 失常 name,
 LENGTH(regexp_replace(name, '[\x{200b}]', '',0)) as 失常 name 长度
FROM tbl1;

后果：

针对于 SQL 中的不可见字符或者其余中文等异样字符，都能够应用计划 3 中的筛选形式筛进去，而后再做后续的替换或其余操作就能够了。

【MaxCompute 已公布收费试用打算，为数仓建设提速】新用户可 0 元支付 5000CU* 小时计算资源与 100GB 存储，有效期 3 个月。 立刻支付 >>

欢送各位开发者退出大数据计算 MaxCompute 社区。立刻退出

关于大数据:MaxCompute中如何处理异常字符

背景

问题形容

定位

小技巧

解决方案

计划 1：trim() – 替换

计划 2：replace() – 替换

计划 4：正则表达式 – 替换

总结