关于java:一文玩转-Java-日志数据脱敏

24次阅读

共计 8587 个字符，预计需要花费 22 分钟才能阅读完成。

许多零碎为了平安须要对敏感信息（如手机号、邮箱、姓名、身份证号、明码、卡号、住址等）的日志打印要求脱敏后能力输入，本文将联合个人经历及总结分享一种 log4j 日志脱敏形式。

自定义 Layout

import org.apache.logging.log4j.core.Layout;
import org.apache.logging.log4j.core.LogEvent;
import org.apache.logging.log4j.core.config.Node;
import org.apache.logging.log4j.core.config.plugins.Plugin;
import org.apache.logging.log4j.core.config.plugins.PluginAttribute;
import org.apache.logging.log4j.core.config.plugins.PluginElement;
import org.apache.logging.log4j.core.config.plugins.PluginFactory;
import org.apache.logging.log4j.core.layout.AbstractStringLayout;
import org.apache.logging.log4j.core.layout.PatternLayout;
import org.apache.logging.log4j.core.pattern.RegexReplacement;

import java.nio.charset.Charset;

@Plugin(name = "MyPatternLayout", category = Node.CATEGORY, elementType = Layout.ELEMENT_TYPE, printObject = true)
public class MyPatternLayout extends AbstractStringLayout {
    private PatternLayout patternLayout;
    private Boolean sensitive;
    private RegexReplacement[] replaces;

    protected MyPatternLayout(Charset charset, String pattern, Boolean sensitive, RegexReplacement[] replaces) {super(charset);
        patternLayout = PatternLayout.newBuilder().withPattern(pattern).build();
        this.sensitive = sensitive;
        this.replaces = replaces;
    }

    /**
     * 插件结构工厂办法
     *
     * @param pattern   输入 pattern
     * @param charset   字符集
     * @param sensitive 是否开启脱敏
     * @param replaces  脱敏规定
     * @return Layout<String>
     */
    @PluginFactory
    public static Layout<String> createLayout(@PluginAttribute(value = "pattern") final String pattern,
                                              @PluginAttribute(value = "charset", defaultString = "UTF-8") final Charset charset,
                                              @PluginAttribute(value = "sensitive") final Boolean sensitive,
                                              @PluginElement("replace") final RegexReplacement[] replaces) {return new MyPatternLayout(charset, pattern, sensitive, replaces);
    }

 
    @Override
    public String toSerializable(LogEvent event) {
        // 原日志信息
        String msg = this.patternLayout.toSerializable(event);

        if (Boolean.FALSE.equals(this.sensitive)) {
            // 不脱敏，间接返回
            return msg;
        }

        if (this.replaces == null || this.replaces.length == 0) {throw new RuntimeException("未配置脱敏规定，请查看配置重试");
        }

        for (RegexReplacement replace : this.replaces) {
            // 遍历脱敏正则 & 替换敏感数据
            msg = replace.format(msg);
        }

        // 脱敏后的日志
        return msg;
    }
}

编写 log4j 配置

以下预设了 8 中常见规定，请自行依据理论状况批改

<?xml version="1.0" encoding="utf-8"?>
<configuration>
    <properties>
        <!-- 文件输入格局 -->
        <property name="PATTERN">%d{yyyy-MM-dd HH:mm:ss.SSS} %5level --- [%t] %c : %msg%n</property>
    </properties>

    <appenders>
        <!-- 日志打印到控制台 Appender -->
        <Console name="CONSOLE" target="system_out">
            <MyPatternLayout pattern="${PATTERN}" sensitive="true">
                <replace>
                    <!-- 11 位的手机号：保留前 3 后 4 -->
                    <regex>
                        <![CDATA[(mobile| 手机号)(=|=\[|\":\"|:|：|=')(1)([3-9]{2})(\d{4})(\d{4})(\]|\"|'|)
       ]]>
                    </regex>
                    <replacement>$1$2$3$4****$6$7</replacement>
                </replace>
                <replace>
                    <!-- 固定电话：XXXX-XXXXXXXX 或 XXX-XXXXXXXX，保留区号 + 前 2 后 2 -->
                    <regex>
                        <![CDATA[(tel| 座机)(=|=\[|\":\"|:|：|=')([\d]{3,4}-)(\d{2})(\d{4})(\d{2})(\]|\"|'|)
       ]]>
                    </regex>
                    <replacement>$1$2$3$4****$6$7</replacement>
                </replace>

                <replace>
                    <!-- 地址：汉字 + 字母 + 数字 + 下划线 + 中划线，留前 3 个汉字 -->
                    <regex>
                        <![CDATA[(地址 | 住址 |address)(=|=\[|\":\"|:|：|=')([\u4e00-\u9fa5]{3})(\w|[\u4e00-\u9fa5]|-)*(\]|\"|'|)
       ]]>
                    </regex>
                    <replacement>$1$2$3****$5</replacement>
                </replace>


                <replace>
                    <!-- 19 位的卡号，保留后 4 -->
                    <regex>
                        <![CDATA[(cardNo| 卡号)(=|=\[|\":\"|:|：|=')(\d{15})(\d{4})(\]|\"|'|)
       ]]>
                    </regex>
                    <replacement>$1$2***************$4$5</replacement>
                </replace>

                <replace>
                    <!-- 姓名,2- 4 汉字，留前 1 -->
                    <regex>
                        <![CDATA[(name| 姓名)(=|=\[|\":\"|:|：|=')([\u4e00-\u9fa5]{1})([\u4e00-\u9fa5]{1,3})(\]|\"|'|)
       ]]>
                    </regex>
                    <replacement>$1$2$3**$5</replacement>
                </replace>

                <replace>
                    <!--  明码 6 位数字，全 * -->
                    <regex>
                        <![CDATA[(password| 明码 | 验证码)(=|=\[|\":\"|:|：|=')(\d{6})(\]|\"|'|)
       ]]>
                    </regex>
                    <replacement>$1$2******$4</replacement>
                </replace>

                <replace>
                    <!-- 身份证，18 位（结尾为数字或 X、x），保留前 1 后 1 -->
                    <regex>
                        <![CDATA[(身份证号 |idCard)(=|=\[|\":\"|:|：|=')(\d{1})(\d{16})([\d|X|x]{1})(\]|\"|)
       ]]>
                    </regex>
                    <replacement>$1$2$3****************$5$6</replacement>
                </replace>

                <replace>
                    <!-- 邮箱，保留 @前的前 1 后 1 -->
                    <regex>
                        <![CDATA[(\w{1})(\w*)(\w{1})@(\w+).com
       ]]>
                    </regex>
                    <replacement>$1****$3@$4.com</replacement>
                </replace>
            </MyPatternLayout>
        </Console>
    </appenders>

    <loggers>
        <!-- 控制台输入 -->
        <root level="info">
            <AppenderRef ref="CONSOLE"/>
        </root>
    </loggers>

</configuration>

留神：

  • Console 应用了上一节中咱们本人写的的 MyPatternLayout，MyPatternLayout 的两个属性 pattern 和 sensitive，对应类 MyPatternLayout 的插件工厂办法的入参
  • MyPatternLayout 节点的子节点 replace（可多个）是咱们配置的脱敏正则表达式

正则匹配阐明

<replace>
    <!-- 11 位的手机号：保留前 3 后 4 -->
    <regex>
        <![CDATA[(mobile| 手机号 |phoneNo)(=|=\[|\":\"|:|：|=')(1)([3-9]{2})(\d{4})(\d{4})(\]|\"|'|)
            ]]>
    </regex>
    <replacement>$1$2$3$4****$6$7</replacement>
</replace>

regex 阐明

  • (mobile| 手机号 |phoneNo)：脱敏关键字，多个之间以英文 | 分隔
  • (=|=[|\”:\”|:|：|=’)：关键字后的符号，多个之间以英文 | 分隔，详见下文匹配阐明
  • (1)：匹配数字 1
  • ([3-9]{2})：匹配 2 位数字，取值为 3 - 9 间的数字
  • (\d{4})：匹配 4 位数字
  • (\d{4})：匹配 4 位数字

  • (]|\”|’|)：匹配值后的其余字符

    // 代码
logger.infoMessage("mobile={}", "13511114444");
# 脱敏后
2021-11-16 11:02:08.767  INFO --- [main] log.test.LogTest : mobile=135****4444

    分组匹配示意图（同色彩为对应关系）

    replacement 中的 $n 即对应第 n 对括号（从 1 开始），上图中共有 7 对括号，$1$2$3$4**** $6$7 则示意，仅有第 5 组内容被** 代替，其余内容按原内容显示

注意事项

  • 依据状况自行调整 replace 节点
  • 含脱敏关键字的正则，尽量列举全面
  • 值匹配正则（如上文的手机号的第 3 分组到倒数第 2 分组）：须要依据理论状况调整，特地是卡号、账号的规定，各家银行或有不同
  • 批改完配置后，务必进行测试，正则解析出错只有运行时可发现

  • 日志打印标准，依据第 2 分组 (=|=[|\”:\”|:|：|=’) 可知，可匹配如下状况

    @Test
public void test0() {
  // 等号
  logger.infoMessage("mobile={}", "13511114444");
  // 等号 +[logger.infoMessage("mobile=[{}]", "13511114444");
  // 英文单引号 + 等号
  logger.infoMessage("mobile'='{}'", "13511114444");
  // 中文冒号
  logger.infoMessage("mobile：{}", "13511114444");
  // 英文冒号
  logger.infoMessage("mobile:{}", "13511114444");
  // 英文双引号 + 英文冒号
  logger.infoMessage("\"mobile\":\"{}\"","13511114444");
}
# 脱敏后
log.test.LogTest : mobile=135****4444
log.test.LogTest : mobile=[135****4444]
log.test.LogTest : mobile：135****4444
log.test.LogTest : mobile:135****4444
log.test.LogTest : 'mobile'='13511114444'
log.test.LogTest : "mobile":"135****4444"

    对于不合乎如上的状况，请调整代码或批改匹配正则

脱敏测试

一般字符串值间接输入

@Test
public void test1() {
    //11 位手机号
    logger.infoMessage("mobile={}", "13511114444");
    logger.infoMessage("mobile={}, 手机号：{}", "13511112222", "13511113333");
    logger.infoMessage("手机号：{}", "13511115555");
    // 固定电话（带区号 -）logger.infoMessage("tel：{}, 座机 ={}", "0791-83376222", "021-88331234");
    logger.infoMessage("tel：{}", "0791-83376222");
    logger.infoMessage("座机 ={}", "021-88331234");

    // 地址
    logger.infoMessage("address：{}", "浙江省杭州市西湖区北京西路 100 号");
    logger.infoMessage("地址：{}", "上海市浦东区北京东路 1 -10 号");

    //19 位卡号
    logger.infoMessage("cardNo：{}", "6227002020000101222");

    // 姓名
    logger.infoMessage("name={}, 姓名 =[{}]，name={}，姓名：{}", "张三", "上官婉儿", "李云龙", "楚云飞");

    // 明码
    logger.infoMessage("password：{}，明码 ={}", "123456", "456789");
    logger.infoMessage("password：{}", "123456");
    logger.infoMessage("明码 ={}", "123456");

    // 身份证号码
    logger.infoMessage("idCard：{}，身份证号 ={}", "360123202111111122", "360123202111111122");
    logger.infoMessage("身份证号 ={}", "360123202111111122");

    // 邮箱
    logger.infoMessage("邮箱:{}", "wxyz123@qq.com");
    logger.infoMessage("email={}", "wxyz123@qq.com");
}
# 后果
log.test.LogTest : mobile=135****4444
log.test.LogTest : mobile=135****2222, 手机号：135****3333
log.test.LogTest : 手机号：135****5555
log.test.LogTest : tel：0791-83****22, 座机 =021-88****34
log.test.LogTest : tel：0791-83****22
log.test.LogTest : 座机 =021-88****34
log.test.LogTest : address：浙江省 ****
log.test.LogTest : 地址：上海市 ****
log.test.LogTest : cardNo：***************1222
log.test.LogTest : name= 张 **, 姓名 =[上 **]，name= 李 **，姓名：楚 **
log.test.LogTest : password：******，明码 =******
log.test.LogTest : password：******
log.test.LogTest : 明码 =******
log.test.LogTest : idCard：3****************2，身份证号 =3****************2
log.test.LogTest : 身份证号 =3****************2
log.test.LogTest : 邮箱:w****3@qq.com
log.test.LogTest : email=w****3@qq.com

json 和 toString 的脱敏输入

@Test
public void test2() {User user = new User();
    user.setCardNo("6227002020000101222");
    user.setTel("0571-28821111");
    user.setAddress("浙江省西湖区西湖路 288 号钱江乐园 2 -101 室");
    user.setEmail("zhangs12345@qq.com");
    user.setPassword("123456");
    user.setMobile("15911116789");
    user.setName("张三");
    user.setIdCard("360123202111111122");

    Job job = new Job();
    job.setAddress("浙江省西湖区西湖路 288 号钱江乐园 2 -101 室");
    job.setTel("0571-12345678");
    job.setJobName("操作员");
    job.setSalary(2000);
    job.setCompany("股份有限公司");
    job.setPosition(Arrays.asList("需要", "开发", "测试", "上线"));

    user.setJob(job);
    
 //toString
    logger.infoMessage("用户信息：{}", user);
    //json
    logger.infoMessage("用户信息：{}", JSONUtil.toJsonStr(user));
}
log.test.LogTest : 用户信息：User{name='张 **', idCard='3****************2', cardNo='***************1222', mobile='159****6789', tel='0571-28****11', password='******', email='z****5@qq.com', address='浙江省 ****', job=Job{jobName='操作员', salary=2000, company='股份有限公司', address='浙江省 ****', tel='0571-12****78', position=[需要, 开发, 测试, 上线]}}

log.test.LogTest : 用户信息：{"password":"******","address":"浙江省 ****","idCard":"3****************2","name":"张 **","mobile":"159****6789","tel":"0571-28****11","job":{"jobName":"操作员","address":"浙江省 ****","company":"股份有限公司","tel":"0571-12****78","position":["需要","开发","测试","上线"],"salary":2000},"cardNo":"***************1222","email":"z****5@qq.com"}

在线正则测试：https://c.runoob.com/front-en…

参考链接

  • https://logging.apache.org/lo…
  • https://mp.weixin.qq.com/s/uK…
  • https://blog.csdn.net/VcStron…

起源：blog.csdn.net/blue_driver/article/details/122025368

正文完
java
发表至： java
2022-06-15
 0
淘宝聚石塔防止同步订单漏单策略总结
关于java:面试官问为什么-Java-线程没有Running状态我懵了
关于java:fastposter-v283-发布-电商海报生成器
关于java:ES