背景
最近在排查问题查问日志的的时候,有个很困扰的问题就是多线程调用的状况下,没方法查问一次调用的全链路调用日志,比方在应用elk查问日志的时候,我想看某个日志的前后调用的残缺的日志,如果不做解决的话是不太好查问的,所以我通过查问材料发现的确有很多形式解决这种问题,以下是我集体认为比拟好的解决形式,即通过MDC
解决.
MDC介绍
MDC(Mapped Diagnostic Context,映射调试上下文)是 log4j 、logback及log4j2 提供的一种不便在多线程条件下记录日志的性能。MDC 能够看成是一个与以后线程绑定的哈希表,能够往其中增加键值对。MDC 中蕴含的内容能够被同一线程中执行的代码所拜访。以后线程的子线程会继承其父线程中的 MDC 的内容。当须要记录日志时,只须要从 MDC 中获取所需的信息即可。MDC 的内容则由程序在适当的时候保留进去。对于一个 Web 利用来说,通常是在申请被解决的最开始保留这些数据
API阐明:
- clear() => 移除所有MDC
- get (String key) => 获取以后线程MDC中指定key的值
- getContext() => 获取以后线程MDC的MDC
- put(String key, Object o) => 往以后线程的MDC中存入指定的键值对
- remove(String key) => 删除以后线程MDC中指定的键值对
实现(基于spring boot)
一,创立EnvironmentPostProcessor
实现类,配置日志格式化全局环境配置,如:"%1p [%X{X-B3-TraceId:-}]"
public class TraceEnvironmentPostProcessor implements EnvironmentPostProcessor { private static final String PROPERTY_SOURCE_NAME = "defaultProperties"; private static final String LEVEL_STR_PARENT = "%1p [%X{X-B3-TraceId:-}]"; private static final String LOG_PATTERN_LEVEL = "logging.pattern.level"; @Override public void postProcessEnvironment(ConfigurableEnvironment environment, SpringApplication application) { Map<String, Object> map = new HashMap<>(1); map.put(LOG_PATTERN_LEVEL, LEVEL_STR_PARENT); MutablePropertySources propertySources = environment.getPropertySources(); MapPropertySource target = null; if (propertySources.contains(PROPERTY_SOURCE_NAME)) { PropertySource<?> source = propertySources.get(PROPERTY_SOURCE_NAME); if (source instanceof MapPropertySource) { target = (MapPropertySource) source; for (String key : map.keySet()) { if (!target.containsProperty(key)) { target.getSource().put(key, map.get(key)); } } } } if (target == null) { target = new MapPropertySource(PROPERTY_SOURCE_NAME, map); } if (!propertySources.contains(PROPERTY_SOURCE_NAME)) { propertySources.addLast(target); } }}
二,应用filter拦挡每次申请,通过MDC
为以后线程增加惟一traceId
@Componentpublic class TraceFilter implements Filter { @Override public void doFilter(ServletRequest servletRequest, ServletResponse servletResponse, FilterChain chain) throws IOException, ServletException { //String LEGACY_TRACE_ID_NAME = "X-B3-TraceId"; HttpServletRequest request = ((HttpServletRequest) servletRequest); String traceId = request.getParameter(LogConstant.LEGACY_TRACE_ID_NAME); // 如果为空,则示意第一次拜访,即上游服务端的申请 if (StringUtils.isEmpty(traceId)) { //应用工具类生成uuid MDC.put(LogConstant.LEGACY_TRACE_ID_NAME, TraceIdUtil.traceId()); } else { MDC.put(LogConstant.LEGACY_TRACE_ID_NAME, traceId); } chain.doFilter(servletRequest, servletResponse); MDC.clear(); }}
三,在META-INF目录下增加spring.factories
文件,增加咱们创立的processor类,在我的项目启动的时候通过spring boot主动扫描,通过spring调用postProcessEnvironment
发放初始化配置
# Environment Post Processororg.springframework.boot.env.EnvironmentPostProcessor=\com.example.log.trace.processor.TraceEnvironmentPostProcessor
四,应用简略的controller测试日志
@Slf4j@RestControllerpublic class TraceLogController { @GetMapping(value = "/trace") public Object trace() { log.info("---------trace log 1--------"); log.info("---------trace log 2--------"); log.info("---------trace log 3--------"); log.info("---------trace log 4--------"); return Boolean.TRUE; }}
发现打印的日志曾经有咱们增加的惟一的 traceId
,并且屡次打印的都是同一个traceId
,这样咱们在elk中想要查问一次调用的全链路调用日志就很不便了,只有通过traceId
查问就很容易查问全链路的日志
2020-08-29 16:48:37.412 INFO [36d47a716d6d4891a264f050ff710d38] 20856 --- [nio-8080-exec-3] c.e.l.t.controller.TraceLogController : ---------trace log 1--------2020-08-29 16:52:11.284 INFO [36d47a716d6d4891a264f050ff710d38] 20856 --- [nio-8080-exec-3] c.e.l.t.controller.TraceLogController : ---------trace log 2--------2020-08-29 16:53:38.189 INFO [36d47a716d6d4891a264f050ff710d38] 20856 --- [nio-8080-exec-3] c.e.l.t.controller.TraceLogController : ---------trace log 3--------2020-08-29 17:23:37.527 INFO [36d47a716d6d4891a264f050ff710d38] 20856 --- [nio-8080-exec-3] c.e.l.t.controller.TraceLogController : ---------trace log 4--------
原理剖析
猜测
实现原理必定是log-back(spring boot默认日志框架)通过拼接的形式打印日志,咱们在全局增加了对应的key-value的匹配准则,在通过log打印日志的时候应用mdc
通过key替换咱们在增加的uuid
,因而很简略的实现了全链路日志
源码剖析
通过debug跟踪log链路,其调用链路还是很长的(如下图),咱们只须要关怀要害的逻辑就能够了,
其中打印日志拼接是通过ch.qos.logback.core.pattern.PatternLayoutBase#writeLoopOnConverters
进行解决的。
writeLoopOnConverters
通过遍历调用converter的write办法拼接所须要打印的日志,如下流程:
DateConverter -----工夫---- 2020-08-29 17:45:22.318LiteralConverter -----空格---- 2020-08-29 17:45:22.318 有空格CompositeConverter ----自定义---- 2020-08-29 17:45:22.318 INFO [1a3801d149bb4b5e99698ab53481e263]......剩下的还有线程号,执行类等咱们只关怀自定义的规定解决.....
再看看CompositeConverter
具体解决逻辑,发现其中还存在一层遍历解决如下图,
拼接了咱们自定义的[traceId]
的日志,其中外围的解决类就是MDCConverter
的解决,替换咱们定义的key
MDCConverter
外围解决办法如下,通过key:X-B3-TraceId
从 mdcPropertyMap
中获取traceId
,自此证实了咱们的猜测,通过key拿到value进行日志拼接,全链路日志原理简略剖析到此为止!
@Overridepublic String convert(ILoggingEvent event) { //X-B3-TraceId -> 1a3801d149bb4b5e99698ab53481e263 Map<String, String> mdcPropertyMap = event.getMDCPropertyMap(); if (mdcPropertyMap == null) { return defaultValue; } if (key == null) { return outputMDCForAllKeys(mdcPropertyMap); } else { //X-B3-TraceId String value = mdcPropertyMap.get(key); if (value != null) { return value; } else { return defaultValue; } }}