乐趣区

关于springcloud:SpringCloud升级之路20200x版11Log4j2-监控相关

jiezi

本系列代码地址：https://github.com/HashZhang/…

Log4j2 异步日志外围通过 RingBuffer 实现，如果某一时刻产生大量日志并且写的速度不及时导致 RingBuffer 满了，业务代码中调用日志记录的中央就会阻塞。所以咱们须要对 RingBuffer 进行监控。Log4j2 对于每一个 AsyncLogger 配置，都会创立一个独立的 RingBuffer，例如上面的 Log4j2 配置：

<!-- 省略了除了 loggers 以外的其余配置 -->
 <loggers>
    <!--default logger -->
    <Asyncroot level="info" includeLocation="true">
        <appender-ref ref="console"/>
    </Asyncroot>
    <AsyncLogger name="RocketmqClient" level="error" additivity="false" includeLocation="true">
        <appender-ref ref="console"/>
    </AsyncLogger>
    <AsyncLogger name="com.alibaba.druid.pool.DruidDataSourceStatLoggerImpl" level="error" additivity="false" includeLocation="true">
        <appender-ref ref="console"/>
    </AsyncLogger>
    <AsyncLogger name="org.mybatis" level="error" additivity="false" includeLocation="true">
        <appender-ref ref="console"/>
    </AsyncLogger>
</loggers>

这个配置蕴含 4 个 AsyncLogger，对于每个 AsyncLogger 都会创立一个 RingBuffer。Log4j2 也思考到了监控 AsyncLogger 这种状况，所以将 AsyncLogger 的监控裸露成为一个 MBean（JMX Managed Bean）。

相干源码如下：

Server.java

private static void registerLoggerConfigs(final LoggerContext ctx, final MBeanServer mbs, final Executor executor)
        throws InstanceAlreadyExistsException, MBeanRegistrationException, NotCompliantMBeanException {

    // 获取 log4j2.xml 配置中的 loggers 标签下的所有配置值
    final Map<String, LoggerConfig> map = ctx.getConfiguration().getLoggers();
    // 遍历每个 key，其实就是 logger 的 name
    for (final String name : map.keySet()) {final LoggerConfig cfg = map.get(name);
        final LoggerConfigAdmin mbean = new LoggerConfigAdmin(ctx, cfg);
        // 对于每个 logger 注册一个 LoggerConfigAdmin
        register(mbs, mbean, mbean.getObjectName());
        // 如果是异步日志配置，则注册一个 RingBufferAdmin
        if (cfg instanceof AsyncLoggerConfig) {final AsyncLoggerConfig async = (AsyncLoggerConfig) cfg;
            final RingBufferAdmin rbmbean = async.createRingBufferAdmin(ctx.getName());
            register(mbs, rbmbean, rbmbean.getObjectName());
        }
    }
}

创立的 MBean 的类源码：RingBufferAdmin.java

public class RingBufferAdmin implements RingBufferAdminMBean {
    private final RingBuffer<?> ringBuffer;
    private final ObjectName objectName;
    //... 省略其余咱们不关怀的代码
    
    public static final String DOMAIN = "org.apache.logging.log4j2";
    String PATTERN_ASYNC_LOGGER_CONFIG = DOMAIN + ":type=%s,component=Loggers,name=%s,subtype=RingBuffer";
    
    // 创立 RingBufferAdmin，名称格局合乎 Mbean 的名称格局
    public static RingBufferAdmin forAsyncLoggerConfig(final RingBuffer<?> ringBuffer, 
            final String contextName, final String configName) {final String ctxName = Server.escape(contextName);
        // 对于 RootLogger，这里 cfgName 为空字符串
        final String cfgName = Server.escape(configName);
        final String name = String.format(PATTERN_ASYNC_LOGGER_CONFIG, ctxName, cfgName);
        return new RingBufferAdmin(ringBuffer, name);
    }
    
    // 获取 RingBuffer 的大小
    @Override
    public long getBufferSize() {return ringBuffer == null ? 0 : ringBuffer.getBufferSize();
    }
    // 获取 RingBuffer 残余的大小
    @Override
    public long getRemainingCapacity() {return ringBuffer == null ? 0 : ringBuffer.remainingCapacity();
    }
    public ObjectName getObjectName() {return objectName;}
}

咱们的微服务项目中应用了 spring boot，并且集成了 prometheus。咱们能够通过将 Log4j2 RingBuffer 大小作为指标裸露到 prometheus 中，通过如下代码：

对应源码：Log4j2Configuration.java

import io.micrometer.core.instrument.Gauge;
import io.micrometer.prometheus.PrometheusMeterRegistry;
import lombok.extern.log4j.Log4j2;
import org.apache.commons.lang3.StringUtils;
import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.core.LoggerContext;
import org.apache.logging.log4j.core.jmx.RingBufferAdminMBean;
import org.springframework.beans.factory.ObjectProvider;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.actuate.autoconfigure.metrics.export.ConditionalOnEnabledMetricsExport;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.event.ContextRefreshedEvent;
import org.springframework.context.event.EventListener;

import javax.annotation.PostConstruct;
import javax.management.ObjectName;
import java.lang.management.ManagementFactory;

@Log4j2
@Configuration(proxyBeanMethods = false)
// 须要在引入了 prometheus 并且 actuator 裸露了 prometheus 端口的状况下才加载
@ConditionalOnEnabledMetricsExport("prometheus")
public class Log4j2Configuration {
    @Autowired
    private ObjectProvider<PrometheusMeterRegistry> meterRegistry;
    // 只初始化一次
    private volatile boolean isInitialized = false;

    // 须要在 ApplicationContext 刷新之后进行注册
    // 在加载 ApplicationContext 之前，日志配置就曾经初始化好了
    // 然而 prometheus 的相干 Bean 加载比较复杂，并且随着版本更迭改变比拟多，所以就间接偷懒，在整个 ApplicationContext 刷新之后再注册
    // ApplicationContext 可能 refresh 屡次，例如调用 /actuator/refresh，还有就是多 ApplicationContext 的场景
    // 这里为了简略，通过一个简略的 isInitialized 判断是否是第一次初始化，保障只初始化一次
    @EventListener(ContextRefreshedEvent.class)
    public synchronized void init() {if (!isInitialized) {
            // 通过 LogManager 获取 LoggerContext，从而获取配置
            LoggerContext loggerContext = (LoggerContext) LogManager.getContext(false);
            org.apache.logging.log4j.core.config.Configuration configuration = loggerContext.getConfiguration();
            // 获取 LoggerContext 的名称，因为 Mbean 的名称蕴含这个
            String ctxName = loggerContext.getName();
            configuration.getLoggers().keySet().forEach(k -> {
                try {
                    // 针对 RootLogger，它的 cfgName 是空字符串，为了显示难看，咱们在 prometheus 中将它命名为 root
                    String cfgName = StringUtils.isBlank(k) ? "" : k;
                    String gaugeName = StringUtils.isBlank(k) ? "root" : k;
                    Gauge.builder(gaugeName + "_logger_ring_buffer_remaining_capacity", () ->
                    {
                        try {return (Number) ManagementFactory.getPlatformMBeanServer()
                                    .getAttribute(new ObjectName(
                                            // 依照 Log4j2 源码中的命名形式组装名称
                                            String.format(RingBufferAdminMBean.PATTERN_ASYNC_LOGGER_CONFIG, ctxName, cfgName)
                                            // 获取残余大小，留神这个是严格辨别大小写的
                                    ), "RemainingCapacity");
                        } catch (Exception e) {log.error("get {} ring buffer remaining size error", k, e);
                        }
                        return -1;
                    }).register(meterRegistry.getIfAvailable());
                } catch (Exception e) {log.error("Log4j2Configuration-init error: {}", e.getMessage(), e);
                }
            });
            isInitialized = true;
        }
    }
}

减少这个代码之后，申请 /actuator/prometheus 之后，能够看到对应的返回：

// 省略其余的
# HELP root_logger_ring_buffer_remaining_capacity  
# TYPE root_logger_ring_buffer_remaining_capacity gauge
root_logger_ring_buffer_remaining_capacity 262144.0
# HELP org_mybatis_logger_ring_buffer_remaining_capacity  
# TYPE org_mybatis_logger_ring_buffer_remaining_capacity gauge
org_mybatis_logger_ring_buffer_remaining_capacity 262144.0
# HELP com_alibaba_druid_pool_DruidDataSourceStatLoggerImpl_logger_ring_buffer_remaining_capacity  
# TYPE com_alibaba_druid_pool_DruidDataSourceStatLoggerImpl_logger_ring_buffer_remaining_capacity gauge
com_alibaba_druid_pool_DruidDataSourceStatLoggerImpl_logger_ring_buffer_remaining_capacity 262144.0
# HELP RocketmqClient_logger_ring_buffer_remaining_capacity  
# TYPE RocketmqClient_logger_ring_buffer_remaining_capacity gauge
RocketmqClient_logger_ring_buffer_remaining_capacity 262144.0

这样，当这个值为 0 继续一段时间后（就代表 RingBuffer 满了，日志生成速度曾经远大于生产写入 Appender 的速度了），咱们就认为这个利用日志负载过高了。

其实能够通过 JMX 间接查看动静批改 Log4j2 的各种配置，Log4j2 中裸露了很多 JMX Bean，例如通过 JConsole 能够查看并批改：

然而，JMX 外面蕴含的信息太多，并且咱们的服务器在世界各地，近程 JMX 很不稳固，所以咱们还是通过 actuator 裸露 http 接口进行操作。

首先，要先配置 actuator 要通过 HTTP 暴露出日志 API，咱们这里的配置是：

management:
  endpoints:
    # 不通过 JMX 裸露任何 actuator 接口
    jmx:
      exposure:
        exclude: '*'
    # 通过 JMX 裸露所有 actuator 接口
    web:
      exposure:
        include: '*'

申请接口 GET /actuator/loggers，能够看到如下的返回，能够晓得以后日志框架反对哪些级别的日志配置，以及每个 Logger 的级别配置。

{
    "levels": [
        "OFF",
        "FATAL",
        "ERROR",
        "WARN",
        "INFO",
        "DEBUG",
        "TRACE"
    ],
    "loggers": {
        "ROOT": {
            "configuredLevel": "WARN",
            "effectiveLevel": "WARN"
        },
        "org.mybatis": {
            "configuredLevel": "ERROR",
            "effectiveLevel": "ERROR"
        }
    },
    "groups": {}}

如果咱们想减少或者批改某一 Logger 的配置，能够通过 POST /actuator/loggers/ 自定义 logger 名称 ，Body 为：

{"configuredLevel": "WARN"}

咱们这一节详细分析了咱们微服务框架中日志相干的各种配置，包含根底配置，链路追踪实现与配置以及如果没有链路追踪信息时候的解决办法，并且针对一些影响性能的外围配置做了具体阐明。而后针对日志的 RingBuffer 监控做了个性化定制，并且阐明了通过 actuator 查看并动静批改日志配置。下一节咱们将会开始剖析基于 spring-mvc 同步微服务应用的 web 容器 – Undertow。

微信搜寻“我的编程喵”关注公众号，每日一刷，轻松晋升技术，斩获各种 offer：

退出移动版