这次我们为大家带来中间件增强框架专题(MOF)的最后一篇文章,为大家讲解 MOF 中的 InterceptFramework 框架。该框架可以在应用启动过程中获取画像信息,实现应用画像数据采集和存储。
前言
在智能运维中,应用服务所使用的组件及 JAR 包等相关信息非常重要,这些信息能够清晰地描绘一个应用服务的骨架,我们称这些信息为应用画像。在 UAVStack 中,中间件增强框架(MOF)下的 InterceptFramework 可以在应用启动过程中获取画像信息。本文主要介绍 InterceptFramework 的架构原理和在此基础上实现的应用画像数据采集与存储。
整体架构
关键技术
Javaassist
Hook
关键类及功能
Profile 数据和客户端监控指标主要通过 InterceptSupport 和 hookProxy 机制捕获和监控。
Profile 也会安装至 DataObserver 对象并暴露 JMX/HTTP 接口。
拦截之前的准备
1. 在应用启动的特定生命周期内改写字节码,植入特定的逻辑处理代码进行拦截。
2. 拦截框架对应的 Supporter 启动,从配置文件中获取应该装载的 Listener,构建 InterceptSupport 实例,把 Listener 添加到 InterceptSupport 实例中。
具体的拦截逻辑
在应用启动过程中的特定生命周期,之前植入的代码拦截逻辑开始执行 InterceptSupport 的 doIntercept 方法,遍历已注册的 Listener 监听器。每个监听器都继承自 InterceptEventListener 类。不同的子 Listener 对相应类型的画像采集处理:AppProfilingListener 负责监听所有服务画像事件,AppFrkHookFactoryListener 负责监听客户端画像事件。
架构说明
InterceptSupport:单例作为统一的 Profile/Client hook 捕获入口点
InterceptContext:捕获上下文接口, 所有捕获参数由 Context 封装
InterceptEventListener:事件劫持监听器, 所有监听器需继承并注册监听
AppProfilingListener:服务画像监听器, 监听所有服务画像事件
AppFrkHookFactoryListener:客户端画像监听代理
关键类说明
StandardProfile:实现了 Profile 接口,是画像数据抓取实现类,提供了 doProfiling 方法负责抓取行为和生成抓取结果;
ProfileHandler:不同的抓取逻辑和抓取点的共同接口,实现不同的抓取逻辑;提供了抓取行为的 doProfiling 方法;
StandardProfileRepository:存储画像数据抓取数据结构;
DataObserver:暴露了 JMX/HTTP 接口数据;
Profile 实时监控在从 AppProfilingListener 类调用 startProfiling 时,将 Profile 对象安装到 DataObserver 对象中;
DataObserver 提供 JMX/HTTP 服务,供后续抓取使用,其中 Http 服务注册了 HttpJEEProfileObserver,主要负责画像数据的抓取服务;
各个 Handler 类具体处理抓取的各类数据。
画像数据
画像数据即静态数据,是在进程启动时即可得到的数据,包括操作系统相关的信息、程序相关的信息、程序启动后相关的初始化信息。
画像数据主要包括服务画像、溯源感知画像和客户端画像三部分,如上图所示。以下分别从这三个方面介绍画像采集:
服务画像采集
服务画像描述了服务本体的信息,包括应用唯一标识(AppID)、服务名(Service ID)、服务实例的 URI、服务接口的 URI、服务接口的元数据(类、方法、入参出参、注解、部署描述符)。
以 Tomcat 为例,应用的启动过程需要经过 StandardContext 的 start 方法。我们可以在此方法的最后植入代码逻辑进行拦截,通过拦截可以获取到以下信息:
应用名、webworkdir(工作目录)、servletcontext、contextpath、basepath(应用实际路径)等容器上下文信息;
根据相应的技术规范(Servlet、JAXRS、JAXWS、Spring 等)获取画像数据,主要包括:通过反射的方式获取类和方法名以及出参入参信息、扫描注解类、获取注解信息、解析部署描述符文件(web.xml 等)信息。
服务画像除了获取以上信息外,还获取应用的日志路径和所用 JAR 包等信息。
溯源画像采集
溯源画像采集主要借助 HTTP 协议 Header 中的字段进行溯源,通过中间件劫持技术拦截 Tomcat 中 StandardEngineValve 的 Invoke 方法,获取溯源数据。
收集的数据有以下几种:
Client Address:直连客户端 IP 地址;
X-Forwarded-For:如果存在,则为代理路由地址链,则直连客户端为代理服务;
Host:表明远程主机甚至端口信息,如果直连客户端是代理服务,则 Host 为代理 IP 地址和端口;
User-Agent:代理描述,可用来区分浏览器还是程序客户端,还可以提取很多浏览器终端信息;
UAV-Client-Src:HTTP 客户端劫持加入的 Header 字段,用于 UAV 应用之间调用的拟合。
客户端画像采集
客户端画像通过对一系列常用中间件客户端进行劫持实现,目前已支持同步 / 异步 http、数据库 jdbc、redis(jedis,aredis,lettuce)、mongodb、rocketmq/rabbitmq/Kafka、ESClient 等。
劫持通过 javaassist 字节码改写、动态代理等 AOP 技术,在客户端调用代码中嵌入特定处理逻辑,获取调用相关的信息,如调用地址、调用协议、调用结果等。
画像数据基于调用地址、访问协议、调用结果的特征提取来确定目标服务。
调用地址:以类 URI 格式表示
http/https 服务(业务 / 代理服务):http://
关系型数据库(数据源服务):jdbc:
非关系型数据库或缓存(数据源服务):
消息队列(消息服务):mq:
访问协议:某种访问动作。例如 HTTP 的 POST、SQL 插入、发送 / 订阅消息、Redis 的 hgethashall、Mongo 的 Collection 操作等。
访问结果特征:服务的基础栈类型、是否集群,例如 Nginx、Tomcat、Apache 等。
以 ESClient 为例,我们可以劫持 TransportService 的 sendRequest 方法,植入我们的拦截代码逻辑。
与服务画像不同的是,客户端画像发生在具体客户端调用过程中,并非在应用的启动环节。
画像存储结构
画像存储按以下结构分层存储:
StandardProfileRespository 存储某个应用的整个画像;
StandardProfileElement 存储某类组件画像(服务端、客户端、日志、jar 等);
ProfileElementInstance 存储某类组件当中的某一个组件画像,以服务组件画像为例,如:如组件 JAXRS、Servlets 各为一个 ProfileElementInstance,但它们同属于服务组件这一 StandardProfileElement.
DataObserver 提供了 JMX 和 HTTP 两种模式来暴露接口画像数据,这一点与实时数据类似,在我们 MOF 系列的兄弟篇《中间件增加框架之 CaptureFramework》中已经详细介绍过,在此处不再赘述。
作者:李兴胜 宜信技术学院官网:http://college.creditease.cn/…