存在的问题
上周忽然在部署一点很简略的新业务之后,上线没多久忽然OOM,大部分接口拜访超时,甚至有的间接失败,刚开始认为是查问了什么了大数据导致的,后果看了下CPU,300%。
排查思路
最开始我先看了下日志,如下:
org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.exceptions.PersistenceException: ### Error querying database. Cause: java.lang.IndexOutOfBoundsException: Index: 2, Size: 2### The error may exist in file [/Users/bingfeng/Documents/mochuCode/service-ecook/target/classes/mybatis/mapper/CollectionSortMapper.xml]### The error may involve cn.ecook.core.mapper.CollectionSortMapper.selectTopSortCollectionWithDays### The error occurred while handling results### SQL: select sortid as id ,count(*) as `number` from `collection_sort_collection` WHERE createtime between concat(?, ' 00:00:00') and concat(?, ' 23:59:59') group by sortid order by `number` DESC LIMIT ?### Cause: java.lang.IndexOutOfBoundsException: Index: 2, Size: 2 at org.mybatis.spring.MyBatisExceptionTranslator.translateExceptionIfPossible(MyBatisExceptionTranslator.java:92) at org.mybatis.spring.SqlSessionTemplate$SqlSessionInterceptor.invoke(SqlSessionTemplate.java:440) at com.sun.proxy.$Proxy97.selectList(Unknown Source) at org.mybatis.spring.SqlSessionTemplate.selectList(SqlSessionTemplate.java:223) at org.apache.ibatis.binding.MapperMethod.executeForMany(MapperMethod.java:147) at org.apache.ibatis.binding.MapperMethod.execute(MapperMethod.java:80) at org.apache.ibatis.binding.MapperProxy.invoke(MapperProxy.java:93) at com.sun.proxy.$Proxy166.selectTopSortCollectionWithDays(Unknown Source)
日志过后只有这种报错,最开始我认为这就是简略的索引越界异样,没在意,把这块问题过掉了。
剖析CPU高的过程
到这里咱们就须要通过堆栈信息去进行剖析,看到底是哪里的呈现了问题,上面是具体的步骤:
- 依据过程号查问查看过程中各个线程的资源使用率
top -Hp 2159
这里的CPU是复原后的,过后的后果CPU前三个都是99%。
将线程id转换为16进制
printf "%x\n" 2205
打印堆栈信息
jstack 2159 | grep -10 89d
通过上面的状态,能够发现,呈现接口拜访慢的起因是因为所有的线程阻塞导致的,再往下能够发现导致这些问题的起因是查问SQL导致的。那么咱们就把最新提交的代码看看,哪里进行了SQL查问。
问题定位
通过排查发现,有这么一段代码,这是SQL查问后果的实体,就是因为应用了@Builder注解,没有显式的提供结构,才导致CPU始终飙升。
再应用Builder之后,肯定要显式的申明构造方法
反思
呈现这种问题我感觉就两个起因:
- 1、自测不到位;
- 2、标准不够(要是标准到位,实体类不可能呈现没有结构的状况);