在并发量一定的情况下如何对系统响应时间进行详细分析分析步骤1.1 在关键点位添加日志信息 -> 缩小目标范围a) 主要函数耗时b) 访问外部系统耗时：DB、MQ、Cache、FileSystem、RPC、HTTP等c) 接口内不同逻辑耗时百分比/绝对值1.2 详细分析瓶颈出现原因a) 技术层面：优先考虑b) 业务逻辑：业务逻辑改造一般影响较大、耗时较长，优先级低1.3 针对性解决问题一旦定位了问题原因，解决问题的方法都相当容易技术层面2.1 代码实现a) 串行逻辑是否可以并行化b) 串行请求是否可以批量(batch)请求c) SQL是否需要优化d) 算法复杂度是否需要优化e) 语言核心库是否提供了性能更高的使用方式f) 引用的第三方库是否存在性能问题g) 每次外部请求是否都重新建立连接2.2 内核/硬件层面a) CPU使用率b) 内存使用率c) 磁盘IO状况d) 网络状况d) 瓶颈是否由调用的内核函数引起？该函数是如何工作的；新版本内核是否已经对此优化；如何调整使用方式可以更高效2.3 日志线程会争夺日志锁，在高并发情况下，同步写日志很影响性能。异步写又可能引起OOM。业务逻辑随着业务的增长，接口负担的功能原来越复杂，逻辑链路越来越长，事务越来越大，性能越来越差，越来越没办法维护。（如果有人负责把控、从相对长远些的角度设计系统的迭代，这种情况本是可以避免的）优化办法只有一个就是：保留主链路，旁支链路异步化。常用工具4.1 内核a) CPU: top、vmstat htop w uptime dstatb) MEM: top、freec) disk IO: iostat例: iostat -kx 1 //每秒统计一次ioiotop -o //查看磁盘使用率较高的进程d) 网络流量：sar -n DEV 1 3 //每秒统计一次所有网卡流量，共3次网络抓包: tmpdump，可配合tmptrace、wireshark分析TCP连接状况：netstat -an | grep TIME_WAIT //client端近期关闭tcp连接数量e) 查看/proc/xxx中的系统详细信息小知识a) 网络抖动引起tcp重传，一般内部系统之间的调用，linux设置的重传时间间隔为至少200ms以上。b) 服务之间通过网络调用，网络开销在500us ~ 2msc) 机械磁盘寻址: 20msd) 磁盘的某page中如果存在数据，程序写此page时如果不会填充整个page，内核会先载入整个page，再输出整个page，保证磁盘数据不丢。这会导致一次被动读磁盘，性能损耗会很大。否则会直接写入磁盘高速缓存，间隔固定时间刷盘一次(5s)。e) 日志使用seaslog buffer随着系统并发量的增加，系统响应时间会逐步下降甚至雪崩，一般是由多线程之间、模块之间、子系统之间争夺资源（锁）引起的。