关于高并发:高并发下如何缩短响应时间

54次阅读

共计 2098 个字符,预计需要花费 6 分钟才能阅读完成。

定义

网站响应工夫是指系统对申请作出响应的工夫。艰深来讲就是咱们把网址输出进浏览器而后敲回车键开始始终到浏览器把网站的内容出现给用户的这段时间。网站响应工夫是越短越好,因为网站页面关上速度越快,就意味着咱们的用户能够更快的拜访站点或者咱们的服务器。个别咱们网站的响应工夫放弃在 100~1000ms 即可。1m=1000ms,关上速度越快对用户体验度越好。据说响应工夫还会影响到网站 SEO 成果(请行业专家留言通知我)。

响应工夫并不能间接反映网站性能的高下,然而在肯定水平上反馈了网站零碎的解决能力,也是给用户最直观上的感触。如果网站的响应工夫过长,比方 10 秒以上,用户的流失率会大大增加,所以把响应工夫管制在肯定范畴内是进步用户体验度的第一因素。

解决方案

当用户申请一个网站数据的时候,实际上是发送了一个 http 申请,在宏观上能够分为两个局部:

  1. http 申请达到指标网站服务器之前
  2. http 申请达到指标网站服务器之后

如果疏忽其中硬件局部和局部细节,申请一个网站数据的大体过程如下图所示(其中 CDN 和缓存局部能够省略):

咱们要想缩短一个网站的响应工夫,实质上是进步数据的返回速度,说的直白一点就是要把申请数据过程中的各个步骤进步速度,这样整体下来响应工夫就会缩短。

把数据放在离用户越近的中央响应工夫越快

客户端

客户端是发动一个网站申请的源头,其实这个源头能够施加肯定的策略来大大缩短某些数据的获取工夫。其中最为罕用的就是缓存,一些罕用的,很少变动的资源缓存在客户端,岂但能缩短获取资源的工夫,而且在很大水平上能加重服务端的压力。比方一些图片,css,js 文件,甚至一些接口的数据或者整个网页内容都能够在客户端做缓存。另外 http 申请的合并也能够缩小对服务端的申请次数,在肯定水平上能够缩短申请的响应工夫。

DNS

个别网站的拜访形式都采纳域名的形式(很少见 IP 形式),既然是域名就波及到 DNS 解析速度的问题,如果 DNS 服务解析的速度比较慢,整体过程的响应工夫也会加长,不过这个过程其实很少呈现慢的问题(不是说没有)。

DNS 的解析过程能够查看这篇文章

网络

客户端获取到网站 IP 之后通过网卡把 Http 申请发送进来,指标地址为相应的网站服务器。在这个过程当中如果客户端和服务器端有一方带宽比拟小的话,就会加大响应工夫。我司已经就因为服务器带宽过小导致客户端响应工夫很长的状况,过后排查了很长时间才发现。

当然网络是不牢靠的,这个过程的响应工夫其实取决于很多因素,比方路由器的路由策略是否最优,整个过程通过的网关数据量等。所以有很多网站其实是多地区多机房部署的,目标就是为了让用户通过很短的网络门路就能达到网站(其实这个过程运营商的抉择也有影响)。

网站

当一个申请达到网站服务器,服务器便开始解决申请,个别会有专门解决业务申请的一个业务层,有的体现为 rpc 协定的微服务,有的体现为简略的一个代码分层。最终申请的数据会通过查询数据库来返回。其实这个过程和车站购票流程一样,每个窗口的解决能力是无限的,对应到服务器解决能力。因为这个起因,所以诞生了负载平衡的策略,核心思想就是:分。一台服务器不够,那就两台,三台,四台 ….. 直到并发的所有申请的响应工夫都在可控范畴之内。

数据库的状况相似,一个数据库扛不住压力,就加到 N 个数据库扩散压力。一个表扛不住压力,就把这个表拆离开,拆分成多个表,甚至拆分到多个不同服务器数据库,这就是咱们罕用的拆表策略。有的时候在同一个数据库中进行表拆分,性能的晋升并非最大化,因为一台服务器的磁盘 IO 是有下限的,就算拆成 100 个表,还是在同一个物理磁盘上,当然这样可缓解锁单表的状况。

当初有很多的场景采纳 NOsql 代替关系型数据库来缩短响应工夫,在失常状况下,因为关系型数据库的自身因素在特定场景下的读写速度比 Nosql 要慢很多,所以零碎设计初期,能够思考采纳关系型数据库和 Nosql 混用的计划。

缓存

当并发的申请达到肯定水平,瓶颈大部分状况下产生在 DB 层面,甚至 DB 无论怎么优化总有下限。为了防止频繁查询数据库产生瓶颈,诞生了缓存。在拜访数据库之前退出了缓存层,当然这里的缓存采纳的计划在数据的响应工夫上要比数据库小很多,比方罕用的 redis,Memcache,然而这些第三方的缓存组件还是要走网络,比起过程内的缓存还是要慢的多。

详情请参考以前文章

当初个别风行的设计在网站层和服务层都有缓存策略,只不过缓存的数据和策略有所不同,然而最终目标都是为了放慢申请的响应。当然加了缓存之后,数据的一致性须要认真设计才能够,如果产生数据不统一的状况,程序员可能要背锅了。

缓解数据库压力并不是引入缓存的惟一因素

CDN 减速

一些小厂可能用不到 cdn,然而 cdn 带来的减速还是很主观的。cdn 依附部署在各地的边缘服务器,通过核心平台的负载平衡、内容散发、调度等功能模块,使用户就近获取所需内容,升高网络拥塞,进步用户拜访响应速度和命中率。CDN 就是把离用户最近的数据返回给用户。

写在最初

程序异步化其实并不能缩短响应工夫,然而对进步吞吐量有很大作用。

更多精彩文章

  • 分布式大并发系列
  • 架构设计系列
  • 趣学算法和数据结构系列
  • 设计模式系列

正文完
 0