云妹导读：
往年 11.11 期间，京东 11.11 寰球酷爱季累计下单金额超 2715 亿元，冲破历史最高下单金额的同时，京东智联云拜访带宽较往年 618 同比晋升 20%，超高弹性应答京东 11.11 海量并发需要，拜访峰值 QPS 较往年 618 同比晋升 258%；京东智联云 CDN 总峰值带宽是往年 618 峰值的 116%。
简直所有业务都须要通过京东智联云所提供的负载平衡、DNS、CDN 这些零碎，那么从这些零碎所产生的日志中便能挖掘出十分有价值的信息，也能做到从全局和上帝视角对整个零碎的状态和性能进行实时监控。日志服务未然是零碎稳固运行必不可少的一部分，成为 DevOps 中的标配选项。本次大促中，日志服务零碎的稳固运行，完满实现了大促的保障工作，为大促新纪录提供了松软的保障。本篇文章将介绍大促对日志服务所带来的挑战，以及京东智联云日志服务零碎架构设计。
一、大促对日志服务带来的挑战
1，性能方面
作为最罕用的排障、剖析工具，日志服务性能的欠缺性有着很重要的影响。在大促的场景下，用户的次要场景需要有：
- 现场日志查看
- 日志监控
- 实时剖析
- 日志生产
2，老本方面
数据作为企业最贵重的资产，大促的数据更是外围中的外围。
团体及咱们服务的相干企业一方面冀望数据资产存储越久越好，另一方面又要讲求老本与效益的均衡，这便造成了一种矛盾的景象。
日志服务每天产生以 PB 计量的数据，造成了一个不可漠视的老本项，如何无效升高其整体老本，是一个最间接的难题。
3，稳定性方面
大促作为京东团体全年唯二的最高级别大型流动，对服务的稳定性有着近乎刻薄的要求。服务上一次不稳固的稳定，都会间接导致支出上的损失。日志服务作为团体服务的技术基石，本身服务的稳定性至关重要。
二、京东智联云日志服务解析
京东智联云日志服务，作为京东外部一站式 DevOps 解决方案运维域的重要组件之一，为全团体提供对立日志解决方案。通过为研发、运维、经营提供检索、排障、剖析等性能，满足各业务零碎、经营零碎、中间件、底层服务的需要，助力其施展价值。
1，产品功能完善
作为最罕用的排障、剖析工具，日志服务提供了欠缺的产品性能。在确保笼罩各类性能需要的根底上，提供了_智能解析 _、_ 施行剖析_等增强型性能。为撑持「疾速发现问题」-「疾速定位问题」-「疾速解决问题」的外围指标提供了保障。
日志服务的业务性能架构图如下：
2，老本
京东智联云日志服务整体架构上实现了存储与计算拆散。可进行针对性的调优。
咱们先来看一下日志服务利用架构示意图：
（1）存储
存储的应用次要对应利用架构视图的 indexer 局部。这里次要关注存储相干的两个因素：存储介质 、 存储内容。
①存储介质
业余的团队干业余的事件，抉择业余的存储产品，日志服务层不再干预存储层的优化。
选取准则为：
- 足够成熟稳固；
- 老本便宜。
咱们抉择了对象存储产品。其特色为：
- 资源弹性伸缩
- 老本低廉
- 高可用性保障
- 安全性
- 兼容规范 S3
整个产品应用下来十分稳固，实现了存储介质上的「低成本」。
②存储内容
日志存储计划示意图如下，上面咱们来讨论一下在升高存储内容方面做的工作。
日志数据流传输到服务端后，被 indexer 重组为 bucket 及 index 文件，最终被写入共享存储。
index 文件用于减速定位检索的文件，bucket 局部用于存储日志原始数据。index 及 bucket 均采纳了压缩的形式进行存储，实现了存储内容上的「低成本」。
（2）计算
计算资源的应用次要对应利用架构视图中的 query indexer 局部。
这一部分性能有：
- 依照索引计算须要加载的 bucket
- 加载 bucket
- 根据 bucket 中的 meta 定位待处理的 block
- 针对 block 内容进行解压 + 计算
- 后果聚合
通过上述性能能够看到，日志检索、剖析工作兼具 IO 密集型及计算密集型特色，这部分是须要咱们针对性进行资源优化利用的。
在数据的扫描上，咱们通过多级索引，实现 bucket 文件的精准定位。
采纳提早加载的形式加载 bucket 进一步升高 IO 开销。
计算环节采纳了优先级工作队列 +worker 池的形式，通过晋升工作的并发度，能够借助更多的计算资源晋升计算速度。通过对计算工作进行评分，给予不同的优先级，正当调度计算资源，实现分级保障。
3，稳定性
上云的用户最关怀的问题就是各个根底服务的稳定性。用户是否能够齐全信赖日志服务呢，日志服务是如何保障服务的高可用性的？接下来让咱们一起探讨下日志服务的根本实现及在稳定性上所做的一些工作。
先简略介绍日志服务的组成模式及大促备战流程，这是咱们进行后续探讨前须要理解的背景信息。
上面借助日志服务职责分层示意图，来理解日志服务的组成模式：
- 采集层： 日志 agent，适配云主机，k8s 等各类环境，提供日志收集性能；
- 存储层： 底层复用 Database 及对象存储的能力，实现数据的高可用存储；
- 计算层： 对日志数据进行过滤、转换、统计，反对业务层各个功能模块；
- 业务层： 日志产品层。提供检索、剖析、监控、生产转储等性能。
大促备战流程：
其中，咱们需重点辨认如下信息：
- 辨认重保租户
- 辨认重保零碎
- 用户设定的预申请配额
理解以上信息后，咱们开始在多个方面探讨稳定性相干工作。
（1）高可用
一套高可用服务的推出，要经验的次要环节如下：
存储层
复用 Database 及对象存储的能力，间接实现跨 AZ 高可用、跨 region 的容灾能力。每个产品都做了大量稳定性相干的工作，这里不再赘述。
计算引擎
◆ 轻量级实时计算服务：自研无状态服务，依照规范的跨 AZ、Region 部署的准则，能够很轻易地实现高可用及容灾。
◆ 基于大数据引擎的计算服务：
◇ 依照业务进行划分，实现资源隔离；
◇ HA+checkpoint，保障作业的复原；
◇ 数据流多机房热备，便于工作迁徙及复原；
◇ 基于自监控的流式热点发现及复原。
（2）熔断
在依赖零碎出现异常时，经常呈现雪崩效应，一方面会向上传递放大异样，另一方面微小的流量也使得上游服务的复原变得更加艰难。
为了防止该问题的呈现，各级零碎都须要进行熔断解决。以后社区中的「自适应熔断」策略及工具曾经非常成熟，这里不再赘述。
（3）限流
限流策略能够无效地保障系统安稳运行，达到削峰填谷的目标。
在日常状况下，日志零碎的流量特色为：整体安稳，按天呈周期性起伏状，无突升突降。
针对该特色，日常限流策略为：
整体限流 n 倍： 各级零碎均须要实现整体限流策略，参数 n 须要根据本身的数据特色来决定。个别状况下，咱们偏向于设置为 3；
业务线限流 m 倍： 外围解决零碎，均须要实现对业务线限流。参数 m 的设定，须要根据产品线数据特色决定。个别状况下，m 的值应大于 n，咱们偏向于设置为 10。
在大促的状况下，整体的流量都会有大幅的上涨。咱们须要根据用户提报的「预申请配额」进行上调。
（4）伸缩
日常状况下，资源依照理论流量进行伸缩。
在备战的状况下，咱们须要提前依照租户在零碎中设定的「预申请配额」信息（见上方备战流程）进行预扩容，以打消长期进行大量伸缩可能会带来的问题。
具体执行过程中，须要依照产品架构文档一一环节进行资源池扩容确认。
（5）监控
监控作为大促最要害的保障，咱们通常须要建设的我的项目有 dashboard- 盯屏版，dashboard 运维版，告警，告警预案。其中「dashboard- 盯屏版」须要为大促成行专门内容更新建设，咱们重点探讨。
建设准则：
- 全面： 须要观测全局性，通过 dashboard 可能观测服务全局衰弱状态，不要脱漏。
- 直观： dashboard 遵循监控建设标准，可能疾速发现问题，一眼看尽。
- 用户视角： 用户侧能够感知的指标须要全副增加。
建设内容
- 日常监控 review： 包含服务整体健康度指标（SLA），黄金指标（PV、平响、错误码），拨测指标。
- 重保用户视图： 重保用户的管制面、数据面衰弱度。
- 重保服务视图： 零碎级别的管制面、数据面衰弱度。
（6）预案
- 依照备战流程中确定的重保零碎及其级别，生成分级的兜底配置，作为降级的根据；
- 根据降级配置，生成多个配置固化的预案。并提前进行演练。留神：必须要固化配置，以避免出现现场误操作导致故障的状况；
- 根据细分的监控指标设定待触发自动化预案。如果该预案非常重要，能够仅触发语音告警，届时由主备值班人员复核后执行；
- 执行预案后，零碎主动告诉被降级业务方。
三、总结
本文对京东智联云反对 11.11 流量背地的一部分工作进行了梳理。日志服务帮忙京东实现了降低成本与提高效率等重要价值，并通过高可用架构、容灾、熔断、限流、弹性伸缩、监控、预案等流程为大促的稳固运行提供了重要保障。
举荐浏览：
- 京东千亿订单背地的纵深平安进攻体系
- 11.11 TECK TALK | 11.11 应答海量拜访的网络基石 京东智联云自研交换机倒退之路
- 11.11 TECK TALK | 媲美物理机 裸金属云主机极致性能轻松应答 11.11 大促
欢送点击【京东智联云】，理解开发者社区
更多精彩技术实际与独家干货解析
欢送关注【京东智联云开发者】公众号