一、背景及问题
为晋升超大规模网络下的问题定位能力，有效应对云上“10 亿级别 IP 对”的场景，百度智能云公布了流日志产品。
这款产品提供了一种根本的网络问题定位、流量监控和展现的能力，反对用户检索、查问及可视化相应专线网关流量的性能。使得在带宽在一直增长的同时，用户对网络的诊断能力也能同步晋升。
相较于用户本人做流统的传统形式，流日志提供了规范的产品状态，使云上流量更加可视化，做到接入即用，轻松应答 10T 级别专线网关下的流量治理，缩小用户在开发和保护上的工作累赘，使得用户能够更专一于本身业务倒退，晋升企业外围竞争力。
二、流日志介绍
流日志用于记录 VPC 中云服务器、专线网关、NAT 网关等实例发送和承受的网络流信息。通过大数据的的剖析与汇总对立发送给云上日志剖析服务，进行数据存储与可视化展现。
用户能够不便地使用流日志进行故障诊断、业务行为剖析、安全检查以及合规审计等操作，以此来正当优化云上网络架构、晋升业务安全性。
该产品反对流量的镜像剖析，实现了流粒度的精细化统计和平安审计性能，满足不同用户的应用需要。
流日志的产品入口位于百度智能云 Console VPC 页面的列表页左侧，用户可通过 ” 创立流日志 ” 轻松创立须要的网关流日志：
- 反对全副流量、容许和回绝的不同类型流量统计
- 反对 NAT 网关、对等链接、专线网关等不同资源的流量统计
三、技术架构
流日志产品后端由多个逻辑节点组成，别离承当不同的责任：
- 转发节点：基于可编程硬件实现的云网关，具备高吞吐、超稳低时延、低能耗、易运维等特点，能够轻松撑持线上 10T 级别专线网关流量。
- 数据节点：对网元的镜像流量进行统计和汇聚，实现流量信息的统计和聚合。反对百万级别 IP，十亿级别 IP 对。
- 计算节点：对线上日志信息进行大数据分析，每分钟可实现上亿条日志的解决，实现数据的落盘和最终转发。
- 日志节点：用户数据的最终目的地类型，目前已凋谢 BOS 和 BLS 来承接流日志信息，配置和使用方便。
四、利用场景
4.1 故障诊断，解决云上服务不可达问题
流日志通过对用户专线流量的采集，帮助用户剖析历史或者当下流量数据，理解云上服务历史运行状况：
- 反对 ACL 放通及 ACL 回绝的不同流量统计，联合用户云上业务的变动，正当地对云上防火墙策略进行调整。个别云上服务器因为 ACL 配置不合理导致的不可拜访的状况通常须要用户认真排查云上策略，对于简单宏大的架构而言消耗的工夫更是无法估量的，通过流日志的配置，能够疾速定位丢包点和丢包策略，疾速定位网络故障，进步云上业务稳定性。
- 流日志能够保留故障现场，依附历史流日志，为用户还原故障工夫点现场，提供一手流量信息，进步故障定位效率。
4.1.1. 经典案例
某混合云用户在云上的云服务器创立后拜访异样，无奈正确建设连贯，用户通过对专线网关流日志数千万条信息的过滤，很快就发现了拜访云上服务器的流量被 ACL 抛弃，导致建连失败，得以及时调整了专线网关策略，进步了故障诊断的效率，保障了服务的及时上线。
4.2 费用摊派，解决用户部门间成本计算问题
因为传统的建设模式的各种局限性，越来越多的企业开始做云上的数字化转型，同时更多企业在起步阶段就曾经将本人的业务上云，轻资产经营，进步了企业业务倒退的速度，解脱了各种线下建设的包袱。
在享受更高的可扩展性和灵活性的同时，费用计算与摊派也成了一个问题。通过流日志的采样，公司各个部门的拜访流量高深莫测，部门间的费用摊派变得轻而易举。
另一方面，通过流日志的统计，使用户具体的理解到本身外部各个业务的带宽需要，正当的进行带宽调整，无效的进行老本管制。
4.2.1. 经典案例
某混合云客户专线场景，通过专线流日志过滤用户几十个外部部门流量，定期进行各部门应用流量与专线产品总费用的计算摊派，使各个部门的老本更加清晰化，与计划成本进行比拟，据此进行动静调整。相较于传统模式的资产统计相干简单流程，流日志大大简化了成本计算形式，用户能够更多的将精力投入到业务的倒退中。
4.3 大象流治理，解决网络拥塞问题
用户在应用云上专线等产品时，可能会存在大象流打满带宽的状况，一个异样业务的大象流可能会影响同一条专线网关门路上的其余所有业务流量，引起网络拥塞。
为了在呈现问题时候可能及时无效的定位到引发突增的 Host，百度智能云提供了基于专线网关上的连贯的 TOP IP 统计，从而不便用户进行准确的限速压抑，确保大盘稳固。
通过 TOP IP 的性能高效排查和治理大象流的问题。流日志能够为用户提供两种可抉择的数据交付模式：应用规范的百度智能云上日志日志服务零碎 BLS，或者间接将元数据发送给用户本人的云上 Kafka，由用户自在的应用流量数据，实现本人的业务监控。
4.3.1. 经典案例
某电商客户混合云场景的 10T 级专线场景，应用自建 Kafka 接管 TOP IP 元数据的模式，配合云上业务情况，开发本人的自动化运维零碎，对业务进行实时监控。依据可视化的流量统计，在几分钟内发现百万个 IP 中可能影响业务的大象流，对其进行继续跟踪，适时地进行限速解决，缩小了运维老本，进步了线上服务的稳定性。
4.4 平安检测，解决云上平安加固问题
流日志实时将云上流量可视化，为用户提供了准确的网关流量统计，不便用户对每一条流量精密把控。
用户能够通过对流日志的监控，在高达百万规模 IP 网络中精确辨认并过滤异样、危险流量，及时对云上和云下机房流量进行梳理，拆除异样节点，简化流量模型，晋升运维幸福感。
4.4.1. 客户案例
某金融客户专线场景，通过流日志剖析云上专线流量，清理云上无用 IP、拆除异样流量设施，简化云上资源，并通过白名单的形式更好地进行云上平安加固。
五、总结
与其余云监控相比，流日志能给百度智能云的用户带去更多劣势：
- 无性能损耗：不影响网络吞吐及提早，不会对性能造成任何危险。
- 全时全流：弱小的包解决能力，可采集全网网关流量，反对 10T 级别专线流量统计。精确展示业务网络情况，让用户对云网络品质一目了然。
- 实时性强：实时的海量网络流数据采集、分钟级流量汇总，帮忙企业迅速实现业务剖析、趋势判断与决策响应。
- 简略易治理：秒级开明，代替用户本人业务的流统计算，帮忙用户晋升运维效率，使用户更专一于本身业务倒退，晋升企业外围竞争力。
流日志作为云上监控的利器，对云上流量进行实时地监控，保留历史流量统计，时刻保障用户应用，晋升业务稳定性。
流日志产品正在公测中，可通过链接进行申请：
https://cloud.baidu.com/surve…
举荐浏览：
百度 App Android 启动性能优化 - 工具篇
数字人技术在直播场景下的利用
百度工程师教你玩转设计模式（工厂模式）
超大模型工程化实际打磨，百度智能云公布云原生 AI 2.0 计划
前后端数据接口合作提效实际
前端的状态治理与工夫旅行：San 实际篇
百度 App 低端机优化 - 启动性能优化（概述篇）
面向大规模数据的云端治理，百度桑田存储产品解析