简介:客户通过把日志数据迁徙到 SLS,代替原有的 kafka、ES、ClickHouse,累积节省成本达到 30%,同时满足了稳定性、扩展性需要,以及对日志查问剖析的需要。
公司介绍
哈啰出行是国内当先的业余挪动出行平台,致力于为用户提供便捷、高效、普惠、平安的出行工具和服务。公司于 2016 年 9 月在上海成立。成立四年多来,秉持着“科技推动出行进化”的使命,凭借卓越的创新能力、差异化的倒退策略和技术驱动下的优异经营能力,哈啰从强烈的市场竞争中怀才不遇。目前公司曾经进化为包含两轮出行(哈啰单车、哈啰助力车、哈啰电动车、小哈换电)、四轮出行(哈啰逆风车、全依靠于智能锁,赋能了在线的实时调度。单车数据、APP 数据无缝买通,因此催生了数据的实时采集、剖析、存储需要。业务场景介绍 2 网叫车、哈啰打车)等的综合化挪动出行平台,APP 累计注册用户超 4 亿。
截至 2020 年 10 月底,哈啰出行旗下哈啰单车曾经进驻全国超 460 城,用户累计骑行 240 亿公里,累计缩小碳排放量近 280 万吨;哈啰助力车已进入全国超 400 城,用户累计骑行近 80 亿公里,节约碳排放 28 万吨;哈啰逆风车已覆盖全国超 300 城,认证车主逾 1800 万名。
业务场景介绍
依靠于智能锁,赋能了在线的实时调度。单车数据、APP 数据无缝买通,因此催生了数据的实时采集、剖析、存储需要。
每天增量数据 TB 级别,影响零碎稳定性
客户原有架构是数据采集到 kafka,而后利用日志写入 ELK 做查问,同时写入 ClickHouse 做剖析。因为每天增量数据在 TB 级别,对 ES 稳定性压力比拟大。当查问数据操作,会影响 ES 的写入延时。因为写入量大,查问根本处于不可用状态。因而,当天数据采纳单正本,隔天再生成多正本。这种形式对数据的可靠性时很大的挑战。同时,自建 Kafka、ES、ClickHouse 老本较高,急需降低成本。
日志服务提供 TB 级别日志的实时采集、弹性扩容、实时查问
阿里云日志服务为客户提供了 TB 级别日志的实时采集、弹性扩容、实时查问的能力。
在数据采集方面,原来把数据采集到 kafka,在散发到上游 ES、ClickHouse。SLS 原生反对 Kafka 协定。各个客户端只需把 kafka 的地址设置成 SLS 的 kafka 协定地址即实现了无缝迁徙。
在弹性扩容方面,SLS 采纳 Shard 模型,当流量产生上涨时,在控制台动动手指决裂 Shard 即可实现写入带宽的扩容。也能够设置成主动决裂,当流量打到下限时,主动扩容出新的 Shard。
在查问和剖析方面,客户原来采纳 ES 做查问,ClickHouse 做剖析。而因为流量比拟大,ES 查问根本不可用。SLS 同时提供了查问和剖析能力。在查问方面,反对关键字检索、数值范畴查问、json 字段的递归查问、多条件组合查问。在数据分析方面,反对以 SQL92 语法分析日志,秒级别即可剖析数百亿条日志。SQL 语法反对 200+ 函数,以及反对 join 计算,可与 OSS、MySQL 数据源做关联剖析。同时一些特有的函数例如同比环比函数、IP 地理位置函数等等。
在可视化方面,SLS 控制台作为阿里云排名 Top 5 的控制台,为能够提供所见即所得的查问剖析体验。同时控制台还能够供客户做二次开发,嵌入到本人的后盾运维零碎中。
达到的成果
客户通过把日志数据迁徙到 SLS,代替原有的 kafka、ES、ClickHouse,累积节省成本达到 30%,同时满足了稳定性、扩展性需要,以及对日志查问剖析的需要。
原文链接
本文为阿里云原创内容,未经容许不得转载。