无分类 利用blink+MQ实现流计算中的超时统计问题 菜鸟的物流数据本身就有链路复杂、实操节点多、汇总维度多、考核逻辑复杂的特点,对于实时数据的计算存在很大挑战。经过仓配ETL团队的努力,目前仓配实时数据已覆盖了绝大多数场景,但是有这样一类特殊指标:“晚…
无分类 安排!活动素材的亿级用户精准投放 随着闲鱼用户快速增长,运营活动越来越趋于精细和个性化,运营会根据用户偏好为其投放合适的活动,如下图所示在闲鱼首页商品展示时,会在商品的列表中插入活动Banner,通过这些活动banner引导用户进入到相应活动…
Kafka 【kafka KSQL】游戏日志统计分析(3) 接上篇文章 【kafka KSQL】游戏日志统计分析(2),本文主要通过实例展示KSQL的连接查询功能。 创建另一个topic {代码…} 往新topic中写入数据 {代码…} 从prop-normalized主题创建Stream {代码…} 重新设置RO…
无分类 阿里巴巴,果然开始拥有“预测未来”的能力了 高德地图、GPS 卫星导航、路面磁感线圈、1300 个路口摄像头同时开动,为这辆救护车勘探最快路线;GPS 传回实时数据,后台根据辅助数据纠偏,锚定救护车每一刻的精确位置; 救护车将要经过的沿途,车辆情况被实时…
Kafka 【kafka KSQL】游戏日志统计分析(2) 接上一篇文章【kafka KSQL】游戏日志统计分析(1),展示一下KSQL WINDOW 功能的使用。 测试用日志数据: {代码…} KSQL三种Window 统计每2分钟内完成对局大于等于3局的玩家 根据时间窗口(Tumbling window)建…
无分类 Apache Flink,流计算?不仅仅是流计算! 阿里妹导读:2018年12月下旬,由阿里巴巴集团主办的Flink Forward China在北京国家会议中心举行。Flink Forward是由Apache软件基金会授权的全球范围内的Flink技术大会,2015年开始在德国柏林举办,今年第一次进入…
无分类 Flink SQL 核心解密 —— 提升吞吐的利器 MicroBatch 之前我们在 Flink SQL 中支持了 MiniBatch, 在支持高吞吐场景发挥了重要作用。今年我们在 Flink SQL 性能优化中一项重要的改进就是升级了微批模型,我们称之为 MicroBatch,也叫 MiniBatch2.0。