乐趣区

关于java:Fllink实时计算运用一概述与应用场景

jiezi

1. Flink 概述

  • Flink 是什么

    Flink 是一个面向数据 流解决 和批处理 的分布式 开源计算框架。

  • 无界流 VS 有界流

    任何类型的数据都能够造成 流数据，比方用户交互记录，传感器数据，事件日志等等。

    Apache Flink 善于解决无界和有界数据集。准确的工夫管制和有状态的计算，使得 Flink 可能运行任何解决 无界流的利用。

    流数据分为 无界流和有界流。

    1）无界流：有定义 流的开始 ，但没有 定义流的完结，会不停地产生数据，无界流采纳的是流解决形式。

    2）有界流：有定义流的 开始 ，也有定义流的 完结，须要在获取所有数据后再进行计算，有界流采纳的是批处理形式。

  • 编程模型

    DataSet 个别用来解决有界流数据。

    DataStream 个别用来解决无界流数据。

2. 利用场景 - 智能举荐

什么是智能举荐？

定义：依据用户行为习惯所提供的数据，零碎提供策略模型，主动举荐合乎用户行为的信息。

例举：

比方依据用户对商品的点击数据（工夫周期，点击频次），举荐相似的商品；

依据用户的评估与满意度，举荐适合的品牌；

依据用户的应用习惯与点击行为，举荐相似的资讯。

利用案例：

  1. 小红书举荐零碎

  2. 实时流解决

  3. Flink 解决（新一代大数据处理引擎）

3. 利用场景 - 实时数仓

1）什么是实时数仓

数据仓库（Data Warehouse）, 可简写为 DW 或 DWH，是一个宏大的数据存储汇合，通过对各种业务数据进行筛选与整合，生成企业的剖析性报告和各类报表，为企业的决策提供反对。实时仓库是基于 Storm/Spark（Streaming）/Flink 等实时处理框架，构建的具备实时性特色的数据仓库。

2）利用案例

剖析物流数据，晋升物流解决效率。

3）阿里巴巴菜鸟网络实时数仓设计：

4）数仓分层解决架构（也称流式 ETL）：

ODS -> DWD -> DWS -> ADS

ODS（Operation Data Store）：操作数据层，个别为原始采集数据。

DWD(Data Warehouse Detail)：明细数据层，对数据通过荡涤，也称为 DWI。

DWS(Data Warehouse Service)：汇总数据层，基于 DWD 层数据，整合汇总成剖析某一个主题域的服务数据，个别是宽表，由多个属性关联在一起的表，比方用户行为日志信息：点赞、评论、珍藏等。

ADS(Application Data Store): 利用数据层，将后果同步至 RDS 数据库中，个别做报表出现应用。

4. 利用场景 - 大数据分析利用

  1. IoT 数据分析

    1) 什么是 IoT

    物联网是新一代信息技术，也是将来倒退的趋势，英文全称为：Internet of things（IOT），顾名思义，物联网就是万物相联。物联网通过智能感知、辨认技术与普适计算等通信感知技术，广泛应用于网络的交融中，也因而被称为继计算机、互联网之后世界信息产业倒退的第三次浪潮。

    2) 利用案例

    物联网设施经营剖析：

    华为 Iot 数据分析平台架构：

  2. 智慧城市

    城市中汽车越来越多，川流不息，高德地图等 APP 通过技术手段采集了越来越多的摄像头、车流的数据。

    但路线却越来越拥挤，越来越多的城市开始通过大数据技术，对城市履行智能化治理。

    2018 年，杭州采纳 AI 智慧城市，均匀通行速度进步 15%，监控摄像头日报警次数高达 500 次，辨认准确率超过 92%，AI 智慧城市通报占整体 95% 以上，在中国城市交通堵塞排行榜，杭州从中国第 5 名降至 57 名。

  3. 金融风控

    危险是金融机构业务固有个性，与金融机构相伴而生。金融机构盈利的起源就是承担风险的危险溢价。

    金融机构中常见的六种危险：市场危险、信用风险、流动性危险、操作危险、名誉危险及法律危险。其中最次要的是 市场危险和信用风险。

    线上信贷流程，通过后盾大数据系统进行反欺诈和信用评估：

  4. 电商行业

    用户在电商的购物网站数据通过实时大数据分析之后，通过大屏汇总展现，比方天猫的双 11 购物流动，通过大屏，将全国上亿买家的订单数据可视化，实时性的动静展现，蕴含总览数据，流式 TopN 数据，多维区域统计数据等，极大的加强了对海量数据的可读性。

    TopN 排行：

    区域统计：

本文由 mirson 创作分享，如需进一步交换，请加 QQ 群：19310171 或拜访 www.softart.cn

退出移动版