关于java:Fllink实时计算运用一概述与应用场景

7次阅读

共计 1680 个字符，预计需要花费 5 分钟才能阅读完成。

Flink 是什么

Flink 是一个面向数据 流解决 和批处理 的分布式 开源计算框架。
无界流 VS 有界流

任何类型的数据都能够造成 流数据，比方用户交互记录，传感器数据，事件日志等等。

Apache Flink 善于解决无界和有界数据集。准确的工夫管制和有状态的计算，使得 Flink 可能运行任何解决 无界流的利用。

流数据分为 无界流和有界流。

1）无界流：有定义 流的开始 ，但没有 定义流的完结，会不停地产生数据，无界流采纳的是流解决形式。

2）有界流：有定义流的开始，也有定义流的完结，须要在获取所有数据后再进行计算，有界流采纳的是批处理形式。
编程模型

DataSet 个别用来解决有界流数据。

DataStream 个别用来解决无界流数据。

什么是智能举荐？

定义：依据用户行为习惯所提供的数据，零碎提供策略模型，主动举荐合乎用户行为的信息。

例举：

比方依据用户对商品的点击数据（工夫周期，点击频次），举荐相似的商品；

依据用户的评估与满意度，举荐适合的品牌；

依据用户的应用习惯与点击行为，举荐相似的资讯。

利用案例：

小红书举荐零碎
实时流解决
Flink 解决（新一代大数据处理引擎）

1）什么是实时数仓

数据仓库（Data Warehouse）, 可简写为 DW 或 DWH，是一个宏大的数据存储汇合，通过对各种业务数据进行筛选与整合，生成企业的剖析性报告和各类报表，为企业的决策提供反对。实时仓库是基于 Storm/Spark（Streaming）/Flink 等实时处理框架，构建的具备实时性特色的数据仓库。

2）利用案例

剖析物流数据，晋升物流解决效率。

3）阿里巴巴菜鸟网络实时数仓设计：

4）数仓分层解决架构（也称流式 ETL）：

ODS -> DWD -> DWS -> ADS

ODS（Operation Data Store）：操作数据层，个别为原始采集数据。

DWD(Data Warehouse Detail)：明细数据层，对数据通过荡涤，也称为 DWI。

DWS(Data Warehouse Service)：汇总数据层，基于 DWD 层数据，整合汇总成剖析某一个主题域的服务数据，个别是宽表，由多个属性关联在一起的表，比方用户行为日志信息：点赞、评论、珍藏等。

ADS(Application Data Store): 利用数据层，将后果同步至 RDS 数据库中，个别做报表出现应用。

IoT 数据分析

1) 什么是 IoT

物联网是新一代信息技术，也是将来倒退的趋势，英文全称为：Internet of things（IOT），顾名思义，物联网就是万物相联。物联网通过智能感知、辨认技术与普适计算等通信感知技术，广泛应用于网络的交融中，也因而被称为继计算机、互联网之后世界信息产业倒退的第三次浪潮。

2) 利用案例

物联网设施经营剖析：

华为 Iot 数据分析平台架构：
智慧城市

城市中汽车越来越多，川流不息，高德地图等 APP 通过技术手段采集了越来越多的摄像头、车流的数据。

但路线却越来越拥挤，越来越多的城市开始通过大数据技术，对城市履行智能化治理。

2018 年，杭州采纳 AI 智慧城市，均匀通行速度进步 15%，监控摄像头日报警次数高达 500 次，辨认准确率超过 92%，AI 智慧城市通报占整体 95% 以上，在中国城市交通堵塞排行榜，杭州从中国第 5 名降至 57 名。
金融风控

危险是金融机构业务固有个性，与金融机构相伴而生。金融机构盈利的起源就是承担风险的危险溢价。

金融机构中常见的六种危险：市场危险、信用风险、流动性危险、操作危险、名誉危险及法律危险。其中最次要的是 市场危险和信用风险。

线上信贷流程，通过后盾大数据系统进行反欺诈和信用评估：
电商行业

用户在电商的购物网站数据通过实时大数据分析之后，通过大屏汇总展现，比方天猫的双 11 购物流动，通过大屏，将全国上亿买家的订单数据可视化，实时性的动静展现，蕴含总览数据，流式 TopN 数据，多维区域统计数据等，极大的加强了对海量数据的可读性。

TopN 排行：

区域统计：