关于flink:Flink学习Flink-SQL-窗口函数

41次阅读

共计 8445 个字符,预计需要花费 22 分钟才能阅读完成。

flink 窗口函数蕴含滚动窗口、滑动窗口、会话窗口和 OVER 窗口

滚动窗口

滚动窗口(TUMBLE)将每个元素调配到一个指定大小的窗口中。通常,滚动窗口有一个固定的大小,并且不会呈现重叠。例如,如果指定了一个 5 分钟大小的滚动窗口,有限流的数据会依据工夫划分为 [0:00 - 0:05)[0:05, 0:10)[0:10, 0:15) 等窗口。下图展现了一个 30 秒的滚动窗口。

应用标识函数选出窗口的起始工夫或者完结工夫,窗口的工夫属性用于上级 Window 的聚合。

窗口标识函数 返回类型 形容
TUMBLE_START(time-attr, size-interval) TIMESTAMP 返回窗口的起始工夫(蕴含边界)。例如[00:10, 00:15) 窗口,返回00:10
TUMBLE_END(time-attr, size-interval) TIMESTAMP 返回窗口的完结工夫(蕴含边界)。例如 [00:00, 00:15] 窗口,返回00:15
TUMBLE_ROWTIME(time-attr, size-interval) TIMESTAMP(rowtime-attr) 返回窗口的完结工夫(不蕴含边界)。例如 [00:00, 00:15] 窗口,返回00:14:59.999。返回值是一个 rowtime attribute,即能够基于该字段做工夫属性的操作,例如,级联窗口只能用在基于 Event Time 的 Window 上
TUMBLE_PROCTIME(time-attr, size-interval) TIMESTAMP(rowtime-attr) 返回窗口的完结工夫(不蕴含边界)。例如 [00:00, 00:15] 窗口,返回00:14:59.999。返回值是一个 proctime attribute,即能够基于该字段做工夫属性的操作,例如,级联窗口只能用在基于 Processing Time 的 Window 上

TUMBLE window 示例

import org.apache.flink.api.common.typeinfo.TypeHint;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.timestamps.AscendingTimestampExtractor;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;


import java.sql.Timestamp;
import java.util.Arrays;

public class TumbleWindowExample {public static void main(String[] args) throws Exception {

        /**
         * 1 注册环境
         */
        EnvironmentSettings mySetting = EnvironmentSettings
                .newInstance()
//                .useOldPlanner()
                .useBlinkPlanner()
                .inStreamingMode()
                .build();

        // 获取 environment
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        // 指定零碎工夫概念为 event time
        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

        StreamTableEnvironment tEnv = StreamTableEnvironment.create(env,mySetting);


        // 初始数据
        DataStream<Tuple3<Long, String,Integer>> log = env.fromCollection(Arrays.asList(
                // 工夫 14:53:00
                new Tuple3<>(1572591180_000L,"xiao_ming",300),
                // 工夫 14:53:09
                new Tuple3<>(1572591189_000L,"zhang_san",303),
                // 工夫 14:53:12
                new Tuple3<>(1572591192_000L, "xiao_li",204),
                // 工夫 14:53:21
                new Tuple3<>(1572591201_000L,"li_si", 208)
                ));

        // 指定工夫戳
        SingleOutputStreamOperator<Tuple3<Long, String, Integer>> logWithTime = log.assignTimestampsAndWatermarks(new AscendingTimestampExtractor<Tuple3<Long, String, Integer>>() {

            @Override
            public long extractAscendingTimestamp(Tuple3<Long, String, Integer> element) {return element.f0;}
        });

        // 转换为 Table
        Table logT = tEnv.fromDataStream(logWithTime, "t.rowtime, name, v");

        Table result = tEnv.sqlQuery("SELECT TUMBLE_START(t, INTERVAL'10'SECOND) AS window_start," +
                "TUMBLE_END(t, INTERVAL'10'SECOND) AS window_end, SUM(v) FROM"
                + logT + "GROUP BY TUMBLE(t, INTERVAL'10'SECOND)");

        TypeInformation<Tuple3<Timestamp,Timestamp,Integer>> tpinf = new TypeHint<Tuple3<Timestamp,Timestamp,Integer>>(){}.getTypeInfo();
        tEnv.toAppendStream(result, tpinf).print();

        env.execute();}


}

sql 逻辑,每十秒钟聚合
执行后果:
(2019-11-01 06:53:00.0,2019-11-01 06:53:10.0,603)
(2019-11-01 06:53:20.0,2019-11-01 06:53:30.0,208)
(2019-11-01 06:53:10.0,2019-11-01 06:53:20.0,204)

滑动窗口

滑动窗口(HOP),也被称作 Sliding Window。不同于滚动窗口,滑动窗口的窗口能够重叠。

滑动窗口有两个参数:slide 和 size。slide 为每次滑动的步长,size 为窗口的大小。

  • slide < size,则窗口会重叠,每个元素会被调配到多个窗口。
  • slide = size,则等同于滚动窗口(TUMBLE)。
  • slide > size,则为跳跃窗口,窗口之间不重叠且有间隙。

通常,大部分元素合乎多个窗口情景,窗口是重叠的。因而,滑动窗口在计算挪动平均数(moving averages)时很实用。例如,计算过来 5 分钟数据的平均值,每 10 秒钟更新一次,能够设置 slide 为 10 秒,size 为 5 分钟。下图为您展现距离为 30 秒,窗口大小为 1 分钟的滑动窗口。

应用滑动窗口标识函数选出窗口的起始工夫或者完结工夫,窗口的工夫属性用于上级 Window 的聚合。

窗口标识函数 返回类型 形容
HOP_START(<time-attr>, <slide-interval>, <size-interval>) TIMESTAMP 返回窗口的起始工夫(蕴含边界)。例如[00:10, 00:15) 窗口,返回00:10
HOP_END(<time-attr>, <slide-interval>, <size-interval>) TIMESTAMP 返回窗口的完结工夫(蕴含边界)。例如[00:00, 00:15) 窗口,返回00:15
HOP_ROWTIME(<time-attr>, <slide-interval>, <size-interval>) TIMESTAMP(rowtime-attr) 返回窗口的完结工夫(不蕴含边界)。例如[00:00, 00:15) 窗口,返回00:14:59.999。返回值是一个 rowtime attribute,即能够基于该字段做工夫类型的操作,只能用在基于 event time 的 window 上。
HOP_PROCTIME(<time-attr>, <slide-interval>, <size-interval>) TIMESTAMP(rowtime-attr) 返回窗口的完结工夫(不蕴含边界)。例如[00:00, 00:15) 窗口,返回00:14:59.999。返回值是一个 proctime attribute

滑动窗口实例:
java 代码同上,sql 语句改为:

SELECT HOP_START(t, INTERVAL '5' SECOND, INTERVAL '10' SECOND) AS window_start,"+"HOP_END(t, INTERVAL '5' SECOND, INTERVAL '10' SECOND) AS window_end, SUM(v) FROM "+ logT +" GROUP BY HOP(t, INTERVAL '5' SECOND, INTERVAL '10' SECOND)

每距离 5 秒统计 10 秒内的数据
sql 后果如下:
(2019-11-01 06:53:15.0,2019-11-01 06:53:25.0,208)
(2019-11-01 06:53:10.0,2019-11-01 06:53:20.0,204)
(2019-11-01 06:53:05.0,2019-11-01 06:53:15.0,507)
(2019-11-01 06:53:20.0,2019-11-01 06:53:30.0,208)
(2019-11-01 06:53:00.0,2019-11-01 06:53:10.0,603)
(2019-11-01 06:52:55.0,2019-11-01 06:53:05.0,300)

会话窗口

会话窗口(SESSION)通过 Session 流动来对元素进行分组。会话窗口与滚动窗口和滑动窗口相比,没有窗口重叠,没有固定窗口大小。相同,当它在一个固定的工夫周期内不再收到元素,即会话断开时,这个窗口就会敞开。

会话窗口通过一个间隔时间(Gap)来配置,这个距离定义了非沉闷周期的长度。例如,一个示意鼠标点击流动的数据流可能具备长时间的闲暇工夫,并在两段闲暇之间分布着高浓度的点击。如果数据在指定的距离(Gap)之后达到,则会开始一个新的窗口。

会话窗口示例如下图。每个 Key 因为不同的数据分布,造成了不同的 Window。


应用标识函数选出窗口的起始工夫或者完结工夫,窗口的工夫属性用于上级 Window 的聚合。

窗口标识函数 返回类型 形容
SESSION_START(<time-attr>, <gap-interval>) Timestamp 返回窗口的起始工夫(蕴含边界)。如[00:10, 00:15) 的窗口,返回 00:10,即为此会话窗口内第一条记录的工夫。
SESSION_END(<time-attr>, <gap-interval>) Timestamp 返回窗口的完结工夫(蕴含边界)。如[00:00, 00:15) 的窗口,返回 00:15,即为此会话窗口内最初一条记录的工夫 +<gap-interval>
SESSION_ROWTIME(<time-attr>, <gap-interval>) Timestamp(rowtime-attr) 返回窗口的完结工夫(不蕴含边界)。如 [00:00, 00:15) 的窗口,返回00:14:59.999。返回值是一个 rowtime attribute,也就是能够基于该字段进行工夫类型的操作。该参数只能用于基于 event time 的 window。
SESSION_PROCTIME(<time-attr>, <gap-interval>) Timestamp(rowtime-attr) 返回窗口的完结工夫(不蕴含边界)。如 [00:00, 00:15) 的窗口,返回 00:14:59.999。返回值是一个 proctime attribute,也就是能够基于该字段进行工夫类型的操作。该参数只能用于基于 processing time 的 window。

会话窗口实例:
java 代码同上
sql 语句如下:
每隔 5 秒聚合

"SELECT SESSION_START(t, INTERVAL'5'SECOND) AS window_start," +
                "SESSION_END(t, INTERVAL'5'SECOND) AS window_end, SUM(v) FROM"
                + logT + "GROUP BY SESSION(t, INTERVAL'5'SECOND)"

sql 后果:

(2019-11-01 06:53:21.0,2019-11-01 06:53:26.0,208)
(2019-11-01 06:53:00.0,2019-11-01 06:53:05.0,300)
(2019-11-01 06:53:09.0,2019-11-01 06:53:17.0,507)

OVER 窗口

OVER 窗口(OVER Window)是传统数据库的规范开窗,不同于 Group By Window,OVER 窗口中每 1 个元素都对应 1 个窗口。窗口内的元素是以后元素往前多少个或往前多长时间的元素汇合,因而流数据元素散布在多个窗口中。

在利用 OVER 窗口的流式数据中,每 1 个元素都对应 1 个 OVER 窗口。每 1 个元素都触发 1 次数据计算,每个触发计算的元素所确定的行,都是该元素所在窗口的最初 1 行。在实时计算的底层实现中,OVER 窗口的数据进行全局对立治理(数据只存储 1 份),逻辑上为每 1 个元素保护 1 个 OVER 窗口,为每 1 个元素进行窗口计算,实现计算后会革除过期的数据。

Flink SQL 中对 OVER 窗口的定义遵循规范 SQL 的定义语法,传统 OVER 窗口没有对其进行更细粒度的窗口类型命名划分。依照计算行的定义形式,OVER Window 能够分为以下两类:

  • ROWS OVER Window:每一行元素都被视为新的计算行,即每一行都是一个新的窗口。
  • RANGE OVER Window:具备雷同工夫值的所有元素行视为同一计算行,即具备雷同工夫值的所有行都是同一个窗口。

Rows OVER Window 语义

窗口数据

ROWS OVER Window 的每个元素都确定一个窗口。ROWS OVER Window 分为 Unbounded(无界流)和 Bounded(有界流)两种状况。
Unbounded ROWS OVER Window 数据示例如下图所示。

尽管上图所示窗口 user1 的 w7、w8 及 user2 的窗口 w3、w4 都是同一时刻达到,但它们依然在不同的窗口,这一点与 RANGE OVER Window 不同。

Bounded ROWS OVER Window 数据以 3 个元素(往前 2 个元素)的窗口为例,如下图所示。

尽管上图所示窗口 user1 的 w5、w6 及 user2 的窗口 w1、w2 都是同一时刻达到,但它们依然在不同的窗口,这一点与 RANGE OVER Window 不同。

RANGE OVER Window 语义

窗口数据

RANGE OVER Window 所有具备独特元素值(元素工夫戳)的元素行确定一个窗口,RANGE OVER Window 分为 Unbounded 和 Bounded 的两种状况。
Unbounded RANGE OVER Window 数据示例如下图所示。


上图所示窗口 user1 的 w7、user2 的窗口 w3,两个元素同一时刻达到,属于雷同的 window,这一点与 ROWS OVER Window 不同。

Bounded RANGE OVER Window 数据,以 3 秒中数据 (INTERVAL '2' SECOND) 的窗口为例,如下图所示。

上图所示窗口 user1 的 w6、user2 的窗口 w3,元素都是同一时刻达到,属于雷同的 window,这一点与 ROWS OVER Window 不同。

OVER 窗口实例:
java 代码同上
初始数据如下:

// 初始数据
        DataStream<Tuple3<Long, String,Integer>> log = env.fromCollection(Arrays.asList(
                // 工夫 14:53:00
                new Tuple3<>(1572591180_000L,"xiao_ming",999),
                // 工夫 14:53:09
                new Tuple3<>(1572591189_000L,"zhang_san",303),
                // 工夫 14:53:12
                new Tuple3<>(1572591192_000L, "xiao_li",888),
                // 工夫 14:53:21
                new Tuple3<>(1572591201_000L,"li_si", 908),
                //2019-11-01 14:53:31
                new Tuple3<>(1572591211_000L,"li_si", 555),
                //2019-11-01 14:53:41
                new Tuple3<>(1572591221_000L,"zhang_san", 666),
                //2019-11-01 14:53:51
                new Tuple3<>(1572591231_000L,"xiao_ming", 777),
                //2019-11-01 14:54:01
                new Tuple3<>(1572591241_000L,"xiao_ming", 213),
                //2019-11-01 14:54:11
                new Tuple3<>(1572591251_000L,"zhang_san", 300),
                //2019-11-01 14:54:21
                new Tuple3<>(1572591261_000L,"li_si", 112)
        ));

ROWS over Windown sql 语句如下:

"SELECT name,v,MAX(v) OVER(\n" +
                "PARTITION BY name \n" +
                "ORDER BY t \n" +
                "ROWS BETWEEN 2 PRECEDING AND CURRENT ROW\n" +
                ") FROM" + logT

sql 后果如下:
(zhang_san,303,303)
(xiao_li,888,888)
(li_si,908,908)
(xiao_ming,999,999)
(zhang_san,666,666)
(li_si,555,908)
(xiao_ming,777,999)
(li_si,112,908)
(zhang_san,300,666)
(xiao_ming,213,999)

RANGE OVER Window sql 语句如下:

"SELECT name,v,MAX(v) OVER(\n" +
                "PARTITION BY name \n" +
                "ORDER BY t \n" +
                "RANGE BETWEEN INTERVAL'15'SECOND PRECEDING AND CURRENT ROW\n" +
                ") FROM"+ logT

sql 后果如下:
(xiao_ming,999,999)
(xiao_li,888,888)
(zhang_san,303,303)
(li_si,908,908)
(li_si,555,908)
(xiao_ming,777,777)
(zhang_san,666,666)
(li_si,112,112)
(xiao_ming,213,777)
(zhang_san,300,300)

本文的 java 代码来自:
https://github.com/CheckChe08…
侵删

正文完
 0