flink窗口函数蕴含滚动窗口、滑动窗口、会话窗口和OVER窗口

滚动窗口

滚动窗口（TUMBLE）将每个元素调配到一个指定大小的窗口中。通常，滚动窗口有一个固定的大小，并且不会呈现重叠。例如，如果指定了一个5分钟大小的滚动窗口，有限流的数据会依据工夫划分为[0:00 - 0:05)、[0:05, 0:10)、[0:10, 0:15)等窗口。下图展现了一个30秒的滚动窗口。

应用标识函数选出窗口的起始工夫或者完结工夫，窗口的工夫属性用于上级Window的聚合。

窗口标识函数返回类型形容
TUMBLE_START(time-attr, size-interval)TIMESTAMP返回窗口的起始工夫（蕴含边界）。例如[00:10, 00:15) 窗口，返回00:10 。
TUMBLE_END(time-attr, size-interval)TIMESTAMP返回窗口的完结工夫（蕴含边界）。例如[00:00, 00:15]窗口，返回00:15。
TUMBLE_ROWTIME(time-attr, size-interval)TIMESTAMP(rowtime-attr)返回窗口的完结工夫（不蕴含边界）。例如[00:00, 00:15]窗口，返回00:14:59.999 。返回值是一个rowtime attribute，即能够基于该字段做工夫属性的操作，例如，级联窗口只能用在基于Event Time的Window上
TUMBLE_PROCTIME(time-attr, size-interval)TIMESTAMP(rowtime-attr)返回窗口的完结工夫（不蕴含边界）。例如[00:00, 00:15]窗口，返回00:14:59.999。返回值是一个proctime attribute，即能够基于该字段做工夫属性的操作，例如，级联窗口只能用在基于Processing Time的Window上

TUMBLE window示例

import org.apache.flink.api.common.typeinfo.TypeHint;import org.apache.flink.api.common.typeinfo.TypeInformation;import org.apache.flink.api.java.tuple.Tuple3;import org.apache.flink.streaming.api.TimeCharacteristic;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.apache.flink.streaming.api.functions.timestamps.AscendingTimestampExtractor;import org.apache.flink.table.api.EnvironmentSettings;import org.apache.flink.table.api.Table;import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;import java.sql.Timestamp;import java.util.Arrays;public class TumbleWindowExample {    public static void main(String[] args) throws Exception {        /**         * 1 注册环境         */        EnvironmentSettings mySetting = EnvironmentSettings                .newInstance()//                .useOldPlanner()                .useBlinkPlanner()                .inStreamingMode()                .build();        // 获取 environment        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();        // 指定零碎工夫概念为 event time        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);        StreamTableEnvironment tEnv = StreamTableEnvironment.create(env,mySetting);        // 初始数据        DataStream<Tuple3<Long, String,Integer>> log = env.fromCollection(Arrays.asList(                //工夫 14:53:00                new Tuple3<>(1572591180_000L,"xiao_ming",300),                //工夫 14:53:09                new Tuple3<>(1572591189_000L,"zhang_san",303),                //工夫 14:53:12                new Tuple3<>(1572591192_000L, "xiao_li",204),                //工夫 14:53:21                new Tuple3<>(1572591201_000L,"li_si", 208)                ));        // 指定工夫戳        SingleOutputStreamOperator<Tuple3<Long, String, Integer>> logWithTime = log.assignTimestampsAndWatermarks(new AscendingTimestampExtractor<Tuple3<Long, String, Integer>>() {            @Override            public long extractAscendingTimestamp(Tuple3<Long, String, Integer> element) {                return element.f0;            }        });        // 转换为 Table        Table logT = tEnv.fromDataStream(logWithTime, "t.rowtime, name, v");        Table result = tEnv.sqlQuery("SELECT TUMBLE_START(t, INTERVAL '10' SECOND) AS window_start," +                "TUMBLE_END(t, INTERVAL '10' SECOND) AS window_end, SUM(v) FROM "                + logT + " GROUP BY TUMBLE(t, INTERVAL '10' SECOND)");        TypeInformation<Tuple3<Timestamp,Timestamp,Integer>> tpinf = new TypeHint<Tuple3<Timestamp,Timestamp,Integer>>(){}.getTypeInfo();        tEnv.toAppendStream(result, tpinf).print();        env.execute();    }}

sql逻辑，每十秒钟聚合
执行后果：
(2019-11-01 06:53:00.0,2019-11-01 06:53:10.0,603)
(2019-11-01 06:53:20.0,2019-11-01 06:53:30.0,208)
(2019-11-01 06:53:10.0,2019-11-01 06:53:20.0,204)

滑动窗口

滑动窗口（HOP），也被称作Sliding Window。不同于滚动窗口，滑动窗口的窗口能够重叠。

滑动窗口有两个参数：slide和size。slide为每次滑动的步长，size为窗口的大小。

  • slide < size，则窗口会重叠，每个元素会被调配到多个窗口。
  • slide = size，则等同于滚动窗口（TUMBLE）。
  • slide > size，则为跳跃窗口，窗口之间不重叠且有间隙。

通常，大部分元素合乎多个窗口情景，窗口是重叠的。因而，滑动窗口在计算挪动平均数（moving averages）时很实用。例如，计算过来5分钟数据的平均值，每10秒钟更新一次，能够设置slide为10秒，size为5分钟。下图为您展现距离为30秒，窗口大小为1分钟的滑动窗口。

应用滑动窗口标识函数选出窗口的起始工夫或者完结工夫，窗口的工夫属性用于上级Window的聚合。

窗口标识函数返回类型形容
HOP_START（<time-attr>, <slide-interval>, <size-interval>）TIMESTAMP返回窗口的起始工夫（蕴含边界）。例如[00:10, 00:15) 窗口，返回00:10 。
HOP_END（<time-attr>, <slide-interval>, <size-interval>）TIMESTAMP返回窗口的完结工夫（蕴含边界）。例如[00:00, 00:15) 窗口，返回00:15。
HOP_ROWTIME（<time-attr>, <slide-interval>, <size-interval>）TIMESTAMP（rowtime-attr）返回窗口的完结工夫（不蕴含边界）。例如[00:00, 00:15) 窗口，返回00:14:59.999。返回值是一个rowtime attribute，即能够基于该字段做工夫类型的操作，只能用在基于event time的window上。
HOP_PROCTIME（<time-attr>, <slide-interval>, <size-interval>）TIMESTAMP（rowtime-attr）返回窗口的完结工夫（不蕴含边界）。例如[00:00, 00:15) 窗口，返回00:14:59.999 。返回值是一个proctime attribute

滑动窗口实例：
java代码同上，sql语句改为：

SELECT HOP_START(t, INTERVAL '5' SECOND, INTERVAL '10' SECOND) AS window_start," +                "HOP_END(t, INTERVAL '5' SECOND, INTERVAL '10' SECOND) AS window_end, SUM(v) FROM "                + logT + " GROUP BY HOP(t, INTERVAL '5' SECOND, INTERVAL '10' SECOND)

每距离5秒统计10秒内的数据
sql后果如下：
(2019-11-01 06:53:15.0,2019-11-01 06:53:25.0,208)
(2019-11-01 06:53:10.0,2019-11-01 06:53:20.0,204)
(2019-11-01 06:53:05.0,2019-11-01 06:53:15.0,507)
(2019-11-01 06:53:20.0,2019-11-01 06:53:30.0,208)
(2019-11-01 06:53:00.0,2019-11-01 06:53:10.0,603)
(2019-11-01 06:52:55.0,2019-11-01 06:53:05.0,300)

会话窗口

会话窗口（SESSION）通过Session流动来对元素进行分组。会话窗口与滚动窗口和滑动窗口相比，没有窗口重叠，没有固定窗口大小。相同，当它在一个固定的工夫周期内不再收到元素，即会话断开时，这个窗口就会敞开。

会话窗口通过一个间隔时间（Gap）来配置，这个距离定义了非沉闷周期的长度。例如，一个示意鼠标点击流动的数据流可能具备长时间的闲暇工夫，并在两段闲暇之间分布着高浓度的点击。 如果数据在指定的距离（Gap）之后达到，则会开始一个新的窗口。

会话窗口示例如下图。每个Key因为不同的数据分布，造成了不同的Window。


应用标识函数选出窗口的起始工夫或者完结工夫，窗口的工夫属性用于上级Window的聚合。

窗口标识函数返回类型形容
SESSION_START（<time-attr>, <gap-interval>）Timestamp返回窗口的起始工夫（蕴含边界）。如[00:10, 00:15) 的窗口，返回 00:10 ，即为此会话窗口内第一条记录的工夫。
SESSION_END（<time-attr>, <gap-interval>）Timestamp返回窗口的完结工夫（蕴含边界）。如[00:00, 00:15) 的窗口，返回 00:15，即为此会话窗口内最初一条记录的工夫+<gap-interval>。
SESSION_ROWTIME（<time-attr>, <gap-interval>）Timestamp（rowtime-attr）返回窗口的完结工夫（不蕴含边界）。如 [00:00, 00:15) 的窗口，返回00:14:59.999 。返回值是一个rowtime attribute，也就是能够基于该字段进行工夫类型的操作。该参数只能用于基于event time的window 。
SESSION_PROCTIME（<time-attr>, <gap-interval>）Timestamp（rowtime-attr）返回窗口的完结工夫（不蕴含边界）。如 [00:00, 00:15) 的窗口，返回 00:14:59.999 。返回值是一个 proctime attribute，也就是能够基于该字段进行工夫类型的操作。该参数只能用于基于processing time的window 。

会话窗口实例：
java代码同上
sql语句如下：
每隔5秒聚合

"SELECT SESSION_START(t, INTERVAL '5' SECOND) AS window_start," +                "SESSION_END(t, INTERVAL '5' SECOND) AS window_end, SUM(v) FROM "                + logT + " GROUP BY SESSION(t, INTERVAL '5' SECOND)"

sql后果：

(2019-11-01 06:53:21.0,2019-11-01 06:53:26.0,208)
(2019-11-01 06:53:00.0,2019-11-01 06:53:05.0,300)
(2019-11-01 06:53:09.0,2019-11-01 06:53:17.0,507)

OVER窗口

OVER窗口（OVER Window）是传统数据库的规范开窗，不同于Group By Window，OVER窗口中每1个元素都对应1个窗口。窗口内的元素是以后元素往前多少个或往前多长时间的元素汇合，因而流数据元素散布在多个窗口中。

在利用OVER窗口的流式数据中，每1个元素都对应1个OVER窗口。每1个元素都触发1次数据计算，每个触发计算的元素所确定的行，都是该元素所在窗口的最初1行。在实时计算的底层实现中，OVER窗口的数据进行全局对立治理（数据只存储1份），逻辑上为每1个元素保护1个OVER窗口，为每1个元素进行窗口计算，实现计算后会革除过期的数据。

Flink SQL中对OVER窗口的定义遵循规范SQL的定义语法，传统OVER窗口没有对其进行更细粒度的窗口类型命名划分。依照计算行的定义形式，OVER Window能够分为以下两类：

  • ROWS OVER Window：每一行元素都被视为新的计算行，即每一行都是一个新的窗口。
  • RANGE OVER Window：具备雷同工夫值的所有元素行视为同一计算行，即具备雷同工夫值的所有行都是同一个窗口。

Rows OVER Window语义

窗口数据

ROWS OVER Window的每个元素都确定一个窗口。ROWS OVER Window分为Unbounded（无界流）和Bounded（有界流）两种状况。
Unbounded ROWS OVER Window数据示例如下图所示。

尽管上图所示窗口user1的w7、w8及user2的窗口w3、w4都是同一时刻达到，但它们依然在不同的窗口，这一点与RANGE OVER Window不同。

Bounded ROWS OVER Window数据以3个元素（往前2个元素）的窗口为例，如下图所示。

尽管上图所示窗口user1的w5、w6及user2的窗口w1、w2都是同一时刻达到，但它们依然在不同的窗口，这一点与RANGE OVER Window不同。

RANGE OVER Window语义

窗口数据

RANGE OVER Window所有具备独特元素值（元素工夫戳）的元素行确定一个窗口，RANGE OVER Window分为Unbounded和Bounded的两种状况。
Unbounded RANGE OVER Window数据示例如下图所示。


上图所示窗口user1的w7、user2的窗口w3，两个元素同一时刻达到，属于雷同的window，这一点与ROWS OVER Window不同。

Bounded RANGE OVER Window数据，以3秒中数据(INTERVAL '2' SECOND)的窗口为例，如下图所示。

上图所示窗口user1的w6、user2的窗口w3，元素都是同一时刻达到，属于雷同的window，这一点与ROWS OVER Window不同。

OVER窗口实例：
java代码同上
初始数据如下：

// 初始数据        DataStream<Tuple3<Long, String,Integer>> log = env.fromCollection(Arrays.asList(                //工夫 14:53:00                new Tuple3<>(1572591180_000L,"xiao_ming",999),                //工夫 14:53:09                new Tuple3<>(1572591189_000L,"zhang_san",303),                //工夫 14:53:12                new Tuple3<>(1572591192_000L, "xiao_li",888),                //工夫 14:53:21                new Tuple3<>(1572591201_000L,"li_si", 908),                //2019-11-01 14:53:31                new Tuple3<>(1572591211_000L,"li_si", 555),                //2019-11-01 14:53:41                new Tuple3<>(1572591221_000L,"zhang_san", 666),                //2019-11-01 14:53:51                new Tuple3<>(1572591231_000L,"xiao_ming", 777),                //2019-11-01 14:54:01                new Tuple3<>(1572591241_000L,"xiao_ming", 213),                //2019-11-01 14:54:11                new Tuple3<>(1572591251_000L,"zhang_san", 300),                //2019-11-01 14:54:21                new Tuple3<>(1572591261_000L,"li_si", 112)        ));

ROWS over Windown sql语句如下：

"SELECT name,v,MAX(v) OVER(\n" +                "PARTITION BY name \n" +                "ORDER BY t \n" +                "ROWS BETWEEN 2 PRECEDING AND CURRENT ROW\n" +                ") FROM " + logT

sql后果如下：
(zhang_san,303,303)
(xiao_li,888,888)
(li_si,908,908)
(xiao_ming,999,999)
(zhang_san,666,666)
(li_si,555,908)
(xiao_ming,777,999)
(li_si,112,908)
(zhang_san,300,666)
(xiao_ming,213,999)

RANGE OVER Window sql 语句如下：

"SELECT name,v,MAX(v) OVER(\n" +                "PARTITION BY name \n" +                "ORDER BY t \n" +                "RANGE BETWEEN INTERVAL '15' SECOND PRECEDING AND CURRENT ROW\n" +                ") FROM "+ logT

sql后果如下：
(xiao_ming,999,999)
(xiao_li,888,888)
(zhang_san,303,303)
(li_si,908,908)
(li_si,555,908)
(xiao_ming,777,777)
(zhang_san,666,666)
(li_si,112,112)
(xiao_ming,213,777)
(zhang_san,300,300)

本文的java代码来自：
https://github.com/CheckChe08...
侵删