共计 3169 个字符，预计需要花费 8 分钟才能阅读完成。
1.1 为什么须要 KisFlow
一些大型 toB 企业级的我的项目，须要大量的业务数据，少数的数据须要流式实时计算的能力，然而很多公司还不足以承当一个数仓相似，Flink + Hadoop/HBase 等等。然而业务数据的实时计算需要仍然存在，所以大多数的企业仍然会让业务工程师来消化这些业务数据计算的工作。
而这样只能间接查问业务数据库，这样会间接影响的业务能力，或定时工作 / 脚本来做定时计算，这些都不是好的方法。自己亲身经历过一个大规模的零碎，多达上千个须要计算的业务数据字段，而晚期因为没有布局好，最初导致存在 1000+ 的脚本在定时跑，最初导致了脚本之间对数据的影响，数据始终无奈精确，导致业务数据经常性的报数据问题谬误。如上面一个场景：某个业务计算字段的值，正确为 100，谬误为 99，然而因为历史代码的臃肿，会有多个计算脚本对其值做修复补丁计算，会有各个脚本互相抵触，在肯定的工夫距离内会存在数据值抖动，可能最终一个补丁修复正确，然而这种状况就会存在肯定工夫范畴内业务数据不正确，最终却奇观正确的状况，很让用户苦恼。
KisFlow 就是为了解决当企业不具备数仓平台的计算能力，又仍然存在大量数据实时计算的场景，让业务工程师能够投入到数据流式计算的业务中来，并且能够复用罕用和通用的计算逻辑。
1.2 KisFlow 实要反对的能力
流式计算
1、分布式批量生产能力（基于上游 ODS 生产配置：如 Binlog、Kafka 等）
2、Stateful Function 能力，基于有状态的流式计算节点拼接，流式计算横纵向扩大。
3、数据流监控及修复能力，生产服务监控。
4、多流拼接及第三方中间件存储插件化。
分布式任务调度
5、分布式定时任务调度、日志监控、任务调度状态。
6、可视化调度平台。
1.3 KisFlow 零碎定位
KisFlow 为业务上游计算层，下层接数仓 / 其余业务方 ODS 层、上游接本业务存储数据中心。
1.4 KisFlow 整体架构图
| 层级 | 层级阐明 | 包含子模块 |
|---|---|---|
| 流式计算层 | 为 KisFlow 上游计算层，间接对接业务存储及数仓 ODS 层，如上游能够为 Mysql Binlog、日志、接口数据等，为被动生产模式，提供 KisFlow 实时计算能力。 | KisFlow：分布式批量消费者, 一个 KisFlow 是由多个 KisFunction 组合。<br/> KisConnectors：计算数据流流中间状态长久存储及连接器。<br/> KisFunctions：反对算子表达式拼接，Connectors 集成、策略配置、Stateful Function 模式、Slink 流式拼接等。<br/>KisConfig：KisFunction 的绑定的流解决策略，能够绑定 ReSource 让 Function 具备固定的独立流解决能力。<br/>KisSource：对接 ODS 的数据源 |
| 任务调度层 | 定时任务调度及执行器业务逻辑，包含任务调度平台、执行器治理、调度日志及用户治理等。提供 KisFlow 的定时工作、统计、聚合运算等调度计算能力。 | 任务调度平台可视化 ：包含工作的运行报表、调度报表、胜利比例、工作治理、配置管理、GLUE IDE 等可视化治理平台。执行器治理 <br/> KisJobs：Golang SDK 及计算自定义业务逻辑、执行器的主动注册、工作触发、终止及摘除等。 执行器场景 KisScenes： 依据业务划分的逻辑工作汇合。<br/> 调度日志及用户治理：任务调度日志收集、调度具体、调度流程痕迹等。 |
| 流 | 组成 |
|---|---|
| KisFlow(1) | KisFunction(V) + KisFunction(S) + KisFunction(C) + KisFunction(E) |
| KisFlow(2) | KisFunction(V) + KisFunction(L) + KisFunction(S) + KisFunction(C) + KisFunction(E) |
| KisFlow(3) | KisFunction(V) + KisFunction(L) + KisFunction(C) + KisFunction(E) |
通过 KisFunction(S) 和 KisFunction(L)的并流组合关系，各个 KisFlow 有如下关系：
KisFlow(2) = KisFlow(1) + KisFlow(2)
KisFlow(3) = KisFlow(1) + KisFlow(2) + KisFlow(3)1.5 KisFlow 要害模块
1.5.1 KisConfig
KisConfig 为 KisFlow 的配置模块，其中一个 Config 蕴含 Flow 的配置和 Function 的配置等。
(1) KisFunction 配置
kistype: func
fname: 测试 KisFunction_S1
fmode: Save
source:
name: 被校验的测试数据源 1 - 用户订单维度
must:
- userid
- orderid
option:
cname: 测试 KisConnector_1
retry_times: 3
retry_duration: 500
default_params:
default1: default1_param
default2: default2_param(2) KisFlow 配置
kistype: flow
status: 1
flow_name: MyFlow1
flows:
- fname: 测试 PrintInput
params:
args1: value1
args2: value2
- fname: 测试 KisFunction_S1
- fname: 测试 PrintInput
params:
args1: value11
args2: value22
default2: newDefault
- fname: 测试 PrintInput
- fname: 测试 KisFunction_S1
params:
my_user_param1: ffffffxxxxxx
- fname: 测试 PrintInputKisFlow 是一种流式概念状态，具体表现的特色如下：
1、一个 KisFlow 能够由任意 KisFunction 组成，且 KisFlow 能够动静的调整长度。
2、一个 KisFunction 能够随时动静的退出到某个 KisFlow 中，且 KisFlow 和 KisFlow 之间的关系能够通过 KisFunction 的 Load 和 Save 节点的退出，进行动静的并流和分流动作。
3、KisFlow 在编程行为上，从面向流进行数据业务编程，变成了面向 KisFunction 的函数单计算逻辑的开发，靠近 FaaS(Function as a service)体系。
(3) KisConnector 配置
kistype: conn
cname: 测试 KisConnector_1
addrs: '0.0.0.0:9988,0.0.0.0:9999,0.0.0.0:9990'
type: redis
key: userid_orderid_option
params:
args1: value1
args2: value2
load: null
save:
- 测试 KisFunction_S1(4) KisFlow 全局配置
#kistype Global 为 kisflow 的全局配置
kistype: global
#是否启动 prometheus 监控
prometheus_enable: true
#是否须要 kisflow 独自启动端口监听
prometheus_listen: true
#prometheus 取点监听地址
prometheus_serve: 0.0.0.0:200041.5.2 KisFunction
KisFunction 的类图设计如下
作者: 刘丹冰 Aceld github: https://github.com/aceld
KisFlow 开源我的项目地址：https://github.com/aceld/kis-flow
连载中 …
Golang 框架实战 -KisFlow 流式计算框架(1)- 概述