摘要：本文整顿自中原银行数据平台核心开发工程师陈玉强在 Flink Forward Asia 2021 行业实际专场的演讲。次要内容包含：
- 建设体系
- 选型 & 架构
- 利用场景
- 建设功效
点击查看直播回放 & 演讲 PDF
一、建设体系
银行是经营风险的企业，对危险进行辨认、掂量、定价和防备的能力是银行外围竞争力。中原银行构建了面向反欺诈、信用风险、经营危险的业务全流程风控体系。
银行业务的申请、交易、营销等环节都可能存在欺诈行为，随着技术倒退，在欺诈行为团伙化、荫蔽化、专业化、实时化状况下进行反欺诈难度越来越大。同时，随着业务品种增多，传统的专家规定评分卡模型难以应酬简单的风控场景，须要借助大数据、实时计算、机器学习、常识图谱等高新技术打造高质量的授信能力。此外，是否可能及时发现和化解业务经营危险，包含流程危险、员工异样行为、资产及负债流动性危险也面临较大挑战。
传统技术应答这些挑战时难以实时获取用户多渠道的操作行为，难以达到全方位、实时化 的防控成果。传统风控体系广泛基于专家规定进行测算，存在规定触发阈值难以管制、排汇低饱和乐音数据难度大等特点，很难通过累计规定数量来晋升 精准度 。此外，传统零碎间绝对孤立、 数据流通 难度大、数据孤岛的状况导致了专家规定制订和模型训练难度大，不利于整体风控成果。
新的风控体系首先实现了 实时化 ，通过流计算、内存计算等技术进步数据处理的时效性，做到了及时辨认跨零碎的危险行为，并通过云原生、资源弹性等技术进步零碎的高并发能力。在晋升硬实力的同时更重视 智能化 ，将基于概率的机器学习模型与专家规定联合，充沛开释大数据价值，防止专家规定教训盲区。此外，通过打造 平台化 的产品，造成不同场景的疾速撑持能力和欠缺的风控体系。
近三年咱们经验了对实时计算的摸索、尝试和平台化建设，并将实时计算技术利用至反欺诈、事件驱动、实时 OLAP 等多种场景，2021 年底工作数量和日均解决数据量都晋升数倍。在风控方面，经验了从引入国外决策零碎到自研决策平台的转变，2021 年自研决策平台曾经开始承接新需要和局部国外决策零碎迁徙而来的规定模型。
智能风控体系能力模型能够总结为：
- 危险特色辨认及计算实时化；
- 交融专家规定与机器学习模型通过简单编排提供智能化的决策能力；
- 通过平台化屏蔽技术细节，给用户提供敌对的应用体验。
- 在风控体系中通过标准化来制订标准、构建数据规范和凋谢数据能力。
- 并通过构建 ModelOps 管理体系实现危险模型从需要到投产的全生命周期治理。
- 此外，通过低代码、可视化的形式有助于升高应用门槛。
二、选型 & 架构
在本体系架构中，Flink 次要用于数据荡涤、实时维表加工与关联以及窗口计算等场景，通过预计算、内存计算、聚合计算实现根底指标、衍生指标、复合指标的加工，为决策模型提供特色反对。模型编排专一于编排决策集、评分卡、决策树、决策表等丰盛和易用规定模型，同时在规定中能够调用指标服务、算法模型服务独特参加逻辑运算。
风控体系基于云原生架构和开源技术实现，反对报文、接口、多种类型数据库。通过数据源、维表、参数配置界面化，并反对用户用 Flink SQL 编写业务逻辑，极大水平升高了实时计算的应用门槛。通过可视化编排 (DAG) 将规定 / 模型 / 指标引擎的计算能力进行组合以撑持风控决策。此外还有一些特色性能，如 SQL 评分、网关分流等。
实时指标能够用于专家规定，实时特色能够供在线 (online) 模型训练。机器学习平台应用离线 (offline) 数据进行模型训练和模型推理，同时联合规定筛选进去的危险数据，基于离线数据进行有监督和无监督的算法训练。
三、利用场景
反欺诈是交易的重要环节，通常会基于黑白名单、常识图谱、司法、税务、工商等内外部数据对交易数据打宽，打宽后的数据用于专家规定和机器学习模型。交易发动零碎会依据智策平台的决策后果对交易放行或增强验证。危险后果数据可作为样本，用于图数据进行关联开掘或特征分析，或者用于有监督学习。
技术实现方面，针对交易申请，智策平台会依据 DAG 编排逻辑来调用不同的计算引擎，并返回计算结果。同时，实时计算平台会应用交易系统数据库的变动数据计算交易 / 行为等实时指标。此外，历史数据会被抽取到离线数仓和数据湖中，供上游的机器学习平台应用。
对授信广义且简略的了解就是金融机构向客户提供资金的行为。智策平台通过评分卡、决策集等形式承载了贷前阶段 50 余个场景，日均接管授信申请约 3 万笔；对于以批量数据处理为主的贷中、贷后环节，日均解决数据 1300 万条。
授信场景较交易反欺诈场景在技术架构显著的差别在于它须要内部数据反对。智策平台将关联了内外部数据的交易变量进行专家规定运算、机器学习模型推理。授信场景临时没有应用实时指标。
员工行为、信贷管理、舆情剖析都在经营危险的领域内，将冲正行为、机具治理等场景数据加工成离线经营危险指标，将高敏感行为数据加工为实时指标，通过智策平台对两类指标进行规定、模型运算而得出预警后果，进而造成危险核查事件、名单等。后果数据也会作为危险特色样本来训练算法和开掘危险。
经营危险的技术架构比拟直观，每天将历史业务数据同步到数据仓库，在数仓中实现危险指标的加工，同时离线数据也会被用于模型训练。智策平台每天定时对离线指标进行规定运算，并将危险预警后果推送给上游经营零碎。
四、建设功效
业务功效方面，反欺诈 零碎对接了 14 个渠道，105 类场景，在传统反欺诈技术上引入流计算实现实时反欺诈，助力管控了 1 万多高危账户，帮助阻断转出资金超千万元，实现了全年线上交易零欺诈损失。授信方面 ，撑持了全周期的信贷场景，包含额度评估、危险定价、贷后预警等 50 多个场景，每天解决进件 3 万余笔。每天批量解决 经营 指标数据 30 余万，同时通过 Flink 每天实时处理员工行为数据约 3000 万条，具备实时发现外部的高风险行为的能力。
技术功效方面，智策平台每天接管业务交易申请 5 万余笔，响应工夫约 8 毫秒 (最新数据)。规定和模型编排场景响应工夫小于 3 秒，每天解决批量数据约 1800 万条。实时计算平台日均解决数据 2.7TB，较年初增长了 5 倍。在平台化根底上，本体系具备灵便编排专家规定和机器学习模型的能力，每天调用机器学习模型服务超过 2 万次。
公司简介：中原银行是河南省惟一的省级法人银行，截止 2021 年 6 月 30 号，总资产为 7530.02 亿。中原银行在播种泛滥荣誉的同时也在一直自我超过，在出名的《银行家》、《财产》等排行榜中的排名较往年都有晋升。
点击查看直播回放 & 演讲 PDF
2022 第四届 实时计算 FLINK 挑战赛
49 万奖金等你来拿！
连续“激励师打算”，赢取丰富礼品！
点击进入赛事官网理解报名参赛
更多 Flink 相干技术问题，可扫码退出社区钉钉交换群
第一工夫获取最新技术文章和社区动静，请关注公众号～
流动举荐
阿里云基于 Apache Flink 构建的企业级产品 - 实时计算 Flink 版现开启流动：
99 元试用 实时计算 Flink 版（包年包月、10CU）即有机会取得 Flink 独家定制卫衣；另包 3 个月及以上还有 85 折优惠！
理解流动详情：https://www.aliyun.com/produc…