共计 3568 个字符，预计需要花费 9 分钟才能阅读完成。
导读：国内某头部理财服务提供商成立于 2019 年，是股份制银行中首批获准筹建、首家获准停业、首家成立的银行理财子公司。自 2004 年推出国内首支人民币理财产品以来，通过投资模式的不断创新和投资治理能力的继续晋升，引领国内银行业理财市场。该企业每天解决的任务量达 1W，外部零碎泛滥，事不宜迟是须要一个对立的调度和监控平台，反对不同理财业务场景下的需要。
2023 年之前，该企业应用开源版本的大数据调度平台 Apache DolphinScheduler 能基本上满足业务需要，但随着业务量增大和个性化需要的增长，在通过周密的调研之后，决定将所有调度工作迁徙到商业版本白鲸调度零碎之上。
采纳白鲸调度零碎让该企业实现了对立调度和监控运维，调度性能大幅提高。本文将详细描述白鲸调度零碎为该企业提供的解决方案和相干利用实际。
业务需要
国内某头部理财服务提供商所处的金融行业属于数据密集型行业，随着这个行业的一直倒退和技术的不断进步，金融数据的数据量一直减少，数据起源也越来越多样化，其须要对数据品质进行严格的把控，并须要具备高效的数据处理和剖析能力。此外，金融市场变动疾速，危险管制须要实时响应，这对其数据处理和剖析能力提出了更高的要求。同时，爱护客户的隐衷和机密信息，防备网络攻击和数据泄露等平安问题，都对该企业提出重要的挑战。
具体来说，该企业的产销、投资、危险评估、经营投资等团队都有本人的数据集市（数仓），每个团队都从须要的贴源层获取到本人须要的数据，通过各自团队的 ETL 流程，将统计数据输入到各自的集市中，再把本人的集市数据分享给其他人。
因为每个团队都有各自的调度平台，这导致平台的保护老本十分高，运维治理也很不不便，另一方面也不能集中统计和治理所有团队的工作。
因而，对立调度零碎的建设在该企业是事不宜迟。 在建设数据体系过程中，其须要基于信创环境下建设具备高性能、可靠性高、易扩大的调度零碎，以满足该企业在数据体系建设中各类数据处理工作的对立调度和监控需要，实现对立调度和监控运维，反对不同场景下实现各自个性化的需要，保障数据体系的根底建设。
接到商业调度需要时，该企业过后的调度集群由 3 台 40C*256G 的机器组成，由两台 API、3 个 Master、3 个 Worker 组成，每天解决 1 万量级的工作，未来可能到 3 万 +/ 天。
具体到业务线上，该企业对建设调度零碎有着如下需要：
- 要反对各部门应用对立的调度零碎，应用权限将各部门的资源进行隔离，保证系统运行的隔离性和安全性。
- 要有丰盛的监控和统计性能，反对对立的数据监控、运维服务的需要；
- 调度零碎要反对多种触发类型，比方事件、自定义日历、依赖调度等形式触发作业，反对用户灵便配置作业及组合工作流，实现在不同场景的调度需要；
- 须要能联合该企业本身需要，反对信创组件、扩展性的工作类型、数据源类型、告警组件及其他扩大需要；
- 反对分布式的架构及资源管制等办法，实现一个高可靠性，高解决性能的调度零碎；
- 反对定制化需要，比方和该企业的本身用户零碎对接用户及权限数据，对接客户的对立登录平台，以及其余数据处理平台和告警平台。
基于白鲸调度零碎的一站式解决方案
白鲸调度零碎国产信创化调度平台，就是为了反对客户在数据体系建设中不同场景的任务调度需要，针对企业级用户对系统的稳定性、可靠性、合规性、高性能、反对信创环境等要求而开发出的商业化版本，定位于企业级对立调度平台，为企业的批处理工作制订对立的开发标准、运维办法，对各零碎的批量工作进行对立治理、调度和监控。
白鲸调度零碎继承了大数据调度平台 Apache DolphinScheduler 弱小的性能与易用性，同时减少了多项企业级性能以满足理论行业用户需要，让企业能够部署一套调度零碎，缩小保护老本，领有弱小的调度能力。
在明确需要后，白鲸开源自信白鲸调度零碎可能满足客户的全副需要，着手分步骤、分阶段进行解决方案的施行部署。通过了一系列测试后，白鲸开源启动了实施方案，并帮忙客户解决了部署前、部署中和部署后的一系列问题，为其交付了残缺的解决方案。
整体技术计划
白鲸调度零碎次要应用 无核心架构的设计思维，通过注册核心发现服务，服务之间能够互为备份，保障了零碎的可靠性的同时，也能够做到程度扩大服务数量，可能很好地反对企业千万级别的工作数量，齐全满足金融业务场景数据处理量大的需要。
白鲸调度零碎 次要服务包含 UI 用户界面、接口层 API 服务，MasterServer、WorkerServer、AlertServer 五个模块，其中工作解决服务 MasterServer 和 WorkerServer 是典型的无核心架构，通过注册核心主动发现服务的启动和敞开，能无效反对工作数量激增和缩小的场景，同时能够保障工作解决的可扩展性和高性能。
零碎所有服务均采纳 分布式部署，反对高稳定性、高性能和高容错性，保障提供可继续应用的服务，即便客户的数据中心漫步在全国各地，白鲸调度零碎也能轻松应答来自客户不同部门数据系统的解决需要。
针对客户的需要，白鲸调度零碎提供的解决方案 让每个团队都领有了本人的工作执行集群，调度零碎是独自的集群，免密登录各自团队的集群，各团队都在调度上应用 shell 工作 的 ssh remote ‘shell command’ 来执行各自集群上的工作。
具体解决方案包含（因为窃密需要，只走漏局部信息）：
多日历治理不便多个市场交易日、工作日、天然日治理
针对企业设计多种日历，反对调度日历、业务数据日历离开，并反对不同时区、日历导入等性能：
- 反对多种日历治理：交易日、工作日、天然日等
- 反对日历 Excel 模板导入
- 反对调度日历与业务日历离开
- 反对多时区设置
- 反对日切工夫设置
弱小的业务数据日期性能更好满足金融行业需要
针对客户调度当中的业务数据日期独自进行设计，更好地满足金融行业需要：
- 屡次调度应用同一业务数据日期（例，最初一个交易日，如果不翻牌，数据指针进行在这一天，例如，9.30 不跑 10.1 七天 10.6 日开始跑，仍然跑的是 9.30 日）
- 弱小的业务翻牌工作
- 反对前后自定义翻牌
- 反对自定义脚本间接生成业务日期数值
- 反对定时翻牌和工作完结翻牌
- 配合日历，反对多种简单函数用于数据处理
- 前后 n 日、月（工作日、交易日、天然日）
- 以后牌所在月、年（工作日、交易日、天然日）
事件驱动满足文件、Kafka、数据库级别灵便触发调度
除了日期工夫触发之外，减少事件触发机制，满足企业多零碎之间交互的须要：
文件触发
- 不同文件接口，依据满足非凡定义文件主动触发
- 能够设置扫描频次与超时报警
数据库触发
- 满足非凡数据定义之后，主动触发工作
Kafka 触发
- 发现合乎定义音讯息主动触发工作流
业余的权限设置与 Token 治理满足企业级别权限须要
针对企业设置用户、角色、权限为不同部门提供不同性能权限：
企业用户治理
- 独立企业用户账号，能够对接现有企业用户
我的项目角色治理
- 管理员角色、不同我的项目开发人员角色性能离开
- 联合我的项目角色管制资源权限
- Token 治理能够帮忙企业设定 API 调用权限
具体的审计日志满足企业回溯用户行为审计性能
- 审计日志记录用户具体操作对象以及工夫：
- 审计日志具体记录用户的操作行为
- 能够设置日志保留工夫
- 反对 Excel 导出以及用户操作查问
高可扩大能力反对组件扩大
- 零碎高牢靠、易扩大
- 满足定制化需要，比方买通用户权限零碎、和其余业务零碎对接，扩大新的工作组件、数据源组件、告警组件，并反对对接客户自定义开发的血统剖析性能等。
反对信创环境
白鲸调度零碎 在信创合规部署反对方面做到了齐全的国产化：
反对国产服务器，国产 CPU、内存、主板、硬盘等，如鲲鹏服务器。
- 反对国产操作系统，如中标麒麟、河汉麒麟、红旗 Linux。
- 反对国产数据库，如 达梦数据库、GaussDB、TiDB。
- 反对对系统部署所波及到的服务器、操作系统、中间件、数据库进行信创化革新，满足信创环境下零碎迁徙和原有任务调度的需要。
对立监控告警、运维
实现对立的监控和运维是客户对立调度最重要的指标之一，白鲸调度零碎 能够提供对立监控告警，对立监控指标，提供丰盛的 API 接口，满足用户定制化监控需要；对立监控告警平台、运维平台，极大缩小保护老本；多种监控指标，依据权限智能统计指标，满足不同角色的监控需要；对立告警服务，提供丰盛的告警插件，反对多种告警形式同时发送；集中监控工作流、工作运行状况和批量操作，对立治理告警列表、事件列表等。
客户收益
以后，该企业基于白鲸调度零碎搭建了对立调度平台，助力治理后盾实现了：
- 为客户提供了对立调度平台，进步了数据处理效率，撑持了客户的技术部产销、投资、危险评估、经营投资各个团队的业务，后续将接入更多业务；
- 升高了运维难度，升高非技术人员门槛
- 进步交付效率
- 疾速调度
- 灵便的数据分析
客户简介
国内某头部理财服务提供商，为投资者提供了丰盛的投资产品，为客户发明了丰富的投资回报。
本文由 白鲸开源科技 提供公布反对！
