共计 3161 个字符,预计需要花费 8 分钟才能阅读完成。
宜信于 2019 年 3 月 29 日正式开源 nextsystem4(以下简称“NS4”)系列模块。
此次开源的 NS4 系列模块是围绕当前支付系统笨重、代码耦合度高、维护成本高而产生的分布式业务系统解决方案。NS4 系列框架允许创建复杂的流程 / 业务流,对于业务服务节点的实现可串联,可分布式。其精简、轻量,实现了“脱容器”(不依赖 tomcat、jetty 等容器)独立运行。NS4 系列框架的设计理念是将业务和逻辑进行分离,开发人员只需通过简单的配置和业务实现就可以实现逻辑复杂、性能高效、功能稳定的业务系统。
NS4 系列包括 4 个开源模块,分别是:ns4_frame 分布式服务框架、ns4_gear_idgen ID 生成器组件(NS4 框架 Demo 示例)、ns4_gear_watchdog 监控系统组件(服务守护、应用性能监控、数据采集、自动化报警系统)和 ns4_chatbot 通讯组件。
NS4 系列模块的核心优势主要体现在以下几个方面:
具有很好的伸缩性,可以优雅地扩容和降级;
集中化管理,对各个节点的消息进行集中式管理和分发;
易维护,将复杂的流程性业务拆分成多个模块系统进行交互,减少代码耦合;
完善的调用链路,对于链路复杂的系统可以准确地定位出错的环节。
可以通过在线聊天机器人实现及时的自动提醒。
项目开源地址:https://github.com/newsettle
一、ns4_frame
开源地址:https://github.com/newsettle/…
ns4_frame 是一个高性能优秀的分布式服务框架,允许创建复杂的流程 / 业务流,对于业务服务节点的实现可串联,可分布式。其精简、轻量,实现了“脱容器”(不依赖 tomcat、jetty 等容器)独立运行。ns4_frame 将业务和逻辑进行分离,开发人员只需通过简单的配置和业务实现就可以实现逻辑复杂、性能高效、功能稳定的业务系统。
项目结构
ns4_frame 是一套 MAVEN 父子项目,由五个子项目组成:
NS_MQ:负责和底层消息队列进行通信,提供了对消息队列进行操作的 API。目前 NS4 底层支持 redis 作为消息中间件,同时提供通用的接口, 可以扩展多种消息中间件,对消息中间件的操作被封装入了 NS_MQ 项目中。
NS_TRANSPORTER:通过调用 NS_MQ 提供的 API, 对业务消息进行收取、处理、转发。它本质是一套消息收发处理框架,主要负责接收消息后反向回调业务代码,并将消息交给业务层处理,当业务层处理完毕后,再将处理后的消息返回给 redis 中。
NS_CHAIN:一个可选开发框架,负责对同一个 JVM 中的业务处理步骤进行链条式的整合,组成当前业务模块的业务处理流程。
NS_CONTROLLER:一个业务消息转发应用,负责将接收到的消息转给对应的业务模块进行处理,同时根据整体业务将业务模块进行关联.NS_CONTROLLER 本质是一个独立的应用系统,构建于 NS_TRANPORTOR 和 NS_CHAIN 之上。
NS_DISPATCHER:NS4 架构规定的消息入口,以 NETTY 框架作为基础,通过提供的 HTTP 服务接受业务系统边界外的 http 请求,并将请求转化成业务系统内部通信使用的消息协议格式。
上图展示了 NS4 每个系统的层次结构。
运行流程
NS4 整套系统本质上其实就是一套消息中间件服务加开发框架,整体的结构图如下:
上图展示了一个 NS4 整体分布式项目的运行流程。一个消息的运转流程按如下顺序:
NS_DISPATCHER 收到 http 请求并将其转化为内部消息协议放入指定的消息队列中 (根据配置文件)。
NS_CONTORLLER 从步骤 1 指定的队列接收到消息,并根据配置的服务编排开始按照顺序将消息发送到每个业务系统步骤对应的消息队列中。
业务系统收到步骤 2 中 NS_CONTROLLER 指定的消息队列的信息,开始处理,处理完毕后,将结果返回。
NS_CONTROLLER 收到业务系统的响应,开始根据配置好的服务将返回的消息结果发送到下一个业务系统对应的消息队列中。
消息被所有的业务系统处理完成后,NS_CONTROLLER 把消息处理结果放入到指定的消息队列里,NS_DISPATCHER 从对应的消息队列里取出消息结果,响应给 http 调用者。
二、ns4_gear_idgen
开源地址:https://github.com/newsettle/…
ns4_gear_idgen(ID 生成器)是基于 NS4 框架实现的,它支持分布式部署,生成全局唯一的 ID,其中长度、前缀、后缀、步长、进制也可根据自己的业务自由配置,还可以通过 ns4_gear_idgen 对 NS4.0 框架进行测试。
优点
很方便的线性扩展,能够支撑大多数业务场景。
生成 ID 规则多样,可根据业务需求自由配置,且支持 10 进制、36 进制、62 进制。
业务之间 ID 相互隔离,互不影响。
获取 ID 不用频繁操作数据库,快消耗完号段内 ID 时才会操作数据库,减轻了数据库的压力。
提前初始化号段内的 ID,保证在每个号段内 ID 使用完之前完成初始化,避免业务使用完 ID 后再初始化所带来的影响。
可以自定义 key_value 的大小,业务可以很方便地从原有的 ID 方式迁移过来。
容灾性高,服务内部有号段缓存,即使 DB 宕机,短时间内仍能正常对外提供服务。
三、ns4_gear_watchdog
开源地址:https://github.com/newsettle/…
ns4_gear_watchdog 是 ns4_frame 进程的父进程,守护并管理 ns4_frame 进程。它的职责包括以下几个方面:
对 ns4_frame 进行远程启动和停止、实时监测 ns4_frame 进程的健康状态、内存消耗、CPU 使用、内部线程;
收集 ns4_frame 实现的业务日志归集、实现业务内部实时流转的业务数据,达到实时对 ns4_frame 进程在线上的运行状态、实现的业务以及业务数据的流转状态等方面的监控,并精准、快速、便捷地定位出异常以及 CPU、线程等运行状态。
ns4_gear_watchdog 是作为父进程存在的,通过父进程启动目标项目 (子进程),并针对子进程应用生存的环境因素(包括系统层面的内存消耗、CPU 使用、负载、线程等)、实现功能的代码因素(代码健康程度)、业务因素等数据进行实时监控。父子进程通过 jmx 方式进行通讯,采集以上因素数据,并将这些数据保存到 ElasticSearch 中,进一步通过分析数据和现实运行情况总结制定出的指标相结合,将该以上因素数据通过微信机器人实时通知提醒相关负责人。
[ns4_gear_watchdog 基本结构图]
四、ns4_chatbot
开源地址:https://github.com/newsettle/…
ns4_chatbot 是一个机器人的聊天框架,集成了 qqbot、WxChat、rasa 以及 web 服务。ns4_chatbot 提供微信和 qq 聊天接口,可以对某个群组发送系统监控消息等,还可以把 ns4_gear_watchdog 监控信息发送到对应的群组中。
ns4_chatbot 实现的功能:
接受内部系统(如监控系统)的系统调用,从而把消息推送给 QQ 或者微信用户。内部系统调用服务时,需要提供以下信息:
发给哪个群组
发给这个群组中的哪个用户
发送的消息内容
可以接受 QQ、微信用户的对话,理解其意图,并且回应用户。
未来展望
宜信一直践行以科技推动金融发展的技术信念,并愿意将技术实践成果开源分享,以期通过宜信的实践经验推动金融科技行业的发展和创新。目前,宜信技术学院已开源了多个宜信的技术成果与研发实践,面向软件研发行业分享宜信的技术理念,本次 NS4 系列模块的开源将保持长期更新和维护,也希望有更多的技术伙伴加入到开源项目中,共同维护与发展开源成果。
内容来源:宜信技术学院