共计 4492 个字符，预计需要花费 12 分钟才能阅读完成。
导读： 网易云信新晋的 IM 顶流产品「圈组」出道后获取到了极大的关注，很多云信的客户在接入的同时对于「圈组」的底层技术细节和原理也十分关注，为此，咱们决定推出云信「圈组」相干的系列技术文章，分享网易云信在「圈组」技术设计上的一些思考。
业务特点
在互联网行业流行一句话，技术是为业务服务的。具体到实际中，一个重要方面就是要面向业务特点设计技术计划。因而，想要理解「圈组」的关系零碎设计，就要首先理解「圈组」的关系业务特点。
「圈组」的关系业务特点是什么？其一是关系简单，即关系主体多、管理机制杂、联动耦合重；其二是规模微小，即成员数量可达百万量级、变更批量可达百万量级。
所谓关系简单，具体来讲：首先是关系主体多。在「圈组」业务中，关系主体包含服务器、频道、身份组、频道分组等，服务器承载社群关系，负责社群成员关系保护；频道从属于服务器，承载内容关系，负责内容互动关系保护；身份组可从属于服务器或频道，承载身份权限关系，负责身份设定和权限配置；频道分组从属于服务器，又关联一组频道，承载频道模版关系，负责分类频道和共享配置。其次是管理机制杂。在「圈组」业务中，仅就成员管理机制而言，服务器成员采纳邀请 / 申请机制，频道成员采纳公开 / 私密模式 + 黑 / 白名单机制，身份组成员采纳退出 / 移出机制，频道分组成员与频道成员采纳同步机制。最初是联动耦合。在「圈组」业务中，以频道成员保护为例，频道成员不仅受到公开 / 私密模式 + 黑 / 白名单配置变更的影响，而且会随同服务器成员变更、身份组变更、身份组成员变更等做联动变更。
所谓规模微小，具体来讲：一方面是成员数量可达百万量级。在「圈组」业务中，服务器成员数量能够达到数百万人，进一步，百万成员服务器下的频道和身份组，其成员数量也能够达到百万量级。另一方面是变更批量可达百万量级。在「圈组」业务中，不仅成员数量规模微小，而且变更操作一个批次数量也能够达到百万量级。包含：删除百万成员的服务器 / 频道 / 身份组，增删频道 / 频道分组黑白名单中的百万成员身份组等。
从「圈组」关系业务的两大特点登程，能够发现「圈组」关系是不同于群组关系的全新业务场景，将会面临全新的技术难点。
技术难点
「圈组」关系零碎的技术难点次要有两个方面。其一是多关系主体、多管理机制在层级构造下关联耦合导致的业务逻辑的复杂性；其二是成员数量、变更批量规模微小导致的业务解决在工夫、空间、资源等开销上的复杂性。
业务逻辑复杂性
首先「圈组」有多级构造。包含服务器 / 频道二级构造、服务器 / 频道分组 / 频道三级构造等。单个关系主体变更，不仅波及本身的变更，而且波及上下级关系主体的变更，能够说牵一动员全身。相比而言，群组是没有层级的，群组变更只有独善其身就好。
其次「圈组」有身份组。一个身份组是一组有独特权限的服务器成员的汇合，不同身份组的成员能够互相穿插，身份组会作为整体参加到成员治理中。也就是说，成员变更不再只是个别成员（1-100 人）的进入退出，将会呈现整组成员（1-1000000 人）的大进大出。相比而言，群组是没有身份组的，群组非凡成员包含群主、管理员等也都数量不多、互不反复。
最初「圈组」有多种成员管理机制。服务器成员和身份组成员的管理机制与群组相似，频道成员和频道分组成员的管理机制却是全新模式。频道分为公开和私密两种，公开模式默认容许所有服务器成员可见，但要排除黑名单身份组和黑名单成员；私密模式默认不许所有服务器成员可见，但要放开白名单身份组和白名单成员。除了受到公开 / 私密模式 + 黑 / 白名单配置变更的影响，频道成员也受到所依赖的关系主体（服务器成员、身份组、身份组成员）变更的影响。进一步，频道成员还受到所同步的频道分组变更的影响。相比而言，群组成员的邀请 / 申请机制，能够说是小巫见大巫。
业务解决复杂性
首先是成员数量规模微小。因为成员数量可达百万，整个成员列表的存储空间开销、网络传输开销，变得非常微小，不管全量成员列表数据的服务器缓存，还是全量成员列表数据从服务器到客户端的同步，都将变得难以实现。
其次是变更批量规模微小。单次接口调用的关系变更，可能随同百万规模的联动关系变更，这会导致微小的解决工夫开销、计算资源开销，不管所有变更同步实现解决，还是所有变更单机实现解决，都将变得难以实现。
最初是告诉音讯规模微小。关系零碎不仅须要做关系变更的数据处理，而且须要告诉变更后果到客户端。因为在「圈组」中各个关系主体的成员数量规模微小，使得单个变更须要扩散为百万告诉同时下发，所需计算资源开销、网络传输开销非常微小。
相比而言，群组计划因为成员数量、变更批量规模无限，并不波及这些技术难点。
从「圈组」关系零碎的两个方面技术难点登程，能够发现「圈组」关系零碎面临不同于群组的全新技术难点，想要解决这些技术难点，须要翻新的技术计划。
技术分析
「圈组」关系零碎是整个「圈组」计划的重要组成部分，在具体介绍「圈组」关系零碎技术计划之前，有必要首先理解「圈组」计划的整体架构。
「圈组」整体架构
下面展现了「圈组」计划的整体架构，能够看到「圈组」整体是一个分层架构。从上到下看：
- 客户层： 包含可供客户端集成的挪动端、桌面端、跨平台 SDK，和可供服务器调用的 OpenAPI。
- 接入层： 包含 LBS 服务、长连贯服务和 API 网关，别离对应客户端 SDK 和用户服务器。
- 网络层： 包含自研的寰球实时传输网络 WE-CAN。
- 业务层： 包含用于 SDK 业务解决的 App 服务和用于 OpenAPI 业务解决的 WebServer 服务。
- 服务层： 划分有登录、音讯、关系、身份组、反对等服务模块，每个服务模块包含有多个微服务或消费者。
- 基础设施层： 包含零碎所用的数据库和中间件。
关系零碎架构
关系零碎技术细节
在「圈组」关系零碎中，上面具体探讨三个计划要点的技术细节，包含频道成员关系治理、变更告诉在线播送和关系数据云端检索。
频道成员关系治理
频道成员关系治理，是「圈组」中极具挑战性的问题。频道成员波及多关系主体、多管理机制、联动变更耦合重大，成员数量和变更批量规模微小，能够说是「圈组」关系业务的典型代表。频道成员关系治理在业务逻辑和业务解决两方面的复杂性可想而知。针对频道成员关系治理问题，「圈组」设计了两大机制加以解决。包含：终态保护与过渡计算相结合机制、事件按序异步并行处理机制。
终态保护与过渡计算相结合机制，具体来讲，频道成员关系数据最终被保护在长久化数据库中，并在频道成员没有变更的终态阶段，间接反对频道成员数据的查问需要。当频道成员产生变更时，因为变更逻辑和变更解决两方面的复杂性，实现关系变更须要一段时间，称之为过渡阶段。在过渡阶段，数据库长久化的频道成员表数据是不齐全精确的，无奈间接反对频道成员数据的查问需要。此时转为由频道成员配置元数据间接计算频道成员以反对查问需要。因为频道成员配置元数据的变更是同步解决的，所以在过渡阶段由频道成员配置元数据间接计算频道成员能够保障查问准确性。通过将频道成员关系治理分为终态和过渡两个阶段，并在不同阶段采纳不同频道成员查问计划，不仅解决了单纯由计算获取频道成员资源开销大的问题，而且解决了频道成员变更提早导致由数据库获取频道成员后果不精确的问题。
除了频道成员的获取查问问题，频道成员的变更解决也很重要。事件按序异步并行处理机制，就是用于解决频道成员的变更解决问题。其一通过将影响频道成员关系的变更操作分层级、系统化定义为变更事件，显著升高频道成员关系治理的业务逻辑复杂性。其二通过 ID 哈希、分布式锁、事件版本号管制等保障变更事件的按序解决，无效防止事件处理乱序导致的长久化数据谬误。其三通过音讯队列直达事件并在消费者上异步解决，无效解决联动变更批量过大导致接口调用阻塞的问题。其四通过在单个事件处理中的多线程并行减速和本地缓存重用减速，显著缩短频道成员关系变更的时间延迟。
变更告诉在线播送
关系零碎不仅须要做关系变更的数据处理，而且须要告诉变更后果到客户端。在百万量级的「圈组」关系中，每条关系变更告诉，都会面临海量扩散的接收者。除了告诉散发量激增，不同接收者对于告诉接管的缓急差别也值得关注。针对变更告诉在线播送问题，「圈组」设计了两大机制加以解决。包含：变更分类告诉机制、数据告诉拉取机制。
在变更分类告诉机制中，一方面，依据相干人员在变更中的角色，划分为参与者和观察者分类做告诉，即参与者肯定告诉，观察者依照订阅需要告诉。其中参与者个别是变更中的多数要害人员，观察者则是除了参与者之外能够看到变更后果的其它人员。通过分类告诉，不同接收者对于告诉接管的缓急差别失去正当关注，变更告诉的扩散规模也失去精准放大。另一方面，观察者依照订阅需要告诉，能够充分发挥「圈组」的在线播送订阅模式的劣势。所谓在线播送订阅模式，是指在用户登陆之后，须要订阅感兴趣的服务器 / 频道的告诉，「圈组」零碎会记录下这些订阅信息，当有新的告诉时，「圈组」零碎通过订阅关系而非成员列表 + 在线状态获取须要在线播送的用户列表，从而不再须要遍历服务器 / 频道的所有成员及其在线状态。通过采纳在线播送订阅模式，不仅显著升高变更告诉在线播送的计算开销和带宽开销，而且能够实现变更告诉在线播送在长连贯服务集群的并行减速和程度扩大。
变更告诉的最终目标是将变更后的数据给到客户端。不同于群组，「圈组」并不将变更后的数据间接由告诉带给客户端，而是采纳告诉客户端有变更再触发客户端拉取后果数据的机制。究其原因，不同于群组将关系数据全量同步到客户端，「圈组」客户端不再存储关系数据的全量镜像，因而不再须要通过全量历史 + 增量变更的形式保护客户端上的关系数据全量镜像。与此同时，订阅变更告诉的观察者也并不是每时每刻都要关怀变更的后果数据，关怀某次变更后果数据的观察者相比订阅变更告诉的观察者在数量上会少很多，因而，数据告诉拉取机制会显著升高变更告诉的资源开销。另外，相比带变更数据告诉，只告诉有变更，便于间接合并雷同类型的告诉，而不必关怀合并变更数据存在的时序、并发等问题，如此，数据告诉拉取机制能够通过短时间内告诉合并显著升高服务器在线播送开销和客户端告诉接管开销。
关系数据云端检索
在「圈组」中，随同关系规模的大幅增长，群组基于应用服务器全量查问关系数据或客户端全量同步关系数据实现精准查问和灵便排序的计划不再实用。对此，「圈组」采纳了关系数据云端检索的计划。
「圈组」关系数据云端检索计划能够反对服务器、频道、成员等的检索能力。从检索场景上分，包含广场检索和外部检索。
广场检索：用于检索感兴趣的服务器。能够依据名称、类别等多种维度检索。检索后果能够依据预约义字段（成员数量等）或自定义值（数据热度等）等进行排序。
外部检索：用于检索用户可见的服务器、频道、成员等。能够依据名称、昵称等多种维度检索。检索后果能够依据预约义字段（创立工夫等）或自定义值（数据热度等）等进行排序。
总结
说了这么多，云信「圈组」作为一款全新设计的产品，没有任何历史包袱的限度（然而却能够充沛排汇历史长处），你能够应用它构建一个类 Discord 产品，或者任何你想得到的社交 / 娱乐 / 游戏产品，欢送大家抉择。
