1. 背景
得物社区是一大批年轻人获取潮流信息、分享日常生活的潮流生存社区。其中用户浏览的信息，进行个性化的散发，是由举荐零碎来决策实现的。目前得物社区多个场景接入了举荐算法，包含首页举荐双列流、沉迷式视频举荐、分类 tab 举荐流、直播举荐流等多个场景，为了给用户提供更好的服务和体验，咱们从整个举荐零碎维度为相干服务做了大量优化。当初支流的举荐零碎都会有召回、粗排、精排和机制等多个模块组成，本文次要介绍咱们在精排层面演进过程中做的一些工作和思考。
2. 挑战和解法
用户在与信息流交互过程中，会产生点击、浏览、点赞、关注、珍藏、评论和负反馈等行为，个别是业务关怀的外围指标，也可作为算法同学建模的信号。其中，点击是用户一系列行为轨迹的入口，绝对不稠密，往往是一个信息流举荐零碎初期最关注的指标之一。如何对用户趣味进行精准建模，是这些年来举荐零碎在工业界从老成持重到大展身手的过程中始终热门的主题。在工业界中一个好的业务建典范式是在肯定资源束缚下，做好服务于业务指标的可迭代的系统优化，对于举荐零碎来说，须要思考零碎引擎、计算资源、模型迭代和保护的人力、零碎和模型的可迭代性以及多团队单干等多方面因素下，推动整个零碎向着业务指标继续后退。拆解到精排层面，咱们须要解决多场景、多人群和多指标等为精确预估用户趣味带来的挑战。上面从特色、样本、多指标建模和新用户冷启动等多个方向来论述咱们对这些挑战在得物社区的具体解法。
2.1 特色
单指标的 CTR 模型的技术演进可从两个不同的视角进行察看，一个维度是特色工程，另外一个维度就是模型构造复杂度。在 CTR 模型晚期的时候，受限于计算资源，模型构造往往比较简单，初期利用最宽泛的便是 LR 模型。这个阶段算法工程师更多的工夫是人工设计特色，从而针对不同的业务背景进行迭代拿到指标收益。
举荐零碎精排模型其实是一个预估用户行为概率的模型，咱们心愿模型一方面可能记住用户的历史行为(即拟合能力)，另一方面能够基于历史数据进行正当扩大(即泛化能力)。在传统机器学习期间，LR、SVM 和 GDBT 等模型就曾经具备很好的拟合能力，能够在训练数据集上有极好的体现。但在理论业务上，实在的艰难在于，如何基于过来数据精确地预估将来行为。万物基于数，在数学的视角上，模型建模实质上是对事实世界一部分运行法则在数字空间的形象和模仿。事实行为在数字空间的表征的准确性很大水平上决定了建模的成果，侥幸的是随着深度学习的倒退，基于 Embedding 的表征技术越来越成熟，根本解决了建模的表征瓶颈，而这个映射空间往往称为特征向量空间。
对于举荐零碎精排模型而言，在向量空间中具备事实概念的根本单元就是特色，这也揭示了针对特色的工作，对于整个建模的重要性。各个业务场景特色的设计，要求算法工程师对业务具备足够的了解，以及领有丰盛相干教训，特色工程也是算法工作中资源投入权重很大的工作，须要继续打磨优化，所谓磨刀不误砍柴工。
2.1.1 特色设计
模型应用的特色依据不同的角度可进行不一样的划分。依据特色起源，能够分为用户特色、Item 特色、上下文特色、穿插特色以及级联模型特色；依据特色构造，个别可依照 Dense 和 Sparse 进行辨别；依据特色时效性，往往又分为离线特色和实时特色。对于具体的业务场景，可依据特色起源，依照下表从整体上设计各个域的特色，在迭代的过程中继续优化降级特色。
每个特色都应该联合业务进行设计，比方其中统计类特色须要思考聚合的工夫窗口，序列特色须要思考序列的长度，这些都能够依据理论状况进行取舍和抉择。
在设计特色的根底上，算法工程师还须要推动上下游买通数据链路，校验特色品质，引入到现有模型中进行离线调研，要是小流量 AB 试验有相信收益，新版特色就能够全量失效。一个常见的开掘特色的伎俩，便是基于内容了解算法，利用自然语言解决、计算机视觉、语音辨认等等，对内容进行深度开掘，生产优质特色，从而让模型更容易捕捉用户趣味点。依据业务须要在继续迭代的过程中，会一直新增无效特色，旧的生效特色也会缓缓下线，在咱们的业务场景中，模型应用的特色数也在迭代的过程绝对减少了 30%，零碎的散发效率也有很大的晋升。特色对模型预估的重要性能够通过 auc-diff 进行评估，为了零碎的稳定性，还须要实时监控线上每个特色的覆盖率和取值散布状况，防止异样数据影响大盘。
2.1.2 特色解决
在举荐零碎中应用的所有特色，依照特色构造和解决形式的不同，能够分为四类。
数值型特色，特色的原始值是肯定区间内的间断值，比方动静后验 CTR、视频时长、点赞数等等，通常解决形式如下
- 能够减少对特色异样值的鲁棒性、晋升非线性能力、放慢算法解决性能、不便特色穿插
- 会失落局部信息、边界离散值的跳变会影响模型预估稳定性
- 能够采纳等宽分箱、聚类分箱、等频分箱、决策树分箱和卡方分箱等形式
- 特色最大最小归一化、标准化等等
- 间断特色离散化
- 非线性变换，比方罕用的 log(x+1)等等
单值离散特色，一个样本只有一个离散取值，比方手机型号、用户性别等等
- One-Hot 编码
- 查 LookUp 表，失去向量表征
多值离线特色，一个样本能够有多个离散取值，比方用户点击序列、Item 标签等等
- 人工生成穿插特色
- 查 LookUp 表，失去多维向量，可采纳拼接、Pooling、Attention 等形式生成交融后惟一的向量表征
KV 特色，一个样本 Key 能够有多个离线取值，并有与之对应的 Value 值
- Key 和 Value 离散化后，加权应用
- 能够将 Key 和 Value 进行拼接后，离散化应用
在举荐零碎畛域，在上表各式各样的特色中，有两种类型的特色很具备举荐特色，并在不同的业务上往往都是算法工程师鼎力投入，根本会获得不错收益的技术点。
2.1.3 高维稠密类别特色
第一个就是高维稠密的类别特色，这类特色因为其高维稠密性，在向量空间上具备更好的线性可分性，从而模型更容易记住样本。对于一个绝对成熟的举荐零碎来说，此类特色的维度可达到上亿维，甚至几十亿维。
为了让模型顺利应用这么大的高维特色，须要算法联结工程做很多深度优化工作。个别采纳的解决方案是动静弹性特色(EmbeddingVariable)，能够解决动态特色词表大小难预估、特色抵触、内存和 IO 冗余等问题，并可能通过特色准入、特色登场、底层哈希表无锁化和精细化内存布局等措施，来进步存储和拜访效率。随着动静弹性 EV 特色的引入，在得物社区的各个场景上均有着不错的收益。
2.1.4 穿插特色
另外一个就是赫赫有名的穿插特色。穿插特色是通过多个特色进行穿插组合而来，可能无效地加强模型的表达能力。这些年来算法工程师在特色穿插上尝试了大量的工作，总体来说分为显示穿插和隐式穿插。
显式穿插是基于先验常识，算法工程师人工结构穿插特色，个别能够采纳的穿插模式有如下三种。其中笛卡尔积因为成果好更常应用，但笛卡尔积可能会产生维度爆炸，所以须要依据理论业务的数据分析状况来结构笛卡尔积。举个例子，在咱们的场景中，每个用户在不同类目上趣味偏好会有所区别，为了让零碎在给用户提供服务时更关注这一点，能够在模型中尝试引入用户偏好和动静类目标穿插特色，晋升用户体验。
隐式穿插是通过网络结构让模型主动学习穿插，随着穿插技术的倒退，算法工程师更多时候应用的形式是隐式穿插，不仅能够解除对人工教训的依赖，同时可在模型训练过程中一直自我优化。近些年在这方面经典的工作次要是 FM、FFM、Wide&Deep、DeepFM、DCN 和 CAN 等构造，其中 DeepFM 更是因为其构造简略、成果突出，在不同的举荐场景下均可作为比拟好的基准。
作为特色穿插构造的经典集大成者，DeepFM 能够实现端对端的低阶和高阶特色穿插交融。其中 FM 构造能够进行低阶特色的穿插，晋升模型的记忆能力；Deep 构造进行高阶特色的穿插交融，进步模型的泛化能力。得物社区最晚期的时候，在排序层面，精排模型只是对 CTR 进行建模，模型架构就采纳了比拟成熟的 DeepFM。
2.2 样本
对于一个举荐零碎，模型训练样本和特色决定了模型成果的下限，一个高质量的训练样本集可能无效进步精排模型的预估能力。样本的产生须要依赖线上日志，一个优良的生产样本流的框架会波及多方，包含前端埋点、举荐引擎、预估服务和数仓等等。为了对业务成果负责，算法工程师除了关注模型自身外，还须要对样本品质进行监控，与上下游一起确保高质量样本生产的稳定性。
2.2.1 实时样本流架构
得物社区晚期时，模型训练样本是基于离线特色表和离线用户行为表拼接而成，除了会有显著的时效性问题外，还可能会产生样本特色线上线下不一致性问题，影响零碎整体的散发效率和散发成果。
为了解决高质量样本生产的问题，咱们通过协调资源，设计和推动多方搭建了实时样本流框架。通过实时样本流生产样本，样本的时效性大幅晋升，从天级到分钟级，从而能够反对实时模型的上线，也为后续算法模型的疾速迭代打下了松软的根底。
实时数据流架构能够概述为三条日志流的生产、归因和拼接。
- 第一条数据流是客户端日志流，它是基于客户端埋点通过触发事件上报埋点信息而来，埋点数据蕴含了服务端下发给客户端的 (reqid, userid, itemid) 三元组等信息。用户在浏览信息流时，会继续触发曝光、点击、点赞等行为数据，从而客户端日志流源源不断生产数据。
- 第二条数据流是服务端引擎日志流，它是依据客户端发动的用户申请，通过服务端和整个举荐引擎，拿到举荐后果并返回给客户端这个过程中，在引擎落下的重要信息，同样包含 (reqid, userid, itemid) 三元组、举荐后果以及正排信息等。
- 最初一条数据流是在预估服务落下的预估日志流，它是引擎将用户画像和召回或者粗排的后果下发到预估机器，由预估机器中的精排模型进行打分，在这个过程中会将模型应用的 item 特色和 user 特色等特色信息 dump 下来。特色流的数据量也是三个流中最大的，往往须要通过 ACK 的模式升高 dump 的物品数，从而无效节约资源。
三条日志流能够通过 (reqid, userid, itemid) 三元组进行无效关联，从而造成实时归因大宽表。其中，客户端日志流提供了用户实在反馈标签，服务端引擎日志流提供了举荐引擎各环节的信息，预估服务日志流提供了模型应用的特色信息，保障了线上线下特色一致性。
在应用实时样本流生产实时样本的过程中，会遇到一个经典的问题，那就是“用户提早反馈”。这是因为从曝光埋点上报数据，到用户对动静进行点击和更深度的交互行为，这两个事件往往存在肯定的时间差。比方用户在观看一个视频时，过了几分钟看完后才会对视频进行点赞和评论，此时如果咱们对归因设计不合理就会造成这条实时样本是负样本。个别对用户反馈标签进行归因时，会思考归因的工夫窗口。离线表的归因窗口能够了解为 1d，不过实时计算是在内存中实现的，出于对老本的思考，很难设到很大的窗口，能够联合剖析实在的业务数据状况，在老本、时效性和标签准确性之间找到适合的平衡点。在咱们的场景上，通过选取适合的阈值，最初实时样本表的正标签达到了离线表的 95%。对于提早样本，一个无效的解决方案是设计不同的样本回补机制，基于重要性采样对样本分布进行纠偏。
2.2.2 采样
CTR 模型为了预估用户浏览到的曝光中会进行点击的概率，是一个二分类模型。直观上建模时，会将用户点击作为正样本，曝光未点击作为负样本。但因为用户点击行为绝对稠密，这种间接构建训练样本集的形式，会造成正负样本重大失衡，有些场景可能低于 1:100，训练成果往往不够好。
为了解决类别不平衡问题，一个罕用的做法就是对负样本进行采样，只有通过肯定策略采样后的负样本能够用来训练模型。负采样有很多实现形式，个别会依据采样品质、采样偏差和采样效率进行取舍，大体分为人工规定采样和基于模型采样。其中，罕用的人工规定采样是随机负采样和基于风行度负采样，基于模型采样实质上是通过模型迭代优化负样本的品质，个别借鉴 Boosting 和 GAN 反抗学习的思维，一直开掘强负样本，这块近期比拟好的工作便是 SRNS。
在咱们场景上，目前是通过随机抛弃负样本的形式来实现采样的。采样后训练的模型预估进去的 pctr 与实在后验点击率 CTR 是有偏差的，所以线上应用预估分 pctr 时须要先用如下转换公式进行修改，而后在排序时应用。除了采样外，另外一个能够尝试的解法是在训练时通过对不同样本的 Loss 进行调权，也能够缓解类别不平衡带来的影响，不过调权工作比拟沉重，可能一时很难调到现实的成果，预估分也难以还原。
对于一个业务场景，往往会关注多个业务指标，除了点击之外，另一些重要的关注点是用户点击后的后续行为。对于电商场景个别是珍藏商品、下单商品等用户深层次行为，对于信息流场景更多的是观看时长、点赞、评论等用户交互行为。这些转化行为是用户点击之后产生的，如果在点击样本空间上对互动进行建模，线上间接应用会产生 bias，称为样本抉择偏差，多指标联结建模时能够通过设计特定的模型构造来解决。
在得物社区场景，咱们依据线上遇到和发现的一些问题，在样本层面也做过其余的摸索和实际。
- 像评论、关注、分享等这些用户转化信号个别比拟稠密，独自建模的话模型训练不够充沛很难获得好的成果，与点击联结训练又会被更密集的点击信号带偏。一种无效的解法是对同类型信号进行聚合应用，同时对这些信号重采样缓解点击信号的影响。
- 样本随机负样本对低活用户是不敌对的，甚至会让曝光未点击用户逐步散失。在负采样时须要思考低活用户曝光未点击的样本，同时能够尝试在特色层面加上曝光未点击序列。
- 现实样本是在剔除乐音烦扰的状况下，尽可能多的保留和基于先验常识提取实在场景的无效信息。其中一个可能有收益的信息就是用户样本的 Session，所以倡议试试基于用户 Session 构建样本。
2.3 多指标
相比单个指标建模，对多个业务指标进行建模会遇到更多的挑战，其中比拟常见的问题就是多个指标之间会有跷跷板景象。为了缓解这些问题，在业界通过多年的实际和技术倒退，积攒不少的优良模型 ESSM、MMOE、PLE 和 ESCM 等等，其中比拟重要和利用宽泛的模型是 ESSM、MMOE，它们在很多业务场景都有着不错的成果，在得物社区场景，对多指标的建模也借鉴了相干模型的思路。
2.3.1 模型构造
2.3.1.1 首页双列流
随着业务的倒退，得物社区首页举荐流精排模型也始终在迭代降级中，模型个性化能力一直晋升，总的来说能够划分为四个阶段。
第一阶段是晚期时候，只对用户点击率建模，精排层只有 CTR 模型。期间通过几次迭代，从开始的 DeepFM 构造，到联合业务特点的 DLRM 构造，特色穿插能力显著晋升，以及减少了提取用户深度趣味的 DIN 模块，都获得了不错的收益。
- CTR 模型
第二阶段是减少了对用户时长的独自建模，心愿晋升系统对用户时长的预估能力，精排层会有 CTR 模型和时长模型。时长模型第一版采纳了比拟成熟 DeepFM 构造，在 CTR 损失兑换可承受的状况下，带来大盘人均时长绝对晋升 +3%。
- 时长模型
第三阶段是对用户点赞、关注、珍藏、评论和分享等互动行为与用户时长联结建模，借助互动信号更好地捕捉用户趣味点，精排层会有两个模型，包含 CTR 模型和时长互动双塔模型。通过对多指标分交融公式进行无效调参后，在其余指标根本持平状况下，大盘互动用户渗透率，绝对晋升 +6%。
- 时长互动双塔模型
第四阶段是用户点击、用户时长和用户互动等多指标对立建模，并对用户负反馈独自建模，更好地整合精排层对用户趣味的建模能力，精排层会有两个模型，即点击、时长和互动等多指标模型，以及负反馈模型。绝对双塔模型，多指标模型更须要在结构上可能适配更多指标，尤其须要解决 CTR 工作和稠密工作的相互影响。通过在训练时基于 pct\_time 和 pct\_inte 节点构建损失函数，并对 pctr 节点进行梯度阻断，使得可能对多个指标在曝光空间上对立进行建模。线上应用 ptime 和 pinte 作为时长和互动的预估分，交融公式能够做到线上线下统一，有助于在线上拿到离线调研的收益。上线后大盘 ctr 绝对晋升 +2.3%，人均时长绝对晋升 +0.33%，互动用户渗透率绝对 +4.5%。负反馈模型分在机制层通过平滑降权的模式失效，大盘负反馈率绝对升高 16%。
- 多指标模型
- 负反馈平滑降权
- 负反馈模型
2.3.1.2 沉迷式视频单列流
与首页双列流产品状态不同的是，沉迷式视频举荐流是单列流场景，用户通过一直下滑观看不同的视频。针对场景特点，最开始的建模思路是从视频完成度进行切入的，模型会预估用户会观看视频时长占视频自身时长的比例 pfinish\_rate，线上应用时会联合视频自身时长 videoTime，并对 videoTime 双端进行限度缓解视频自身时长带来的 bias，最初应用 pfinish\_rate*truncated(videoTime) 作为排序分。与首页主场景一样，在前面的迭代过程中，也减少了对用户互动行为的建模，在对互动预估分 pinte 和完成度预估分 pfinish_rate 进行交融时，不出意外也遇到跷跷板景象，通过一直试验尝试，最初采纳级联排序的模式获得了收益。
通过几个版本继续迭代优化，场景外围指标晋升显著，场景拜访 uv 人均时长绝对晋升 +46%，曝光互动率绝对晋升 +15%。联合视频场景特殊性，通过对业务指标的剖析，最近咱们在思考对用户短播行为和长播行为进行建模，更好的捕捉用户趣味点，为用户提供更贴心的视频举荐流服务。
- 多指标模型
2.3.2 多指标交融
多指标建模除了模型自身，另一个次要的挑战就是线上如何无效地应用多个指标分？咱们心愿通过适合的排序指标和机制设计，让业务关注的指标都可能有收益，做到多个指标独特晋升，针对这个问题在咱们场景上也进行了各种不同的尝试。
第一类比拟间接的解决方案就是设计公式，对多个指标分应用公式进行交融，从而作为最终排序分。此计划的益处就是简略、明确，能够依据权重晓得每个指标分是怎么对最终排序失效的。其中一个罕用的技巧就是因为不同指标的预估分散布差别大，预估分绝对值的变动会影响调参后果，所以能够思考应用单个指标分排序后的序号，将其通过正当的归一化后，再对多个指标进行交融。毛病就是不同的模型上线都须要手动调参，带来很大的工作量，并且交融公式也没有依据不同用户做到个性化交融，影响整体排序成果。在得物社区场景，咱们先后设计了两版交融公式，第二版加法模式获得了更好的收益，同时参数量也无效升高。
- 人工公式交融
第二类解决方案是心愿借助深度模型来端对端的生成最终排序分，防止人工调参，同时在交融时会思考个性化。具体思路是结构一些用户侧、物品侧重要的根底特色，以及多个模型的预估分，将它们作为一个简单网络的输出，利用离线训练的模型产生最终交融分。一个关键点就是离线模型 Label 的结构，个别是通过对多个指标加权的形式进行聚合，权重的抉择须要联合业务和线上试验的成果进行调试。毛病是精排层须要多调用一个模型，须要更多的资源，另外就是有时业务上须要做一些生态上的调整，模型交融没有公式来的快捷。
- 独立交融模型
第三类也是目前正在尝试的解决方案，即个性化交融多指标模型架构。咱们心愿在多指标模型的根底上，通过结构交融模块，将多指标预估和多指标预估分交融放到一个残缺的网络框架下。模型训练时损失函数能够分为两块，主网络损失和交融网络损失，主网络损失是为了优化模型对各个指标分的预估，交融网络损失是从整体上优化交融排序的后果，能够通过异步训练和梯度阻断的形式防止对网络互相造成烦扰。实践上这种计划联合了后面两种计划的优化，同时防止了其毛病，心愿通过调试后可能在咱们的场景上推全这种计划，进一步整合精排模型的能力。
- 个性化交融多指标模型
2.4 新用户冷启动
新用户冷启始终是业界的难点，次要体现在以下三点。为了解决这些问题，业界也有很多经典的工作，比方基于元学习的新用户 MeLU、FORM 模型等等，这些计划都是心愿为新用户赋予比拟靠谱的初始值，通过动静学习率疾速调整从而收敛，但在理论利用时往往成果不佳。
新用户行为稠密，对举荐后果更敏感
训练集新老用户样本分布不平均，新用户样本占比往往低于 1%
新用户人群和老用户人群特点差别大，因为老用户的主导，会导致模型难以捕捉到新用户人群行为模式
咱们在得物社区首页双列流场景上也对新用户冷启动做了尝试，晋升新用户冷启效率。基于对业务数据的剖析和判断，从可推池、召回到精排、打散整个链路与主场景独立进去进行迭代，针对新用户特殊性，在精排层面从特色到模型构造均进行了独自的设计。
对于新用户冷启工作，集体认为如下技巧都是能够尝试的，在不同业务场景可能会有不一样的收益。
新用户样本重采样或者 Loss 加权，减少新用户样本的话语权
结构可能表征新用户人群的特色，比方新用户标识、用户首次拜访工夫等等
用户人群 id 代替新用户 id，缓解新用户 id 学习不充沛
从模型构造上突出新用户相干的特色，减少新用户特色的话语权
在咱们的场景上，第一版模型是基于新用户无效点击的时长加权 CTR 模型，模型会更关注用户生产时长高的内容，从而帮忙模型学习到新用户的趣味点。为了进一步晋升模型对不同新用户趣味捕捉能力，咱们通过在模型构造上的设计了多指标 poso 模型，缓解新用户行为和样本稠密的问题。通过在模型构造层面做到个性化，为相干人群带来更好的体验，全量后新用户 ctr 绝对 +2.69%，人均举荐时长绝对 +3.08%，人均互动数绝对 +18%，新用户次留绝对 +1.23%。
- 多指标 poso 模型
3. 瞻望
本文次要介绍了面对业务中一直呈现的挑战，咱们从特色、样本、多指标建模和新用户冷启动等方向做的一些具体解法以及获得的一些停顿。除了这些曾经落地的技术外，咱们还在其余方向了进行了摸索，包含风行度纠偏、用户深度趣味、FeatureStore 以及超大规模分布式稠密大模型，心愿在后续进一步开释算法红利，保障和促成业务的增长。
4. 援用
[1] Chen Y , Jin J , Zhao H , et al. Asymptotically Unbiased Estimation for Delayed Feedback Modeling via Label Correction[J]. 2022.
[2] Lee H , Im J , Jang S , et al. MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation[J]. ACM, 2019.
[3] Sun X, Shi T, Gao X, et al. FORM: Follow the Online Regularized Meta-Leader for Cold-Start Recommendation[C]//Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2021: 1177-1186.
[4] Ma X, Zhao L, Huang G, et al. Entire space multi-task model: An effective approach for estimating post-click conversion rate[C]//The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018: 1137-1140.
[5] Ma J, Zhao Z, Yi X, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts[C]//Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 2018: 1930-1939.
[7] Guo H, Tang R, Ye Y, et al. DeepFM: a factorization-machine based neural network for CTR prediction[J]. arXiv preprint arXiv:1703.04247, 2017.
[8] Naumov M, Mudigere D, Shi H J M, et al. Deep learning recommendation model for personalization and recommendation systems[J]. arXiv preprint arXiv:1906.00091, 2019.
[9] Zhang W, Qin J, Guo W, et al. Deep learning for click-through rate estimation[J]. arXiv preprint arXiv:2104.10584, 2021.
文 / 召俊
线下流动举荐 ：得物技术沙龙「企业合作效率演进之路」（总第 19 期）
工夫 ：2023 年 7 月 16 日 14:00 ～ 2023 年 7 月 16 日 18:00
地点：（上海杨浦）黄兴路 221 号互联宝地 C 栋 5 楼(宁国路地铁站 1 号口出)
流动亮点：在当今竞争日益强烈的商业环境中，企业合作效率成为企业团队胜利的要害。越来越多的企业意识到，通过信息化建设和工具化的反对，能够大幅晋升合作效率，并在行业中获得冲破。本次沙龙将涵盖多个主题，这些主题将为与会者提供丰盛的思考和教训，助力企业合作效率的晋升。
通过得物技术沙龙这个交流平台，您将有机会与其余企业的代表一起学习、借鉴彼此的教训和做法。独特探讨企业外部合作效率的最佳实际，驱动企业长期生存和倒退。退出得物技术沙龙，与行业先驱者们一起开启合作效率的新篇章！让咱们独特为合作效率的冲破而致力！
点击报名 ：得物技术沙龙「企业合作效率演进之路」（总第 19 期）
本文属得物技术原创，来源于：得物技术官网
未经得物技术许可严禁转载，否则依法追究法律责任！
作者：得物技术
链接：juejin.cn/post/724957…