会话举荐（Session-based Recommendation）是举荐畛域的一个子分支, 美团平台增长技术部也在该畛域一直地进行摸索。不久前，该部门提出的跨会话信息感知的工夫卷积神经网络模型（CA-TCN）被国内会议 ICDM NeuRec Workshop 2020 接管。本文会对论文中的 CA-TCN 模型进行介绍，心愿能对从事相干工作的同学有所帮忙或者启发。
ICDM 的全称 International Conference on Data Mining，是由 IEEE 举办的世界顶级数据挖掘钻研会议，该会议涵盖了统计、机器学习、模式识别、数据库、数据仓库、数据可视化、基于常识的零碎和高性能计算等数据挖掘相干畛域。其中 ICDM NeuRec Workshop 旨在从利用和实践角度系统地探讨举荐零碎的浅层和深层神经算法的最新进展，该 Workshop 征集了无关开发和利用神经算法和实践以构建智能举荐零碎的最新且重要的奉献。
背景
在大数据时代，举荐零碎作为零碎中的基础架构，开始扮演着越来越重要的角色，举荐零碎能够为用户挑选出本人感兴趣的商品或者内容，从而来缩小因信息爆炸带来的一些影响。目前，业界提出的很多举荐模型获得了微小的胜利，然而大部分举荐办法经常是须要依据明确的用户画像信息进行举荐，然而在一些特定的畛域，用户画像的信息有可能无奈被利用。
为了解决这个问题，会话举荐（Session-based Recommendation）工作被提了进去，会话举荐工作是依据用户在以后会话的行为序列去预测用户的下一个行为，而不须要依赖任何的用户画像信息[1]。目前，会话举荐工作已广泛应用于多个畛域，例如下一个网页举荐、下一个 POI 举荐、下一个商品举荐等等。为了笼罩多个畛域，所以“会话”的概念不仅限于交易，而是指一次或者肯定期间内的生产或者拜访的元素汇合。
每一个会话（Session）都是一个 item 的转移序列，所以会话举荐工作能够很天然地被视为序列举荐工作，基于循环神经网络（RNN）的会话举荐模型 [2] 是利用的支流模型。然而基于 RNN 模型只对 item 之间的间断单向转移关系进行建模，而疏忽了会话中其余 item 之间的转移关系。随着图神经网络的热点暴发，基于图构造的会话举荐模型如 SR-GNN[3]、GC-SAN[4]被提出来，心愿可能克服该点有余。基于图构造的会话举荐模型将会话的 item 转移序列构建成一个图构造，而后利用图神经网络模型来摸索多个 item 之间简单的转移关系。目前，基于图构造的会话举荐模型曾经成为了 State-of-the-art 的解决办法，但它们依然具备肯定的限度，察看如下：
- 察看 1：简直所有现存的会话举荐办法都仅仅关注于会话的外部信息，而疏忽了跨会话的内部信息（跨会话的相互影响），跨会话信息往往蕴含着十分有价值的补充信息，有利于更精确地推断以后会话的用户偏好。如下图所示，以 Session 3 中的 Item_3 Airpods 为例，现存的办法仅仅关注以后会话 Session3 中的 Item_9 对 Item_3 的影响而疏忽了其余会话的影响。对于 Session1 而言, 用户可能具备买耳机的用意而进行同品类比拟，所以 item_2 和 item_4 会对 item_3 产生一个品类的影响；对于 Session 2 而言, 用户可能比拟喜爱 Apple 品牌，所以 item_5 和 item_6 会对 item_3 产生一个品牌的影响。依据下面的察看可知，在 Item_Level 档次的跨会话影响对于更好地推断 item 的全局示意至关重要。同时，不同的会话之间也可能具备类似的用户用意和行为模式，所以对于 Session-Level 的跨会话影响对于更精确地预测用户在以后会话中的下一个动作也起着十分重要的作用。
- 察看 2：基于图构造的会话举荐办法在构建图的过程中，将呈现在不同工夫步的雷同 item 都视为一个雷同节点，这样会失落序列中的地位信息，以至于不同的序列会话构建出的 Session 图构造是完全相同的。例如两个不同的会话 Session S1:v_i–>v_j–>v_i–>v_k–>v_j–>v_k 与 Session S2: v_i–>v_j–>v_k–>v_j–>v_i–>v_k，在下图 2 中，它们对应的图构造是完全相同的，这不可避免地限度了模型取得精确会话示意的能力。此外，在会话图结构中，仅仅间接连贯的两个相邻 item 之间会建设边，意味着只有在以后 item 之前最初点击的 item 才是以后 item 的一阶街坊，如图 2 所示。但呈现在一个雷同会话中，即便没有被间断点击的 item 之间也具备肯定的分割，所以图构造对于保留序列的长期依赖性具备无限的能力。相同，对于时序卷积神经网络（TCN）[5]模型，Causal Convolution 使以后 item 的承受域中的 items 都能够间接作为一阶街坊进行卷积，并且具备的 Dilated Convolution 使得较远的 items 也能够间接作为一阶街坊对其产生影响。
相干工作介绍
现有的会话举荐办法大抵能够分为两类，别离是基于协同过滤办法和基于深度学习办法：
- 基于协同过滤办法 ：协同过滤办法是在举荐零碎中被宽泛应用的通用办法，协同过滤办法次要能够分为两大类：基于 KNN 查找办法和基于类似度建模办法。基于 KNN 查找办法是通过查找 Top- K 个相干的 users 或 items 来实现举荐，基于 KNN 查找办法能够通过查找与以后会话中最初一个 item 最类似的 item 来实现基于会话的举荐。最近，KNN-RNN[6] 摸索将 RNN 模型与 KNN 模型相结合，通过 RNN 模型来提取会话序列信息，而后查找在与以后 Session 类似的 Session 中呈现的 item 来实现举荐。对于基于类似度建模的办法，CSRM[7]通过记忆网络将间隔以后会话工夫最近的 m 个会话中蕴含的相干信息进行建模，从而来取得更为精确的会话示意，以进步会话举荐的性能。
- 基于深度学习办法 ：深度学习办法凭借其弱小的特色学习能力在多个畛域取得了令人满意的成绩，对于会话举荐工作而言，循环神经网络 RNN 是一个直观的抉择，能够利用其提取序列特色的劣势来捕捉会话内简单的依赖关系。GRU4Rec[2] 利用门控循环单元（GRU）作为 RNN 的一种非凡模式来学习 item 之间的长期依赖性，以预测会话中的下一个动作。之后的一些工作，是通过在基于 RNN 模型的根底上减少注意力机制和记忆机制等对模型进行了改良和扩大，其中 NARM[8]摸索了一种具备注意力机制的档次编码器，能够对以后会话中用户的序列行为和次要用意进行建模。最近，随着图神经网络模型的飞速发展，呈现了依赖图构造的会话举荐模型，SR-GNN 首先提出将每个会话映射为一个图构造，并利用图神经网络模型 GNN 来建模 item 之间的简单转移关系。之后，GC-SAN 通过退出 Self-Attention 机制进一步扩大了 SR-GNN 模型，从而成为了 State-of-the-art 的解决办法。
CA-TCN 模型与现有办法都存在着显著的差别。一方面，CA-TCN 摸索 Item-Level 和 Session-Level 的跨会话影响，以进步举荐性能，与其余的协同过滤办法的区别有两个：1. CA-TCN 同时思考了跨会话信息对 item 和 Session 不同档次的影响，而 CSRM 仅仅思考了 Session 档次。2. CA-TCN 构建了跨会话的全局 Cross-Session item 图和 Session-Context 图，通过 GNN 来摸索简单的跨会话影响。另一方面，与基于 RNN 和基于 GNN 的模型相比，CA-TCN 模型克服了 RNN 模型无奈并行以及图构造缺失地位和长期依赖信息的有余。
跨会话感知的工夫卷积神经网络模型（CA-TCN）
1. 模型整体框架
网络的整体框架如下图 3 所示。给定会话序列数据，首先，咱们结构一个 Cross-Session Item-Graph 来链接呈现在不同会话中且有关系的 items，而后通过图神经网络输入蕴含全局信息的 item 向量。将失去的 item 向量输出到 TCN 模型中输入蕴含会话序列信息的 item 示意，依据 Item-Level Attention 机制来整合 item 的示意进而取得 Session 示意。尔后，依据 Session 示意之间的类似度构建 Session-Context Graph 图以对 Session 档次的跨会话关系进行建模。最初，依据 Session 的示意以及 item 的示意进行预测。
2. 跨会话 Item 图（Cross-Session Item-Graph）
在第一阶段，咱们构建 Cross-Session Item-Graph 有向图 G_ item，其中图中的每个节点代表一个 item，（v_s_i, v_s_i+1）作为一条边，代表在会话 s 中用户在 v_s_i 之后点击了 v_s_i+1。与现有办法相比，跨会话的 G_item 图可能在所有的会话中呈现的 item 之间建设链接，因而 G_item 不仅能够获取会话的外部信息，同时能够失去非以后会话的内部信息。G_item 的图的外围在于将所有的 item 放在了一起通盘考虑，而后用各个会话中的点击行为给 item 之间建设链接，不同会话的点击信息汇总在一起使得 item 之间的关系连贯更加丰盛。
为了充分利用 G_item 图构造中的信息，CA-TCN 将 item 的点击程序和共现次数思考在内。对于点击程序，建设带有方向的邻接矩阵 A_in 和 A_out 来建模输出和输入方向。在邻接矩阵的根底上，依据 item 之间的共现次数为不同的边设置不同的权重，失去权重矩阵 Weight_in 和 Weight_out。通过调配不同的权重，具备更多共现次数的 item 将施展更大的作用，反之亦然，从而防止了乐音影响。
接下来，咱们开发 GNN 模型来捕获简单的跨会话信息在 item__level 的影响，GNN 将每一个 item 映射为一个 d 维的 embedding v∈R^d，失去蕴含跨会话信息的全局 item 向量（item_vector）。
3. 工夫卷积神经网络模型（TCN Model）
在第二阶段，咱们采纳工夫卷积神经网络 TCN 来对会话序列进行建模，获取会话 s 的全局和部分示意。每一个会话 s 由多个 item 组成，输出会话 s 蕴含的 item 全局向量化示意（item_vector）到工夫卷积神经网络（TCN）模型中。对于会话中的每一个 item 进行因果和收缩卷积的计算，进行会话序列信息的抽取。
采纳会话中最初一个 item 的 TCN 输入作为会话 s 的部分（local）信息，以正确获取用户的以后趣味：
此外，采纳会话 s 蕴含的 items 的示意以加权求和的形式失去会话的全局（global）示意（session_vector），捕获用户的全局信息。其中为了辨别不同的 item 对于会话的影响水平不同，采纳 item 档次注意力机制，使得会话示意更加专一于重要水平高的 items。
4. 会话上下文感知图（Session-Context-Graph）
会话的 local 示意和 global 示意只专一于以后的会话，而疏忽了会话间的影响。为了克服该有余，咱们构建一个上下文感知的会话图构造（Session-Context-Graph）来思考不同会话之间简单的关系。在会话图中，每一个节点代表一个会话 s, 边的链接代表两个会话之间具备相似性。咱们须要思考的一个重要问题是如何决定一条边是否存在。对于每一对会话，咱们计算其二者示意的类似度，而后采纳依据类似度值的 KNN-Graph[9] 模型来决定一个会话节点的街坊。在构建会话图构造之后，咱们采纳会话层的注意力机制以及图神经网络模型 [10] 来整合会话街坊节点对其本身的影响，同时会话层的注意力将会话之间的类似度也思考在内，最终失去基于会话上下文敏感的会话示意。
5. 点击预测
为了更好地预测用户的下一个行为，咱们采纳交融函数将会话的部分示意，全局示意以及基于跨会话信息的示意进行交融，失去最终的会话示意：
最初，咱们依据 item 和 session 的示意去预测每一个候选 item 成为用户下一个点击的概率，依据概率进行逆序排序，筛选出概率值排在前预设位数对应的商品，作为用户偏好商品并进行举荐。
试验评估
为了评估所提出的 CA-TCN 的性能，咱们应用了两个广泛应用的基准数据集，即 Yoochoose 和 Diginetica，模型性能评估后果如下表所示，CA-TCN 优于目前的基于 RNN 以及图构造的 State-of-the-art 解决办法。
此外，咱们进行融化试验以评估 CA-TCN 中每个组成部分的影响，组成部分包含 TCN 模型，Cross-Session Item-Graph 和 Session-Context graph。下图的试验后果证实了 CA-TCN 通过利用 TCN 模型和跨会话信息在会话举荐工作上都实现了性能的逐渐晋升。
- CA-TCN(ca.exl)：是 CA-TCN 的变体，它仅蕴含工夫卷积神经网络、Cross-Session Item-Graph 和 Session-Context graph 的跨会话信息不蕴含在内。
- CA-TCN(sc.exl)：是 CA-TCN 的变体，其中蕴含了 Cross-Session Item-Graph 的 item-level 的跨会话信息，但不包含 session-level 的 Cross-Session Item-Graph。
将来工作
目前该论文曾经申请了专利，后续咱们将在美团多个业务线的会话举荐和序列举荐工作上进行摸索落地。特地地，CA-TCN 模型在电商数据集 Yoochoose 上进行了性能验证，证实 CA-TCN 模型实用于具备商品属性的电商场景，将来在“团好货”和“美团优选”等具备商品属性的业务线中都能够尝试利用。
参考文献
- [1]. S. Wang, L. Cao, and Y. Wang,“A survey on session-based recommender systems,”arXiv preprint arXiv:1902.04864, 2019.
- [2]. B. Hidasi, A. Karatzoglou, L. Baltrunas, and D. Tikk,“Session-based recommendations with recurrent neural networks,”arXiv preprintarXiv:1511.06939, 2015.
- [3].S. Wu, Y. Tang, Y. Zhu, L. Wang, X. Xie, and T. Tan,“Session-based recommendation with graph neural networks,”in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, 2019, pp. 346–353.
- [4]. C. Xu, P. Zhao, Y. Liu, V. S. Sheng, J. Xu, F. Zhuang, J. Fang, and X. Zhou,“Graph contextualized self-attention network for session-based recommendation.”inIJCAI, 2019, pp. 3940–3946.
- [5]. S. Bai, J. Z. Kolter, and V. Koltun,“An empirical evaluation of generic convolutional and recurrent networks for sequence modeling,”arXivpreprint arXiv:1803.01271, 2018.
- [6]. D. Jannach and M. Ludewig,“When recurrent neural networks meet the neighborhood for session-based recommendation,”inRecSys’17, 2017.
- [7]. M. Wang, P. Ren, L. Mei, Z. Chen, J. Ma, and M. de Rijke,“A collaborative session-based recommendation approach with parallel memory modules,”in Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, 2019, pp. 345–354.
- [8].J. Li, P. Ren, Z. Chen, Z. Ren, T. Lian, and J. Ma,“Neural attentive session-based recommendation,”in Proceedings of the 2017 ACM on Conference on Information and Knowledge Management, 2017, pp. 1419–1428.
- [9]. W. Dong, C. Moses, and K. Li,“Efficient k-nearest neighbor graph construction for generic similarity measures,”in Proceedings of the 20thinternational conference on World wide web, 2011, pp. 577–586.
- [10].P. Veliˇckovi ́c, G. Cucurull, A. Casanova, A. Romero, P. Lio, and Y. Bengio,“Graph attention networks,”arXiv preprint arXiv:1710.10903, 2017.
作者信息
本文作者叶蕊、张庆、恒亮，均来自美团平台增长技术部。
招聘信息
美团用户增长技术部，美团用户增长外围团队，长期招聘搜寻、举荐、NLP 算法及后盾工程师，坐标北京。感兴趣的同学可投递简历至：luohengliang@meituan.com（邮件主题请注明：美团用户增长技术部）。
| 想浏览更多技术文章，请关注美团技术团队（meituantech）官网微信公众号。
| 在公众号菜单栏回复【2019 年货】、【2018 年货】、【2017 年货】、【算法】等关键词，可查看美团技术团队历年技术文章合集。