会话举荐（Session-based Recommendation）是举荐畛域的一个子分支, 美团平台增长技术部也在该畛域一直地进行摸索。不久前，该部门提出的跨会话信息感知的工夫卷积神经网络模型（CA-TCN）被国内会议ICDM NeuRec Workshop 2020接管。本文会对论文中的CA-TCN模型进行介绍，心愿能对从事相干工作的同学有所帮忙或者启发。

ICDM的全称International Conference on Data Mining，是由IEEE举办的世界顶级数据挖掘钻研会议，该会议涵盖了统计、机器学习、模式识别、数据库、数据仓库、数据可视化、基于常识的零碎和高性能计算等数据挖掘相干畛域。其中ICDM NeuRec Workshop旨在从利用和实践角度系统地探讨举荐零碎的浅层和深层神经算法的最新进展，该Workshop征集了无关开发和利用神经算法和实践以构建智能举荐零碎的最新且重要的奉献。

背景

在大数据时代，举荐零碎作为零碎中的基础架构，开始扮演着越来越重要的角色，举荐零碎能够为用户挑选出本人感兴趣的商品或者内容，从而来缩小因信息爆炸带来的一些影响。目前，业界提出的很多举荐模型获得了微小的胜利， 然而大部分举荐办法经常是须要依据明确的用户画像信息进行举荐，然而在一些特定的畛域，用户画像的信息有可能无奈被利用。

为了解决这个问题， 会话举荐（Session-based Recommendation）工作被提了进去，会话举荐工作是依据用户在以后会话的行为序列去预测用户的下一个行为，而不须要依赖任何的用户画像信息[1]。目前，会话举荐工作已广泛应用于多个畛域，例如下一个网页举荐、下一个POI举荐、下一个商品举荐等等。为了笼罩多个畛域，所以“会话”的概念不仅限于交易，而是指一次或者肯定期间内的生产或者拜访的元素汇合。

每一个会话（Session）都是一个item的转移序列，所以会话举荐工作能够很天然地被视为序列举荐工作，基于循环神经网络（RNN）的会话举荐模型[2]是利用的支流模型。然而基于RNN模型只对item之间的间断单向转移关系进行建模，而疏忽了会话中其余item之间的转移关系。随着图神经网络的热点暴发，基于图构造的会话举荐模型如SR-GNN[3]、GC-SAN[4]被提出来，心愿可能克服该点有余。基于图构造的会话举荐模型将会话的item转移序列构建成一个图构造，而后利用图神经网络模型来摸索多个item之间简单的转移关系。目前，基于图构造的会话举荐模型曾经成为了State-of-the-art的解决办法，但它们依然具备肯定的限度， 察看如下：

  • 察看 1：简直所有现存的会话举荐办法都仅仅关注于会话的外部信息，而疏忽了跨会话的内部信息 （跨会话的相互影响），跨会话信息往往蕴含着十分有价值的补充信息，有利于更精确地推断以后会话的用户偏好。如下图所示，以Session 3中的Item_3 Airpods为例， 现存的办法仅仅关注以后会话Session3中的Item_9对Item_3的影响而疏忽了其余会话的影响。对于Session1而言, 用户可能具备买耳机的用意而进行同品类比拟，所以item_2和item_4会对item_3产生一个品类的影响；对于Session 2而言, 用户可能比拟喜爱Apple品牌，所以item_5和item_6会对item_3产生一个品牌的影响。依据下面的察看可知，在Item_Level档次的跨会话影响对于更好地推断item的全局示意至关重要。同时，不同的会话之间也可能具备类似的用户用意和行为模式， 所以对于Session-Level的跨会话影响对于更精确地预测用户在以后会话中的下一个动作也起着十分重要的作用。

  • 察看 2：基于图构造的会话举荐办法在构建图的过程中，将呈现在不同工夫步的雷同item都视为一个雷同节点，这样会失落序列中的地位信息，以至于不同的序列会话构建出的Session图构造是完全相同的。例如两个不同的会话Session S1:v_i-->v_j-->v_i-->v_k-->v_j-->v_k 与Session S2: v_i-->v_j-->v_k-->v_j-->v_i-->v_k，在下图2中，它们对应的图构造是完全相同的，这不可避免地限度了模型取得精确会话示意的能力。此外，在会话图结构中，仅仅间接连贯的两个相邻item之间会建设边，意味着只有在以后item之前最初点击的item才是以后item的一阶街坊，如图2所示。但呈现在一个雷同会话中，即便没有被间断点击的item之间也具备肯定的分割，所以图构造对于保留序列的长期依赖性具备无限的能力。相同，对于时序卷积神经网络（TCN）[5]模型，Causal Convolution使以后item的承受域中的items都能够间接作为一阶街坊进行卷积，并且具备的Dilated Convolution使得较远的items也能够间接作为一阶街坊对其产生影响。

相干工作介绍

现有的会话举荐办法大抵能够分为两类， 别离是基于协同过滤办法和基于深度学习办法：

  • 基于协同过滤办法：协同过滤办法是在举荐零碎中被宽泛应用的通用办法，协同过滤办法次要能够分为两大类：基于KNN查找办法和基于类似度建模办法。 基于KNN查找办法是通过查找Top-K个相干的users或items来实现举荐，基于KNN查找办法能够通过查找与以后会话中最初一个item最类似的item来实现基于会话的举荐。 最近，KNN-RNN[6]摸索将RNN模型与KNN模型相结合，通过RNN模型来提取会话序列信息，而后查找在与以后Session类似的Session中呈现的item来实现举荐。对于基于类似度建模的办法，CSRM[7]通过记忆网络将间隔以后会话工夫最近的m个会话中蕴含的相干信息进行建模，从而来取得更为精确的会话示意，以进步会话举荐的性能。
  • 基于深度学习办法：深度学习办法凭借其弱小的特色学习能力在多个畛域取得了令人满意的成绩，对于会话举荐工作而言，循环神经网络RNN是一个直观的抉择，能够利用其提取序列特色的劣势来捕捉会话内简单的依赖关系。GRU4Rec[2]利用门控循环单元（GRU）作为RNN的一种非凡模式来学习item之间的长期依赖性，以预测会话中的下一个动作。之后的一些工作，是通过在基于RNN模型的根底上减少注意力机制和记忆机制等对模型进行了改良和扩大，其中NARM[8]摸索了一种具备注意力机制的档次编码器，能够对以后会话中用户的序列行为和次要用意进行建模。 最近， 随着图神经网络模型的飞速发展，呈现了依赖图构造的会话举荐模型，SR-GNN首先提出将每个会话映射为一个图构造，并利用图神经网络模型GNN来建模item之间的简单转移关系。 之后，GC-SAN通过退出Self-Attention机制进一步扩大了SR-GNN模型，从而成为了State-of-the-art的解决办法。

CA-TCN模型与现有办法都存在着显著的差别。一方面，CA-TCN摸索Item-Level和Session-Level的跨会话影响，以进步举荐性能，与其余的协同过滤办法的区别有两个：1. CA-TCN同时思考了跨会话信息对item和Session不同档次的影响，而CSRM仅仅思考了Session档次。 2. CA-TCN构建了跨会话的全局Cross-Session item图和Session-Context图，通过GNN来摸索简单的跨会话影响。另一方面，与基于RNN和基于GNN的模型相比，CA-TCN模型克服了RNN模型无奈并行以及图构造缺失地位和长期依赖信息的有余。

跨会话感知的工夫卷积神经网络模型（CA-TCN）

1. 模型整体框架

网络的整体框架如下图3所示。给定会话序列数据，首先，咱们结构一个Cross-Session Item-Graph来链接呈现在不同会话中且有关系的items， 而后通过图神经网络输入蕴含全局信息的item向量。 将失去的item向量输出到TCN模型中输入蕴含会话序列信息的item示意，依据Item-Level Attention机制来整合item的示意进而取得Session示意。 尔后，依据Session示意之间的类似度构建Session-Context Graph图以对Session档次的跨会话关系进行建模。 最初，依据Session的示意以及item的示意进行预测。

2. 跨会话Item图（Cross-Session Item-Graph）

在第一阶段，咱们构建Cross-Session Item-Graph有向图G_ item，其中图中的每个节点代表一个item，（v_s_i, v_s_i+1）作为一条边，代表在会话s中用户在v_s_i之后点击了v_s_i+1。与现有办法相比，跨会话的G_item图可能在所有的会话中呈现的item之间建设链接， 因而G_item不仅能够获取会话的外部信息，同时能够失去非以后会话的内部信息。G_item的图的外围在于将所有的item放在了一起通盘考虑，而后用各个会话中的点击行为给item之间建设链接，不同会话的点击信息汇总在一起使得item之间的关系连贯更加丰盛。

为了充分利用G_item图构造中的信息，CA-TCN将item的点击程序和共现次数思考在内。对于点击程序，建设带有方向的邻接矩阵A_in和A_out来建模输出和输入方向。在邻接矩阵的根底上，依据item之间的共现次数为不同的边设置不同的权重，失去权重矩阵Weight_in和Weight_out。通过调配不同的权重，具备更多共现次数的item将施展更大的作用，反之亦然，从而防止了乐音影响。

接下来，咱们开发GNN模型来捕获简单的跨会话信息在item__level的影响，GNN将每一个item映射为一个d维的embedding v∈R^d，失去蕴含跨会话信息的全局item向量（item_vector）。

3. 工夫卷积神经网络模型（TCN Model）

在第二阶段，咱们采纳工夫卷积神经网络TCN来对会话序列进行建模，获取会话s的全局和部分示意。每一个会话s由多个item组成，输出会话s蕴含的item全局向量化示意（item_vector）到工夫卷积神经网络（TCN）模型中。对于会话中的每一个item进行因果和收缩卷积的计算，进行会话序列信息的抽取。

采纳会话中最初一个item的TCN输入作为会话s的部分（local）信息，以正确获取用户的以后趣味：

此外，采纳会话s蕴含的items的示意以加权求和的形式失去会话的全局（global）示意（session_vector），捕获用户的全局信息。其中为了辨别不同的item对于会话的影响水平不同，采纳item档次注意力机制，使得会话示意更加专一于重要水平高的items。


4. 会话上下文感知图（Session-Context-Graph）

会话的local示意和global示意只专一于以后的会话，而疏忽了会话间的影响。为了克服该有余，咱们构建一个上下文感知的会话图构造（Session-Context-Graph）来思考不同会话之间简单的关系。在会话图中，每一个节点代表一个会话s, 边的链接代表两个会话之间具备相似性。咱们须要思考的一个重要问题是如何决定一条边是否存在。对于每一对会话，咱们计算其二者示意的类似度，而后采纳依据类似度值的KNN-Graph[9] 模型来决定一个会话节点的街坊。在构建会话图构造之后，咱们采纳会话层的注意力机制以及图神经网络模型[10]来整合会话街坊节点对其本身的影响，同时会话层的注意力将会话之间的类似度也思考在内，最终失去基于会话上下文敏感的会话示意。

5. 点击预测

为了更好地预测用户的下一个行为，咱们采纳交融函数将会话的部分示意，全局示意以及基于跨会话信息的示意进行交融，失去最终的会话示意：

最初，咱们依据item和session的示意去预测每一个候选item成为用户下一个点击的概率，依据概率进行逆序排序，筛选出概率值排在前预设位数对应的商品，作为用户偏好商品并进行举荐。

试验评估

为了评估所提出的CA-TCN的性能，咱们应用了两个广泛应用的基准数据集，即Yoochoose和Diginetica， 模型性能评估后果如下表所示，CA-TCN优于目前的基于RNN以及图构造的State-of-the-art解决办法。

此外，咱们进行融化试验以评估CA-TCN中每个组成部分的影响，组成部分包含TCN模型，Cross-Session Item-Graph和Session-Context graph。 下图的试验后果证实了CA-TCN通过利用TCN模型和跨会话信息在会话举荐工作上都实现了性能的逐渐晋升。

  • CA-TCN(ca.exl)：是CA-TCN的变体，它仅蕴含工夫卷积神经网络、Cross-Session Item-Graph和Session-Context graph的跨会话信息不蕴含在内。
  • CA-TCN(sc.exl)：是CA-TCN的变体，其中蕴含了Cross-Session Item-Graph的item-level的跨会话信息，但不包含session-level的Cross-Session Item-Graph。

将来工作

目前该论文曾经申请了专利，后续咱们将在美团多个业务线的会话举荐和序列举荐工作上进行摸索落地。 特地地， CA-TCN模型在电商数据集Yoochoose上进行了性能验证，证实CA-TCN模型实用于具备商品属性的电商场景，将来在“团好货”和“美团优选”等具备商品属性的业务线中都能够尝试利用。

参考文献

  • [1]. S. Wang, L. Cao, and Y. Wang, “A survey on session-based recommender systems,”arXiv preprint arXiv:1902.04864, 2019.
  • [2]. B. Hidasi, A. Karatzoglou, L. Baltrunas, and D. Tikk, “Session-based recommendations with recurrent neural networks,”arXiv preprintarXiv:1511.06939, 2015.
  • [3].S. Wu, Y. Tang, Y. Zhu, L. Wang, X. Xie, and T. Tan, “Session-based recommendation with graph neural networks,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, 2019, pp. 346–353.
  • [4]. C. Xu, P. Zhao, Y. Liu, V. S. Sheng, J. Xu, F. Zhuang, J. Fang, and X. Zhou, “Graph contextualized self-attention network for session-based recommendation.” inIJCAI, 2019, pp. 3940–3946.
  • [5]. S. Bai, J. Z. Kolter, and V. Koltun, “An empirical evaluation of generic convolutional and recurrent networks for sequence modeling,”arXivpreprint arXiv:1803.01271, 2018.
  • [6]. D. Jannach and M. Ludewig, “When recurrent neural networks meet the neighborhood for session-based recommendation,” inRecSys ’17, 2017.
  • [7]. M. Wang, P. Ren, L. Mei, Z. Chen, J. Ma, and M. de Rijke, “A collaborative session-based recommendation approach with parallel memory modules,” in Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, 2019, pp. 345–354.
  • [8].J. Li, P. Ren, Z. Chen, Z. Ren, T. Lian, and J. Ma, “Neural attentive session-based recommendation,” in Proceedings of the 2017 ACM on Conference on Information and Knowledge Management, 2017, pp. 1419–1428.
  • [9]. W. Dong, C. Moses, and K. Li, “Efficient k-nearest neighbor graph construction for generic similarity measures,” in Proceedings of the 20thinternational conference on World wide web, 2011, pp. 577–586.
  • [10].P. Velickovi c, G. Cucurull, A. Casanova, A. Romero, P. Lio, and Y. Bengio, “Graph attention networks,”arXiv preprint arXiv:1710.10903, 2017.

作者信息

本文作者叶蕊、张庆、恒亮，均来自美团平台增长技术部。

招聘信息

美团用户增长技术部，美团用户增长外围团队，长期招聘搜寻、举荐、NLP算法及后盾工程师，坐标北京。感兴趣的同学可投递简历至：luohengliang@meituan.com（邮件主题请注明：美团用户增长技术部）。

| 想浏览更多技术文章，请关注美团技术团队（meituantech）官网微信公众号。

| 在公众号菜单栏回复【2019年货】、【2018年货】、【2017年货】、【算法】等关键词，可查看美团技术团队历年技术文章合集。