AAAI 2021 论文：利用深度元学习对城市销量进行预测
对于线上和线下的批发行业，销量预测都是一项至关重要的工作，它能够帮忙企业更好的准备库存以及在各个仓库之间调配商品。特地是在大型购物节期间，强劲的促销流动将极大地促成生产。然而，可供参考的历史数据却十分稀缺。如何同时对城市的不同区域和不同时间段的销量进行预测，是一个十分具备挑战的问题。
在 2020 年 12 月收录的 AAAI 2021（CCF- A 类）上，京东城市被收录了一篇名为《Robust Spatio-Temporal Purchase Prediction via Deep Meta Learning》的论文。该论文钻研了如何通过深度元学习，联合城市中的各项信息以及历史的销量数据，对将来，特地是大型购物节期间，城市中各个区域不同时间段的销量进行预测。
一、背景
购物中心和商店的空间散布、人口的散布属性以及不同的日期类型（例如，工作日，周末或购物节）等因素，将会导致不同的购物形式，如图 1 所示。
因为来自某个特定区域以及特定工夫范畴内的数据过于稀缺，咱们无奈仅应用某个范畴的数据去训练一个高精度的预测模型。同时，城市中不同区域的人口密度和散布特色高度异质，并且随着工夫的推移区域特色也会发生变化，对这样简单的时空购买模式进行建模是一个十分艰难的工作。
为了精确地捕捉区域的空间个性，它须要思考一组综合的空间特色，例如趣味点（POI）散布，区域的人口统计特色等。如何通过跨时空建模学习晋升单个区域在特定时间段的预测精度是咱们的次要工作。
图 1 空间散布
作者将该预测工作分为次要三个局部：
1）利用时空元学习推理，对不同的时空区域生成对应的时空示意；
2）学习不同时空区域间的共享信息，同时联合区域特定的时空示意，失去更加牢靠的预测销量；
3）通过时空交替训练使得模型在空间以及工夫层面都可能失去更加欠缺的学习。
图 2 摊销网络
二、时空示意生成
咱们开发了一个摊销网络（如图 2 Amortization Network 所示），以对指标区域和日期类型的时空示意的近似后验散布进行建模，该模型须要同时思考销量特色和相干空间特色的影响。
从图 3（a）中咱们能够看到，以北京为例，不同城区的销量散布有着显著的区别。
要齐全捕捉不同区域预测工作的购买数据的工夫个性，还须要思考历史销量数据之间的线性和非线性工夫相关性，例如洽购订单和购物车记录中所暗藏的周期模式。
图 3（b）中咱们可能看到显著的以周为周期的销量模式变动。为了对这种简单而动静的工夫序列模式进行建模，咱们应用了线性变换模块来取得销量的大抵基数，并应用一个非凡的跳跃 LSTM 层来捕捉销量变动的非线性工夫模式。接着，通过特色交融模块将提取的工夫特色与动态特色相结合，以进一步反对构建更具备代表性的销量时空示意。
图 3 销量模式变动
三、时空销量预测
通过上一步，咱们曾经失去了特定时空区域的销量示意。接下来咱们将介绍一种利用共享统计构造的生成模型，来学习不同时空预测工作间所共享信息。对于工作特定的预测，它大大提高了学习效率和预测准确性。该生成模型的构造能够参考上节所属的摊销网络结构的解码器（图 2 Generative Model 所示）。
它应用两个不同的输出来生成最终的销量。第一个输出侧重于通过对最近一段时间的输出销量，利用特征提取和交融技术来开掘以后的购买示意，该特征描述了近期的销量模式的变动。第二个输出是从摊销网络中采样的特定于某个时空预测工作的时空特色示意。它捕捉了指标工作的宏观时空模式。最初，生成模型应用齐全连贯的网络将两个输出合并，对指标时刻的销量订单进行预测。
四、时空交替训练
不同的时空工作仅与来自特定区域和工夫范畴的无限数据相关联，无奈齐全形容特定区域的购买行为。受多视图学习的启发，咱们构建了两种视图（空间视图和工夫视图）来形容数据的不同观点。两个视图互相补充，以加强学习到的信息并取得更精确的时空数据表示。空间观点偏向于学习不同地区的购买模式，而工夫观点偏向于开掘不同时间段类型的工夫变动模式。
训练期间在不同视图之间进行切换能够在不同区域或日期类型之间学习到不同的时空信息。同时，在交替训练期间还可能整合不同时空工作共享的生成模型，并进步了预测准确性。残缺的训练过程如算法 1 所示。
算法 1
五、试验
咱们应用来自京东的海量高质量在线销量数据集来评估咱们的模型。JD 数据集蕴含时间跨度从 2015 年至 2019 年的洽购订单，购物车数据（作为动静工夫序列特色）和包含北京 18 个行政区块的区域特色（例如 POI 和人口统计资料数据）作为动态特色。
为了验证模型的有效性以及鲁棒性，作者对不同工夫区间（周内，周末，购物节等）的销量进行预测评估。同时还对模型中的不同组件进行融化剖析，对不同组件的有效性进行评估，后果如表 1 所示。
表 1 不同组件的有效性
表 1 中咱们能够看到，对于素日较为平缓和购物节的爆发性预测设置中，STMP 均优于所有基线办法。在 MSE 方面，STMP 均比最佳基准进步了至多 30%。在爆发性销量预测场景中，STMP 仍比基准升高约 30%至 60%。这些结果表明，当理论购买模式与平时截然不同时，咱们的办法是无效且牢靠的。
为了进一步钻研 STMP 各个模型组成部分的影响，咱们还在表 1 中比拟了 STMP 及其变体的性能。能够察看到，STMP-VI 在总体和周末情景中体现良好，这些情景具备绝对稳固的购买模式，但在购物节上的体现要比 STMP 差。这是因为 STMP-VI 应用点估计而不是特定于工作的时空示意的散布形容，当数据无限或模式高度不确定时，这会呈现问题。
此外，与 STMP 或其余变体相比，STMP-SKIP 的准确性较差，但仍优于其余基准。这证实须要思考购买工夫序列中的多个周期性模式。这也反映在图 4（b）中，咱们能够在购买工夫序列数据中看到清晰的周期性模式。这些证实对数据中的多个周期性属性进行建模在进步模型性能方面起着重要作用。
图 4
为了探索模型在不同区域以及时间段的成果，作者筛选了四个具备代表性的区域（笼罩不同销量范畴，具体地理位置请参见图 4（a））将 STMP 与基线办法在整个 2019 年的销量数据上做可视化，如图 4 所示。在大多数地区，基线无奈很好地预测购物节期间购买工夫序列的突发性，例如中旬促销和 11.11 的购买顶峰。他们偏向于给出激进的后果，并且只专一于进步整体准确性。然而，STMP 利用不同区域和日期类型的时空示意来反对多任务少拍学习，以促成对特定区域和日期类型的更好预测。能够察看到，只有 STMP 可能精确地预测爆发式的销量（所有图 6 中的峰值）。
图 5
同时作者对于购物节历史数据的可参考状况进行了进一步的探索，在购物节销量数据十分稀缺的状况下，每减少一次购物节可见数据，精度会有肯定的晋升。然而即便在购物节可参考数据只有一次（继续大概一周）的状况下，STMP 也具备较高的准确率，这表明了模型的鲁棒性。
表 2
最初，作者对时空交替训练形式在三个大型购物节上也做了比拟。在工夫训练中，合并操作将来自同一天类型的实例成批集成，而不思考空间常识。同时，在空间训练中，模型将来自同一区域的一批实例集成在一起，而无需思考工夫信息。
从表 2 中咱们能够看到，即便不残缺的 T 训练和 S 训练也比表 1 列出的基线提供更高的准确性。然而，与残缺的时空交替训练相比，不足时空上的联结元常识依然会导致较低的准确性。这表明不同的训练模式会跨地区和工夫类型学习不同的转换。从时空方面的补充训练能够无效地进步预测的准确性。（关注“京东数科技术说”微信号，回复“AAAI 2021”可下载残缺论文）
作者：京东数科 JUST 团队 - 秦慧玲
文章起源：“京东数科技术说”微信公众号
原文链接：https://mp.weixin.qq.com/s/9XkWxcoMsQVoHXRL0Dj-Tg
更多技术干货欢送关注“京东数科技术说”微信公众号，咱们只凭技术谈话！
欢送点击【京东智联云】，理解开发者社区
更多精彩技术实际与独家干货解析
欢送关注【京东智联云开发者】公众号