摘要： 中国计算机学会大数据与计算智能大赛(CCF BDCI)华为Severless工作负载预测亚军计划和ModelArts应用体验分享

本文分享自华为云社区《收费薅ModelArts算力资源-拿下CCF BDCI华为Severless工作负载预测亚军》，原文作者：wyhhyw 。

赛题简介

基于历史数据和历史趋势，对Severless软件架构的工作负载进行精准预测，便于优化资源调整和晋升用户服务质量。

数据提供了43个队列数天中的应用状况，其中包涵CPU使用率、磁盘使用率、提交作业数量，作业是否提交胜利等信息。要求依据历史信息，预测测试集将来25分钟内，每距离五分钟的CPU使用率和提交作业数量。赛题链接https://www.datafountain.cn/c...

赛题剖析

这是一道十分典型的工夫序列回归问题，指标时对将来五个工夫点的CPU使用率和提交作业进行预测。能够从以下几个角度对指标进行建模。

  • 趋势拟合：依据待预测工夫点之前的使用率和作业数拟合曲线，并给出预测，参考arima等模型。
  • 单标签回归：以5为工夫距离，对指标进行预测，例如，x1 -> x6, x2 -> x7。具体如下图所示：
  • 多标签回归：参考pandas.shift函数，结构历史信息的平滑特色，每次预测一个工夫点的指标。示意图如下：

计划介绍

笔者有幸取得该较量的第二名（二等奖），建模办法为交融lightgbm和lstm预测后果，其中lightgbm线上第二，lstm线上第10左右。因为本计划采纳的lstm构造比较简单且问题不是特地现实，而第三名的lstm是决赛问难队伍中线上问题最高的神经网络模型，因而本文还介绍了第三名（同二等奖）的lstm架构。

数据分析

在特色工程和建模之前，首先来一波EDA~

下图展现了不同队列下的CPU使用率散布状况，能够发现，不同队列下的数据分布存在较大差异，因而队列号对于预测CPU使用率也是一个十分强力的特色。

下图展现了某队列号下CPU使用率随小时的变化趋势，能够发现下午至凌晨3点使用率均较高，因而小时和分钟也是一个十分强力的特色。须要留神的是，赛题方对工夫戳的年月日进行了脱敏，因而仅能应用小时和分钟两个特色。

特色工程

必不可少的局部，特色为王

  • 滑动特色：对CPU使用率等特色应用pandas.shift函数构建其平滑特色。
  • 差分特色：在平滑特色的根底上结构各阶差分特色。
  • 基于滑窗的统计特色：在平滑特色的根底上开一个窗口，而后滑动，每次取窗口内特色的均值、方差、最大值等统计特色。
  • 聚合统计特色：例如历史数据中不同小时下CPU使用率的均值和方差等特色。
  • 伪穿梭特色：穿梭特色个别是不被容许的。那么对于时序问题，能够构建伪穿梭特色，其实也就是聚合统计特色。例如，待预测的工夫点是上午9点，能够依据历史数据结构上午10点的均值等统计特色，并且衍生出差值比值等特色。

模型

  • 建模策略：见赛题剖析中的多标签回归。一般来说，这种建模形式都会获得较好的成果。
  • lightgbm：对每一个标签都进行五折穿插验证，CPU使用率和提交作业数各五个工夫点，则一共进行了十次五折穿插验证。
  • lstm：CPU使用率是0-100的整数，间断五个工夫点的数据如"10-21-41-31-34"能够看做是nlp中的字符索引，因而能够间接用于索引embedding lookup table中的字向量，那么建模就很天然的适度到了lstm。

下图展现了本文所用的lstm架构，成果并不是非常现实，线上大概在第十左右。在赛后和队友剖析探讨之后，认为咱们的框架存在几个问题。首先是将每个CPU使用率当做字向量，那么lstm中的input_dim为1，成果必定不好。其次是咱们的框架很简略，并没有引入卷积或者注意力机制等。

上面给出二等奖中另一支队伍的lstm框架，该框架包含两局部：
（1）LSTM提取CPU使用率、硬盘使用率的时序信息，引入注意力机制
（2）全连贯提取其余手工特色的信息，进行高阶穿插，并且设置跨层连贯，形成“不同尺度的集成模型”。

训练

  • 损失：因为数据稳定较大，因而能够认为存在肯定的离群点，所以采纳smooth l1作为损失函数。
  • 算力：lightgbm建模对算力的要求较小，16G内存足以。但应用上述神经网络训练时，因为是多标签回归（10个标签），对每个标签都须要训练一个模型，如果再联合五折穿插验证，那么将训练50个模型，这对算力就有肯定的需要。

笔者在赛程靠近序幕时才开始训练nn模型，然而自己只有一张玩具显卡gtx1650，对于该多标签工作训练数十个模型切实太过消耗工夫，无可奈何去寻找算力资源。通过师兄的举荐，最初选定了华为云的ModelArts，每天两小时的收费算力，而且是V100，感觉很不错。最初让实验室兄弟多开几个号，一边训练一边保留模型，工夫快到了就换号持续训练，两三天就把模型跑好了。尽管因为时限须要切换账号，但总体的应用体验还是不错的，上面就给大家简略介绍一下ModelArts的应用体验。

ModelArts应用体验

应用感触

（1）尽管是在云端训练，然而ModelArts提供了jupyter lab/notebook，就像平时在本地PC上上传数据到notebook中而后写代码一样，齐全感知不到训练流程的变动。lab中集成了不同的引擎，惯例的如pytorch, tf, xgboost这些都有。

（2）装置依赖包很不便，间接在cell中’!pip install xxx’就能够，原生的notebook中如同没有这个性能。比方我新建的notebook是pytorch引擎，但又须要xgboost，那么就可间接装置，见下图。

（3）目前上传数据有限度，一次只能上传大概是几百MB，能够先将数据上传至notebook中后再进行特色工程，对于比拟大的数据，能够本地切分当前分批上传，所以这也是一个无关紧要的问题，毕竟收费V100太香了。

还有一些其余的细节，各位小伙伴们能够自行摸索呀！

划重点-如何申请

还愣着干什么，猛点链接，抢算力呀!!! https://bbs.huaweicloud.com/f...

点击关注，第一工夫理解华为云陈腐技术~