简介： 本文首先对Mars的概念、性能、劣势进行了介绍，随后，对Mars几个典型的利用场景进行介绍，并通过两个Demo展现了在应用Mars后数据迷信性能的晋升，最初总结了Mars的最佳实际，让应用Mars更高效便捷。

本文次要从以下几个方面开展：

  • Mars简介
  • 典型场景
  • Demo
  • 最佳实际

一、Mars简介

Mars是对立的数据迷信平台，它用来减速传统的Python数据科学技术栈，在单机中也能够用多核减速，或用分布式来减速。Mars能够部署在单机的分布式集群，或者Kubernetes和Hadoop Yarn上。

Mars整个框架构建在单机的并行和分布式的这两个调度的根底之上，它的数据迷信根底包含三个外围局部，Tensor、DataFrame和Remote。而构建在这个根底之上的，是Mars Learn模块，它能够兼容Scikit-learn API，能简略地进行更大数据规模的分布式解决。此外，Mars还反对深度学习和机器学习的框架，比方能轻松运行TensorFlow、PyTorch等，而且可视化也能够在Mars上实现。除此之外，Mars还反对了丰盛的数据源。

从传统Python技术栈到Mars也非常简单，比方在NumPy和Pandas里要变成Mars，只须要替换import，而后前面变为提早执行即可。

一般的Python函数，在调用的时候变成mr.spawn来提早这个过程，最初通过execute来并发执行，不必放心Mars是运行在单机上还是分布式运行。

而Mars上的TensorFlow大部分也一样，区别在于main函数局部的变动。最初，咱们须要通过run_tensorflow_script的形式把脚本运行到Mars中。

二、典型场景

场景1. CPU和GPU混合计算

在平安和金融畛域能够用Mars做CPU和GPU的混合计算，减速现有的工作流。

在这个畛域，因为传统大数据平台开掘周期长，资源缓和，须要很久来执行工作，不能达到客户需要。所以能用Mars DataFrame来减速数据处理，它能够做大规模数据排序，并帮忙用户做高阶统计和聚合剖析。

另外在平安畛域有很多无监督学习的算法，Mars learn能减速无监督学习，同时拉起分布式深度学习计算减速现有的深度学习训练。之后，对于某些计算工作也能够利用GPU来减速。

场景2. 可解释性计算

在广告畛域，在广告归因和洞察特色的解释算法中，因为自身计算量大，所以耗时很长。这种状况下，单机减速是比拟艰难的，基于传统大数据平台的分布式也不太灵便，然而通过Mars remote，能够很轻松地把计算散布到几十台机器上来减速，达到百倍的性能晋升。

场景3. 大规模K-最邻近算法

Mars十分宽泛地利用在K-最邻近算法中，因为Embedding越来越风行，它让向量表述实体十分常见。另外，Mars的NearestNeighbors算法兼容scikit-learn，它外面有暴力算法，而用户也须要暴力算法来进行大规模计算，能够通过多个worker来实现，从而让性能晋升百倍。最初，Mars反对分布式的形式减速Faiss和Proxima，达到千万级别和上亿级别的规模。

三、Demo

Demo1. 剖析豆瓣电影数据

咱们从这个Demo看一下Mars如何减速pandas数据处理及其可视化。

开始演示之前咱们须要装置Mars。这里曾经创立了Jupyter，而后 pip install pymars。

装置之后，咱们能够到IPython进行验证，能够看到上面的后果没有问题，接下来咱们就能够进入到Jupyter notebook里。

咱们开始demo。这个数据能够在GitHub地址下载，而后咱们用pandas来剖析电影的数据，应用ipython memory usage来查看内存应用。

咱们的数据次要用到4个CSV文件，别离是movies、ratings、users和comments。

接下来依据上映日期统计有多少电影公布。这里先解决一下数据，让发行日期只取到年份，去掉日期，并对年份做聚合。

数据进去后，能够用pandas bokeh把图绘制进去，并通过交互式的形式查看。

接下来看电影评分的统计。首先把有评分的电影筛选进去，而后把豆瓣评分的数值数量从大到小进行排序。能够看到，最多的评分是6.8分。

同样，通过pandas bokeh把它画成柱状图，评分差不多出现正态分布。

接下来做一个标签词云，看电影哪个标签词最多，这里从movies取出tags，用斜杠宰割，而后max words是50。

接下来咱们再对电影的Top K进行剖析。首先按电影ID进行聚合，求出评估的平均值和个数。而后咱们对评估个数进行过滤，从高到低，算出top20的电影。

而后做评论数据分析。因为评论是中文的，所以须要做一个分词，而后对每一句话做切分，在统计的时候进行排序。这里能够加一个进度条，在解决数据的时候不便看到过程。这个过程大略花了20分钟，所以在单机上跑大工作的时候对机器的压力还是比拟大。

这是最终的词云图。

接下来咱们用Mars做同样的剖析工作。首先是对Mars环境进行部署，而后这里有5个worker，每个worker是8个CPU和32G内存。还是一样，咱们关上内存的监控，做一些import，这里把import Pandas替换成import mars.dataframe，而后Numpy是import mars.tensor。

随后咱们在SDK里来创立to mars dataframe，这一步简直没有用到内存，最终失去的后果也和之前一样。

咱们用同样的形式来剖析上映日期的电影个数和电影评分。得益于Mars跟Pandas的高度兼容，咱们也能用Pandas bokeh来出现后果。

电影评论的剖析也一样，然而在显示的时候，Mars只会拉取头几条和最初几条，所以客户端简直没有内存应用。而且整个running过程只用了45秒，与之前的20分钟相比晋升了几十倍性能。

接下来咱们用Mars做一个地区的统计，让它有一个动静的成果。首先咱们看一下刚刚计算过的曾经released的电影dataframe，而后取1980-2019这几年的电影，而regions局部可能有多个，所以用斜杠宰割开，最初执行排出top10地区电影。

而后咱们通过bar chart race来生成动态效果。

Demo2. 豆瓣电影举荐

第二个demo咱们会基于方才豆瓣电影的数据来做一个举荐。咱们首先会用TensorFlow Mars来进行训练，接着用Mars分布式KNN算法来减速召回计算。

咱们先应用单机的技术栈，这个数据曾经分成了训练和测试集，所以咱们先to pandas把它下载到本地，接着来对用户和电影做一个label encode，把它变成一个数字，而不是字符串的值。随后咱们对数据进行解决，先依照工夫排序，而后依照用户进行分组，生成分组聚合的后果。

接下来开始训练，咱们须要用TensorFlow训练出代表user的embedding。之前说过embedding，能够对任一实体用向量形容，所以失去embedding之后，咱们在给用户举荐电影时就能够查找在这个向量空间外面跟这个用户比拟靠近的电影embedding。

训练后咱们能够保留向量，这里的搜寻规模是60万乘7万，单机破费了22分钟，但如果达到千万乘千万级别，搜寻耗时要超过800小时，这是不可承受的。

接下来咱们看如何用Mars来实现这一过程。首先创立一个Mars集群，这里有8个worker。而后和下面一样，对数据进行预处理，做label encode，按工夫排序，按user分组生成分组聚合。

这里惟一的区别是Mars会主动推断DataFrame的后果，如果推断失败就须要用户本人提供dtypes和output type。

而后是执行和训练。这里TensorFlow能够写Python文件，不必写到notebook里。

接着咱们用Mars的run tensorflow script来跑这个脚本，而后指定worker是8。能够看到，执行的工夫放大到了23分钟。同时，咱们也拿到了最终的embedding，用Mars做embedding只需1分25秒，比刚刚的工夫晋升个十倍左右。1400万乘1400万也能够稳固在1小时左右，与单机800个小时相比晋升是十分微小的。

四、最佳实际

首先尽量不要应用to pandas和to numpy，因为这会把Mars的分布式数据变成单机的数据，失去了Mars自身的劣势，除非这个操作不能用Mars实现；其次，Mars tensor、DataFrame和learn因为自身受限于API的起因须要本人写一些函数，所以能够思考用Mars remote来减速，把操作形象成函数；第三，Pandas的减速技巧在Mars DataFrame仍然实用，比方能够应用更高效的数据类型，能够优先应用内建操作，应用apply取代循环。

原文链接
本文为阿里云原创内容，未经容许不得转载。