关于数据挖掘:批量自动建模有什么意义

3次阅读

共计 1350 个字符,预计需要花费 4 分钟才能阅读完成。

目前,因为数据挖掘技术的门槛较高,实现起来复杂度较大,因而个别一个数据挖掘我的项目通常就是建设一个模型,这个模型要尽量有更宽泛的利用范畴。这样做其实会导致模型的适应能力降落,而多个模型实用成果就远远好于一个模型。

在需要侧,业务场景是多种多样的,模型的需求量很大。就是一个业务场景也往往不是一个模型就能齐全解决的,而是须要一系列的模型。例如在精准营销场景中,应用模型能够帮忙咱们疾速的定位潜在指标客户,进步营销成功率。通常的做法是简略的建一个全国所有客户的模型,然而各地区的营销政策和生产特点可能不同,即便同一地区,不同客户群体的关注点也是不一样的,这样一个模型用所有的后果就是放到哪里都不太实用。而如果能分地区、分客群的建设多个模型,适用性就会进步很多,况且个别须要营销的产品也不是只有一种,可能是几十种甚至更多,这样须要的模型量就更多了。再例如在金融信贷业务中,现金流的治理至关重要。为了精确预测现金流,能够拆分为支出端和收入端别离建模,在支出端和收入端还能够细分,比方按产品划分或者其余形式划分等,综合下来也须要十几、几十个模型能力实现对现金流的精准预测。因而在需要侧,往往须要批量的模型能力达到更好的预测成果

而在供应侧,目前支流的建模形式是手工建模(应用 SAS 等工具或 Python 开源包)。每一个模型都要人工数据摸索,数据预处理,建模调参,耗时耗力,一个模型就至多须要几周甚至几个月的工夫。同时建模师的老本也是比拟高的,均匀下来单个模型也是高居不下。以下表中三家美国公司数据分析团队的模型老本为例,咱们很激进的预计一个数据挖掘人员的年薪是 10 万美金(实际上远不止这么低),单位模型老本至多要在 5 万美金以上。无论是从工夫因素还是经济因素上看,手工建模是无奈实现批量建模的。也正因如此,当初数据挖掘我的项目个别都是只建一个模型,模型落地成果也经常不尽人意。

如果有了主动建模能力,那就齐全不同了。它能够极大水平的进步建模效率,缩小人工的工作量。主动建模可能主动实现数据摸索、预处理、模型抉择、调参、评估一系列流程的技术。借助主动建模工具,数据分析人员只须要实现业务了解,数据筹备过程,剩下的须要重复迭代进行的建模过程尽可交给工具来实现,无需再手动进行。采纳主动建模技术,可能将几周的建模工夫缩短为几小时甚至几分钟。建模过程变得简略且很快当前,批量建模就不再是问题,一天就能够建多个模型,每个模型能够只适应一个部分或者一个小问题,批量的模型组成一个模型体系就能够有更强的适应能力。此外,主动建模技术对人员要求也升高不少,不再须要受过专业训练的数据科学家,一般的初学者或程序员都能够借助工具来实现数据挖掘工作。批量主动建模,只须要一个操作人员就能够同时进行。采纳批量主动建模,模型老本也会大幅度降落,模型不再低廉,能够广泛应用。

对进一步数据挖掘和 AI 技术感兴趣的同学还能够搜寻“乾学院”,下面有面向小白的零根底“数据挖掘”收费课程,或者间接点上面的链接也能够:http://www.raqsoft.com.cn/wx/course-data-mining.html

[](http://www.raqsoft.com.cn/wx/…

[](http://www.raqsoft.com.cn/wx/…

正文完
 0