共计 2007 个字符，预计需要花费 6 分钟才能阅读完成。
为了答复这个问题，咱们先来理解一下建模的流程，通常一个残缺的数据挖掘我的项目蕴含以下流程（1）业务了解、（2）数据了解、（3）数据筹备、（4）数据预处理和建模、（5）模型评估、（6）模型部署利用。这个流程的操作性很强，也是业界公认规范。
业务了解的次要工作有需要调研，理解商务背景；明确业务指标和胜利的规范。数据了解和业务了解个别是同时进行的，次要内容包含确定建模所须要的数据，形容数据，摸索数据，测验数据品质，明确数据挖掘指标和胜利规范。这两个阶段的次要工作就是明确开掘指标和建模数据，指标和数据都明确当前就能够开始着手筹备数据。
数据筹备的目标是建设数据集市或者宽表，次要工作包含抉择数据、荡涤数据、结构数据、整合数据、格式化数据等等。如果企业的数据仓库建设比较完善，那么这个步骤的工作就非常简单，只须要做一些数据筛选，表的的关联工作即可。反之，如果数据都是一些十分原始的数据比方日志数据、流水数据，数据筹备这部分就比拟消耗工夫和精力了，须要做很多数据汇总，特征提取的工作。
数据预处理和建模，这个环节是整个我的项目中含金量最高，难度最大的局部。不同的变量、数据类型、散布状况，对应的预处理的形式就不同，须要抉择什么样的建模办法，参数如何调优，如何构建模型都是要思考的问题。次要工作有：样本选取，确定训练样本、测试样本和验证样本、数据预处理、模型算法技术选型、筛选变量、模型训练、模型测试等。还须要强调两点：（1）数据预处理可能会破费大量的工作工夫；（2）预处理和建模过程并非一次性执行结束就功败垂成了，须要一直的迭代优化，能力取得比拟现实的后果。
模型评估，是对模型进行较为全面的评估的过程，计算模型的各种指标，比方 AUC，Gini，KS，Lift，模型稳定性等等，而后就是进行模型的业务利用测试，判断是否实现商业指标。部署利用就是把数据挖掘的成绩部署到商业环境，利用于生产流动。
从数据挖掘的我的项目流程能够看出，建模工夫和企业的数据状况、业务问题和模型复杂程度以及建模师的程度都密切关系。不过，即便数据仓库平台曾经建设的很好的状况，即不再思考数据筹备的工夫，仅仅关怀建模自身的工夫，对于较简略的指标工作，通常也须要两到三周的工夫，延到几个月的建模工作也都是很常见的。
为何仅建模自身就要破费两到三周的工夫呢？
一方面是预处理，预处理是一个消耗工夫但却十分值得的投入。例如，5% 的顾客没有指定年龄，是整体疏忽该变量，还是疏忽这部分有缺失的样本，又或者是将缺失值补充残缺（应用平均值填充还是中位数填充又或者更简单的办法的填充），或者是训练一个带这个特色的模型，再训练一个不带这个特色的模型。同样是缺失值解决，当缺失率为 90% 时，是否还采纳雷同的解决办法呢。再例如，对于一些高基数的分类变量如何解决，数据中的乐音如何解决等等。这些都须要建模师联合本人的常识和教训重复的去调试。
另一方面，模型构建过程也会很耗时。抉择什么样的算法，一种算法还多种算法，算法的的初始参数如何配置，如何去寻找最优解等等，都是须要一直调试的。正如咱们所说，预处理和建模过程并非一次性执行结束就功败垂成了，而是须要一直的迭代优化，直到失去一个比拟现实的后果，过程中做到一大半，推倒重来的事件也是常有。
能够说建模过程既是一个高大上的脑力劳动也是一个累人的体力活。在这种状况下简直不可能实现批量建模，通常一个我的项目就只能建设一个模型，这个模型要尽量有更宽泛的利用范畴。这样做其实会导致模型的适应能力降落，例如，预测房价，全国都用一个模型的成果通常不如分地区去建模适用性更好；再比方，精准营销模型，不同的产品，不同档次的客户群体，生产特点是不同的，显然针对性的建设多个模型会使整个营销过程更加精准。
不过令人欣慰的是，随着 AI 技术的倒退，有一些智能化的工具是能够帮忙咱们进步工作效率的。主动建模技术就是一种可能主动实现数据摸索、预处理、模型抉择、调参、评估一系列流程的技术。借助主动建模工具，数据分析人员只须要实现业务了解，数据筹备过程，剩下的须要重复迭代进行的建模过程尽可交给工具来实现，无需再手动进行。采纳主动建模技术，可能将几周的建模工夫缩短为几小时甚至几分钟，几个月的建模工夫不复存在，能够大幅度的进步工作效率，加重工作量。而且，建模过程变得简略且很快当前，批量建模就不再是问题，一天就能够建多个模型，每个模型能够只适应一个部分或者一个小问题，批量的模型组成一个模型体系就能够有更强的适应能力。此外，主动建模技术对人员要求也升高不少，不再须要受过专业训练的数据科学家，一般的程序员都能够借助工具来实现数据挖掘工作。
对进一步数据挖掘和 AI 技术感兴趣的同学还能够搜寻“乾学院”，下面有面向小白的零根底“数据挖掘”收费课程，或者间接点上面的链接也能够：
http://www.raqsoft.com.cn/wx/course-data-mining.html
