“数据 + 算法 = 模型”。 面对具体的问题，抉择切合问题的模型进行求解非常重要。有教训的数据科学家依据日常算法的积攒，往往能在最短时间内抉择更适宜该问题的算法，因而构建的模型往往更精确高效。本文演绎了机器学习的 10 大算法，并别离整顿了各算法的优缺点及次要特色，供大家学习参考。读完本文，你将把握以下机器学习 10 大算法的基本概念及次要实用状况，是机器学习过程不可错过的根底概念篇。
本文涵盖的机器学习畛域 10 大算法包含：
·决策树算法
·奢侈贝叶斯算法
·K 最近邻算法
·AdaBoost 算法
·PageRank 算法
·EM 算法 (冀望最大化算法)
·Apriori 算法
·SVM 算法
·K 均值聚类算法
·线性回归算法 Linear Regression
上面咱们将具体开展介绍。
1. 决策树算法
决策树，是一个相似于流程图的树形构造，树外部的每一个节点代表的是对一个特色的测试，树的分支代表该特色的每一个测试后果，而树的每一个叶子节点代表一个类别。树的最高层就是根节点。
决策树的生成过程次要分为以下 3 个局部：
1. 特征选择: 特征选择是指从训练数据中泛滥的特色中抉择一个特色作为以后节点的决裂规范，如何抉择特色有着很多不同量化评估规范规范，从而衍生出不同的决策树算法。
2. 决策树生成: 依据抉择的特色评估规范，从上至下递归地生成子节点，直到数据集不可分则进行决策树进行成长。树结构来说，递归结构是最容易了解的形式
3. 剪枝 : 决策树容易过拟合，个别来须要剪枝，放大树结构规模、缓解过拟合。剪枝技术有预剪枝和后剪枝两种。
树模型和线性模型之间的区别
树形模型是一个一个特色进行解决，线性模型是所有特色给予权重相加失去一个新的值。决策树与逻辑回归的分类区别也在于此，逻辑回归是将所有特色变换为概率后，通过大于某一概率闻值的划分为一类，小于某一概率闻值的为另一类，而决策树是对每一个特色做一个划分。另外逻辑回归只能找到线性宰割 (输出特色 x 与 logit 之间是线性的，除非对 x 进行多维映射)，而决策树能够找到非线性宰割。
而树形模型更加靠近人的思维形式，能够产生可视化的分类规定，产生的模型具备可解释性 (能够抽取规定)。树模型拟合进去的函数其实是分区间的阶梯函数。
算法长处：
·学习以及预测的速度都十分快；
·并且树模型实用于各种各样的问题，不须要对数据进行任何非凡的解决。
算法毛病：
·对连续性的字段比拟难预测。
·容易呈现过拟合。
·对于各类别样本数量不统一的数据，在决策树当中，信息增益的后果偏差于那些具备更多数值的特色。
决策树的典型算法包含 ID3，C4.5，CART 等，上面重点介绍一下 C4.5 和 CART。
C4.5
国内权威的学术组织，数据挖掘国内会议 ICDM（the IEEE International Conference on Data Mining）在 2006 年 12 月评比出了数据挖掘畛域的十大经典算法中，C4.5 算法排名第一。C4.5 算法是机器学习算法中的一种分类决策树算法, 其外围算法是 ID3 算法。
C4.5 算法继承了 ID3 算法的长处，并在以下几方面对 ID3 算法进行了改良：
1) 用信息增益率来抉择属性，克服了用信息增益抉择属性时偏差抉择取值多的属性的有余；
2) 在树结构过程中进行剪枝；
3) 可能实现对间断属性的离散化解决；
4) 可能对不残缺数据进行解决。
C4.5 算法有如下长处：
产生的分类规定易于了解，准确率较高。其毛病是：在结构树的过程中，须要对数据集进行屡次的程序扫描和排序，因此导致算法的低效。
CART
CART（ClassificaTIon andRegression Tree）分类回归树是一种决策树构建算法。不同于 ID3 与 C4．5，CART 为一种二分决策树，是满二叉树。CART 算法由 Breiman 等人在 1984 年提出，它采纳与传统统计学齐全不同的形式构建预测准则，它是以二叉树的模式给出，易于了解、应用和解释。
CART 是在给定输出随机变量 X 条件下输入随机变量 Y 的条件概率分布的学习办法。CART 假如决策树是二叉树，外部结点特色的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地二分每个特色，将输出空间即特色空间划分为无限个单元，并在这些单元上确定预测的概率分布，也就是在输出给定的条件下输入的条件概率分布。
CART 算法既能够解决离散型问题，也能够解决连续型问题。这种算法在解决连续型问题时，次要通过应用二元切分来解决连续型变量，即特征值大于某个给定的值就走左子树，或者就走右子树。
CART 长处 ：
·能够生成能够了解的规定；
·计算量相对来说不是很大；
·能够解决间断和品种字段；
·决策树能够清晰的显示哪些字段比拟重要。
CART 毛病 ：
·对连续性的字段比拟难预测；
·对有工夫程序的数据，须要很多预处理的工作；
·当类别太多时，谬误可能就会减少的比拟快；
·个别的算法分类的时候，只是依据一个字段来分类。
2. 奢侈贝叶斯算法
贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为根底，故统称为贝叶斯分类。而奢侈贝叶斯（Naive Bayes）分类是贝叶斯分类中最简略，也是常见的一种分类办法。
奢侈贝叶斯算法的核心思想是通过思考特色概率来预测分类，即对于给出的待分类样本，求解在此样本呈现的条件下各个类别呈现的概率，哪个最大，就认为此待分类样本属于哪个类别。
在机器学习中如 KNN、逻辑回归、决策树等模型都是判断办法，也就是间接学习出特色输入 Y 和特色 X 之间的关系（决策函数 Y = f (X) 或者条件散布 P(Y∣X)）。但奢侈贝叶斯是生成办法，它间接找出特色输入 Y 和特色 X 的联结散布 P (X , Y)，进而通过 P (Y ∣ X) = P (X , Y) |P (X) 计算得出后果断定。
基于贝叶斯定理的贝叶斯模型是一类简略罕用的分类算法。在「假如待分类项的各个属性互相独立」的状况下，结构进去的分类算法就称为奢侈的，即奢侈贝叶斯算法。
所谓「奢侈」，是假设所有输出事件之间是互相独立。进行这个假如是因为独立事件间的概率计算更简略。
算法长处：
奢侈贝叶斯算法假如了数据集属性之间是互相独立的，因而算法的逻辑性非常简略，并且算法较为稳固，当数据出现不同的特点时，奢侈贝叶斯的分类性能不会有太大的差别。换句话说就是奢侈贝叶斯算法的健壮性比拟好，对于不同类型的数据集不会呈现出太大的差异性。当数据集属性之间的关系绝对比拟独立时，奢侈贝叶斯分类算法会有较好的成果。
算法毛病：
属性独立性的条件同时也是奢侈贝叶斯分类器的不足之处。数据集属性的独立性在很多状况下是很难满足的，因为数据集的属性之间往往都存在着互相关联，如果在分类过程中呈现这种问题，会导致分类的成果大大降低。
3.K 最近邻算法
邻近算法，或者说 K 最邻近（KNN，K-NearestNeighbor）分类算法是数据挖掘分类技术中最简略的办法之一。所谓 K 最近邻，就是 K 个最近的街坊的意思，说的是每个样本都能够用它最靠近的 K 个邻近值来代表。近邻算法就是将数据汇合中每一个记录进行分类的办法。
KNN 算法是一种基于实例的学习，或者是部分近似和将所有计算推延到分类之后的惰性学习。用最近的街坊（k）来预测未知数据点。k 值是预测精度的一个关键因素，无论是分类还是回归，掂量街坊的权重都十分有用，较近街坊的权重比拟远街坊的权重大。
间隔或紧密度的概念可能会在高维环境（大量输出变量）下解体，这会对算法造成负面影响。这类事件被称为维度咒骂。它也暗示了你应该只应用那些与预测输入变量最相干的输出变量。
算法长处：
KNN 办法思路简略，易于了解，易于实现，无需预计参数。
算法毛病 ：
·该算法在分类时有个次要的有余是，当样本不均衡时，如一个类的样本容量很大，而其余类样本容量很小时，有可能导致当输出一个新样本时，该样本的 K 个街坊中大容量类的样本占多数
·该办法的另一个不足之处是计算量较大，因为对每一个待分类的文本都要计算它到整体已知样本的间隔，能力求得它的 K 个最近邻点。
·惰性学习
KNN 算法是懒惰学习办法（lazy learning, 基本上不学习），一些踊跃学习的算法要快很多。
4.AdaBoost 算法
Boosting 是一种从一些弱分类器中创立一个强分类器的集成技术。它先由训练数据构建一个模型，而后创立第二个模型来尝试纠正第一个模型的谬误。一直增加模型，直到训练集完满预测或曾经增加到数量下限。
AdaBoost 是为二分类开发的第一个真正胜利的 Boosting 算法，同时也是了解 Boosting 的最佳终点。
AdaBoost 算法是 Adaptive Boost 的简称，Adaboost 是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器 (弱分类器)，而后把这些弱分类器集合起来，形成一个更强的最终分类器（强分类器）。
AdaBoost 算法流程：
1. 先通过对 N 个训练样本的学习失去第一个弱分类器；
2. 将分错的样本和其余的新数据一起形成一个新的 N 个的训练样本，通过对这个样本的学习失去第二个弱分类器；
3. 将 1 和 2 都分错了的样本加上其余的新样本形成另一个新的 N 个的训练样本，通过对这个样本的学习失去第三个弱分类器；
4. 最终通过晋升的强分类器。即某个数据被分为哪一类要由各分类器权值决定。以做错题为例做一个形象的比喻：做正确的题，下次少做点，反正都会了；做错的题，下次多做点，集中在错题上；随着学习的深刻，做错的题会越来越少。
算法长处：
·很好的利用了弱分类器进行级联；
·能够将不同的分类算法作为弱分类器；
·AdaBoost 具备很高的精度；
·绝对于 bagging 算法和 Random Forest 算法，AdaBoost 充分考虑的每个分类器的权重；
算法毛病：
·AdaBoost 迭代次数也就是弱分类器数目不太好设定，能够应用穿插验证来进行确定；
·数据不均衡导致分类精度降落；
·训练比拟耗时，每次从新抉择以后分类器最好切分点。
5.PageRank 算法
PageRank，网页排名，又称佩奇排名。谷歌的两位创始人，佩奇 (Larry Page) 和布林 (Sergey Brin) 开始了对网页排序问题的钻研。他们的借鉴了学术界评判学术论文重要性的通用办法，那就是看论文的援用次数。由此想到网页的重要性也能够依据这种办法来评估。
于是 PageRank 的核心思想就诞生了，非常简单：
如果一个网页被很多其余网页链接到的话阐明这个网页比拟重要，也就是 PageRank 值会绝对较高；
如果一个 PageRank 值很高的网页链接到一个其余的网页，那么被链接到的网页的 PageRank 值会相应地因而而进步。
算法长处：
是一个与查问无关的动态算法，全副网页的 PageRank 值通过离线计算取得；无效升高在线查问时的计算量，极大升高了查问响应工夫。
算法毛病：
·人们的查问具备主题特色，PageRank 疏忽了主题相关性，导致后果的相关性和主题性缩小；
·旧的页面等级会比新页面高。因为即便是十分好的新页面也不会有十分多上游链接，除非它是某个网站的子网站。
6.EM 算法 (冀望最大化算法)
EM 算法全称 Expectation Maximization 算法，即冀望最大化算法，由 Arthur P. Dempster，Nan Laird 和 Donald Rubin 1977 年正式提出，是一种在已知局部相干变量的状况下，预计未知变量的迭代算法。EM 算法是最常见的隐变量预计办法，在机器学习中有极为宽泛的用处，例如常被用来学习高斯混合模型（Gaussian mixture model，简称 GMM）的参数；隐式马尔科夫算法（HMM）、LDA 主题模型的变分推断等等。
EM 算法蕴含两个步骤，E 步和 M 步。E 步也就是咱们求冀望的步骤，M 步将 E 步所求的冀望最大化，反复 E 步和 M 步直到收敛，也就是咱们预计的模型参数不再发生变化或者变动幅度很小，这就是 EM 算法的根本概括。
以分菜为例做一个形象的比喻。
比如说食堂的大师傅炒了一份菜，要等分成两份给两个人吃，显然没有必要拿来天平一点一点的准确的去称重量，最简略的方法是先随便的把菜分到两个碗中，而后察看是否一样多，把比拟多的那一份取出一点放到另一个碗中，这个过程始终法代地执行上来，直到大家看不出两个碗所究纳的菜有什么重量上的不同为止。EM 算法就是这样，假如咱们预计晓得 A 和 B 两个参数，在开始状态下二者都是未知的，并且晓得了 A 的信息就能够失去 B 的信息，反过来晓得了 B 也就失去了 A。能够思考首先赋予 A 某种初值，以此失去 B 的估计值，而后从 B 的以后值登程，从新预计 A 的取值，这个过程始终继续到收敛为止。
算法长处：
·聚类；
·算法计算结果稳固、精确；
·EM 算法自收敛，既不须要当时设定类别，也不须要数据间的两两比拟合并等操作。
算法毛病 ：
·对初始化数据敏感；
·EM 算法计算简单，收敛较慢，不适于大规模数据集和高维数据；
·当所要优化的函数不是凸函数时，EM 算法容易给出部分最优解，而不是全局最优解。
7.Apriori 算法
Apriori 算法是一种最有影响力的开掘布尔关联规定的频繁项集的算法，它是由 Rakesh Agrawal 和 RamakrishnanSkrikant 提出的，例如驰名的购物篮问题中顾客在买完尿布之后通常会买啤酒。作为第一个关联规定开掘算法，它开创性的应用了基于反对度的剪枝技术。
它应用一种称作逐层搜寻的迭代办法，k- 项集用于摸索（k+1）- 项集。首先，找出频繁 1- 项集的汇合。该汇合记作 L1。L1 用于找频繁 2 - 项集的汇合 L2，而 L2 用于找 L2，如此上来，直到不能找到 k- 项集。每找一个 Lk 须要一次数据库扫描。为进步频繁项集逐层产生的效率，一种称作 Apriori 性质的重要性质，用于压缩搜寻空间。其运行定理在于一是频繁项集的所有非空子集都必须也是频繁的，二是非频繁项集的所有父集都是非频繁的。
Apriori 算法过程分为两个步骤：
第一步通过迭代，检索出事务数据库中的所有频繁项集，即反对度不低于用户设定的阈值的项集；
第二步利用频繁项集结构出满足用户最小信任度的规定。
算法长处：
·适宜稠密数据集；
·算法原理简略，易实现；
·适宜事务数据库的关联规定开掘。
算法毛病：
·可能产生宏大的候选集；
·算法需屡次遍历数据集，算法效率低，耗时。
8.SVM 算法
反对向量机，英文全称“Support Vector Machines”（简称 SVM），它是机器学习中最罕用的一种“分类算法”，可宽泛地利用于统计分类以及回归剖析。它是将向量映射到一个更高维的空间里，在这个空间里建设有一个最大距离超平面。在离开数据的超平面的两边建有两个相互平行的超平面，分隔超平面使两个平行超平面的间隔最大化。假设平行超平面间的间隔或差距越大，分类器的总误差越小。
对于反对向量机而言有三个重要构件，别离是：最大距离、高维映射、核函数。
上述三者是 SVM 反对向量机的外围，用一句话来总结这三个部件的作用，那就是“最大距离是标尺，高维映射是要害，最终论断看核函数”。
算法长处：
·应用核函数能够向高维空间进行映射；
·应用核函数能够解决非线性的分类；
·分类思维很简略，就是将样本与决策面的距离最大化。
·分类成果较好
算法毛病 ：
·SVM 算法对大规模训练样本难以施行；
·用 SVM 解决多分类问题存在艰难；
·对缺失数据敏感，对参数和核函数的抉择敏感。
9.K 均值聚类算法
k 均值聚类算法（k-means clustering algorithm）是一种迭代求解的聚类分析算法，其步骤是，预将数据分为 K 组，则随机选取 K 个对象作为初始的聚类核心，而后计算每个对象与各个种子聚类核心之间的间隔，把每个对象调配给间隔它最近的聚类核心。聚类核心以及调配给它们的对象就代表一个聚类。每调配一个样本，聚类的聚类核心会依据聚类中现有的对象被从新计算。这个过程将一直反复直到满足某个终止条件。终止条件能够是没有（或最小数目）对象被重新分配给不同的聚类，没有（或最小数目）聚类核心再发生变化，误差平方和部分最小。
算法长处：
·是解决聚类问题的一种经典算法，简略、疾速；
·对解决大数据集，该算法放弃可伸缩性和高效性；
·当簇靠近高斯分布时，它的成果较好。
算法毛病：
·在 K-means 算法中 K 是当时给定的，K 值的选定难以估计；
·在 K-means 算法中，首先须要依据初始聚类核心来确定一个初始划分，而后对初始划分进行优化。这个初始聚类核心的抉择对聚类后果有较大的影响，一旦初始值抉择的不好，可能无奈失去无效的聚类后果 (可能会陷入死循环)；
·该算法须要一直地进行样本分类调整，一直地计算调整后的新的聚类核心，因而当数据量十分大时，算法的工夫开销是十分大的；
·若簇中含有异样点，将导致均值偏离重大 (即: 对噪声和孤立点数据敏感)
10. 线性回归算法 Linear Regression
回归剖析（Regression Analysis）是统计学的数据分析办法，目标在于理解两个或多个变量间是否相干、相干方向与强度，并建设数学模型以便察看特定变量来预测其它变量的变动状况。
线性回归算法（Linear Regression）的建模过程就是应用数据点来寻找最佳拟合线。公式，y = mx + c，其中 y 是因变量，x 是自变量，利用给定的数据集求 m 和 c 的值。
线性回归又分为两种类型，即 简略线性回归（simple linear regression)，只有 1 个自变量；多变量回归（multiple regression)，至多两组以上自变量。
算法长处：
·思维简略，实现容易。建模迅速，对于小数据量、简略的关系很无效；
·是许多弱小的非线性模型的根底；
·线性回归模型非常容易了解，后果具备很好的可解释性，有利于决策分析；
·蕴含机器学习中的很多重要思维；
·能解决回归问题。
算法毛病：
·对于非线性数据或者数据特色间具备相关性多项式回归难以建模；
·难以很好地表白高度简单的数据。
经典的机器学习算法还有很多，欢送大家补充交换。