Knn

K近邻 K-NN算法可以说是最简单的机器学习算法，他使用距离预测点最近的点的均值来进行预测。k 近邻算法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。k 近邻算法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻算法不具有显式的学习过程。 k近邻算法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。 k值的选择、距离度量以及分类决策规则是k近邻算法的三个基本要素。 K—NN分类K-NN分类使用距离目标点最近的K个点的类别来进行“投票”，得票数多的类别将被标记为预测类别。 KNN算法的伪代码： 对于每一个在数据集中的数据点： 计算目标的数据点（需要分类的数据点）与该数据点的距离将距离排序：从小到大选取前K个最短距离选取这K个中最多的分类类别返回该类别来作为目标数据点的预测值#导入机器学习的包import pandas as pdimport numpy as npimport matplotlib.pyplot as plt%matplotlib inlineimport mglearnimport warningswarnings.filterwarnings('ignore')mglearn.plots.plot_knn_classification(n_neighbors=3) 上图给出了K-NN算法的示例，五角星测试集数据点根据离各自最近的三个训练集点进行投票而分类,下面我们将使用forge数据进行K-NN分类。 #导入数据集from sklearn.model_selection import train_test_splitX,y = mglearn.datasets.make_forge()print('自变量前五行：\n{}'.format(X[:5]))print('因变量：{}'.format(y))自变量前五行：[[ 9.96346605 4.59676542] [11.0329545 -0.16816717] [11.54155807 5.21116083] [ 8.69289001 1.54322016] [ 8.1062269 4.28695977]]因变量：[1 0 1 0 0 1 1 0 1 1 1 1 0 0 1 1 1 0 0 1 0 0 0 0 1 0]from sklearn.neighbors import KNeighborsClassifierX_train,X_test,y_train,y_test = train_test_split(X,y,stratify=y,random_state=42)KNC = KNeighborsClassifier(n_neighbors=5).fit(X_train,y_train)KNC.predict(X_test),y_test(array([1, 0, 1, 0, 0, 0, 0]), array([1, 0, 1, 1, 0, 0, 0]))print('训练集精度：{}'.format(KNC.score(X_train,y_train)))print('测试集精度：{}'.format(KNC.score(X_test,y_test)))训练集精度：0.9473684210526315测试集精度：0.8571428571428571 在这里，train_test_split函数将输入的X，y划分为四部分，X_train,y_train,X_test,y_test,参数stratify=y表示在测试集与训练集划分时，各个部分的数据类型与y中两种类别的数据比例相同，防止分配不均影响模型性能。因此，random_state参数限定了每次运行划分函数都获得同样的结果。因此，影响最终模型精度的因素有： 1）每次数据划分时，划分到不同组别的数据不同。 2）模型参数，即选择的最近邻数量不同。 第一项在训练模型时使用交叉验证的方式尽量降低随机性对模型的影响，下面将通过调整参数n_neigbors调整模型精度。 ...

1 分类算法引言众所周知,电影可以按照题材分类,然而题材本身是如何定义的?由谁来判定某部电影属于哪个题材?也就是说同一题材的电影具有哪些公共特征?这些都是在进行电影分类时必须要考虑的问题。动作片中也会存在接吻镜头,爱情片中也会存在打斗场景,我们不能单纯依靠是否存在打斗或者亲吻来判断影片的类型。爱情片中的亲吻镜头更多,动作片中的打斗场景也更频繁,基于此类场景在某部电影中出现的次数可以用来进行电影分类。那么如何基于电影中出现的亲吻、打斗出现的次数,使用k-近邻算法构造程序,自动划分电影的题材类型。2 KNN算法及工作原理k-近邻(KNN)算法采用测量不同特征值之间的距离方法进行分类。存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,通常k是不大于20的整数。最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。3 KNN的第一个实例:电影的分类3.1 项目介绍动作，爱情，喜剧，灾难…???使用打斗和接吻镜头数分类电影每部电影的打斗镜头数、接吻镜头数以及电影评估类型已知电影与未知电影的距离得到了距离后，选择前k个电影来判断未知电影的类型3.2 如何求距离？——欧氏距离公式二维空间多维空间3.3 k-近邻算法的一般流程(1) 收集数据:可以使用任何方法。(2) 准备数据:距离计算所需要的数值,最好是结构化的数据格式。(3) 分析数据:可以使用任何方法。(4) 训练算法:此步骤不适用于k-近邻算法。(5) 测试算法:计算错误率。(6) 使用算法:首先需要输入样本数据和结构化的输出结果,然后运行k-近邻算法判定输入数据分别属于哪个分类,最后应用对计算出的分类执行后续的处理。3.4 数据准备:使用 Python 导入数据import numpy as npdef createDataSet(): “““创建数据集””” # 每组数据包含打斗数和接吻数； group = np.array([[3, 104], [2, 100], [1, 81], [101, 10], [99, 5], [98, 2]]) # 每组数据对应的标签类型； labels = [‘Roman’, ‘Roman’, ‘Roman’, ‘Action’, ‘Action’, ‘Action’] return group, labels3.5 实施 KNN 算法对未知类别属性的数据集中的每个点依次执行以下操作:(1) 计算已知类别数据集中的点与当前点之间的距离;(2) 按照距离递增次序排序;(3) 选取与当前点距离最小的k个点;(4) 确定前k个点所在类别的出现频率;(5) 返回前k个点出现频率最高的类别作为当前点的预测分类。def classify(inx, dataSet, labels, k): """ KNN分类算法实现 :param inx:要预测电影的数据, e.g.[18, 90] :param dataSet:传入已知数据集，e.g. group 相当于x :param labels:传入标签，e.g. labels相当于y :param k:KNN里面的k，也就是我们要选择几个近邻 :return:电影类新的排序 """ dataSetSize = dataSet.shape[0] # (6,2) – 6行2列 ===> 6 获取行数 # tile会重复inx， 把它重复成(dataSetSize, 1)型的矩阵 # (x1 - y1), (x2 - y2) diffMat = np.tile(inx, (dataSetSize, 1)) - dataSet # 平方 sqDiffMat = diffMat ** 2 # 相加, axis=1行相加 sqDistance = sqDiffMat.sum(axis=1) # 开根号 distance = sqDistance ** 0.5 # 排序索引： 输出的是序列号index， 而不是值 sortedDistIndicies = distance.argsort() # print(sortedDistIndicies) classCount = {} for i in range(k): # 获取排前k个的标签名； voteLabel = labels[sortedDistIndicies[i]] classCount[voteLabel] = classCount.get(voteLabel, 0) + 1 sortedClassCount = sorted(classCount.items(), key=lambda d: float(d[1]), reverse=True) return sortedClassCount[0]3.6 如何测试分类器分类器并不会得到百分百正确的结果,我们可以使用多种方法检测分类器的正确率。为了测试分类器的效果,我们可以使用已知答案的数据,当然答案不能告诉分类器,检验分类器给出的结果是否符合预期结果。完美分类器的错误率为0最差分类器的错误率是1.0完整代码import numpy as npdef createDataSet(): “““创建数据集””” # 每组数据包含打斗数和接吻数； group = np.array([[3, 104], [2, 100], [1, 81], [101, 10], [99, 5], [98, 2]]) # 每组数据对应的标签类型； labels = [‘Roman’, ‘Roman’, ‘Roman’, ‘Action’, ‘Action’, ‘Action’] return group, labelsdef classify(inx, dataSet, labels, k): """ KNN分类算法实现 :param inx:要预测电影的数据, e.g.[18, 90] :param dataSet:传入已知数据集，e.g. group 相当于x :param labels:传入标签，e.g. labels相当于y :param k:KNN里面的k，也就是我们要选择几个近邻 :return:电影类新的排序 """ dataSetSize = dataSet.shape[0] # (6,2) – 6行2列 ===> 6 获取行数 # tile会重复inx， 把它重复成(dataSetSize, 1)型的矩阵 # (x1 - y1), (x2 - y2) diffMat = np.tile(inx, (dataSetSize, 1)) - dataSet # 平方 sqDiffMat = diffMat ** 2 # 相加, axis=1行相加 sqDistance = sqDiffMat.sum(axis=1) # 开根号 distance = sqDistance ** 0.5 # 排序索引： 输出的是序列号index， 而不是值 sortedDistIndicies = distance.argsort() # print(sortedDistIndicies) classCount = {} for i in range(k): # 获取排前k个的标签名； voteLabel = labels[sortedDistIndicies[i]] classCount[voteLabel] = classCount.get(voteLabel, 0) + 1 sortedClassCount = sorted(classCount.items(), key=lambda d: float(d[1]), reverse=True) return sortedClassCount[0][0]if name == ‘main’: group, label = createDataSet() result = classify([3, 104], group, label, 5) print("[3, 104]的电影类型：", result)效果展示 ...