共计 307 个字符,预计需要花费 1 分钟才能阅读完成。
分类问题之 KNN
简介
- lazy learning, 训练阶段仅仅保存样本, 没有显式的学习过程, 待收到测试样本后再进行处理
- 三要素: k 值的选择, 距离度量 (街区, 欧式, 闵可夫斯基), 分类决策规则 (majority vote)
-
分类步骤
1. 计算测试点到训练集各个点的距离 2. 找出距离最小的 k 个点 3. 投票法得出类别
- k 太小, 则对噪声敏感; k 太大, 则可能包含太多其他类别的点
- 属性中需要归一化, 防止某一属性在计算距离的时候占主导地位
优点
- 复杂度较低
- 效率高
- 非常适用于简单数据集的分类
- 抗噪,对噪声鲁棒
- 选取最优决策树是 NP 完全问题
其他
- PEBLS: Parallel Examplar-Based Learning System (Cost & Salzberg)
正文完