最新分类KNN近邻法.docx
- 文档编号:1910189
- 上传时间:2022-10-25
- 格式:DOCX
- 页数:10
- 大小:292.42KB
最新分类KNN近邻法.docx
《最新分类KNN近邻法.docx》由会员分享,可在线阅读,更多相关《最新分类KNN近邻法.docx(10页珍藏版)》请在冰豆网上搜索。
最新分类KNN近邻法
(分类)KNN近邻法
一、kNN算法分析
K最近邻(k-NearestNeighbor,KNN)分类算法可以说是最简单的机器学习算法了。
它采用测量不同特征值之间的距离方法进行分类。
它的思想很简单:
如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。
比如上面这个图,我们有两类数据,分别是蓝色方块和红色三角形,他们分布在一个上图的二维中间中。
那么假如我们有一个绿色圆圈这个数据,需要判断这个数据是属于蓝色方块这一类,还是与红色三角形同类。
怎么做呢?
我们先把离这个绿色圆圈最近的几个点找到,因为我们觉得离绿色圆圈最近的才对它的类别有判断的帮助。
那到底要用多少个来判断呢?
这个个数就是k了。
如果k=3,就表示我们选择离绿色圆圈最近的3个点来判断,由于红色三角形所占比例为2/3,所以我们认为绿色圆是和红色三角形同类。
如果k=5,由于蓝色四方形比例为3/5,因此绿色圆被赋予蓝色四方形类。
从这里可以看到,k的值还是很重要的。
KNN算法中,所选择的邻居都是已经正确分类的对象。
该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。
由于KNN方法主要靠周围有限的邻近的样本,而不是靠判别类域的方法来确定所属类别的,因此对于类域的交叉或重叠较多的待分样本集来说,KNN方法较其他方法更为适合。
该算法在分类时有个主要的不足是,当样本不平衡时,如一个类的样本容量很大,而其他类样本容量很小时,有可能导致当输入一个新样本时,该样本的K个邻居中大容量类的样本占多数。
因此可以采用权值的方法(和该样本距离小的邻居权值大)来改进。
该方法的另一个不足之处是计算量较大,因为对每一个待分类的文本都要计算它到全体已知样本的距离,才能求得它的K个最近邻点。
目前常用的解决方法是事先对已知样本点进行剪辑,事先去除对分类作用不大的样本。
该算法比较适用于样本容量比较大的类域的自动分类,而那些样本容量较小的类域采用这种算法比较容易产生误分[参考机器学习十大算法]。
总的来说就是我们已经存在了一个带标签的数据库,然后输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似(最近邻)的分类标签。
一般来说,只选择样本数据库中前k个最相似的数据。
最后,选择k个最相似数据中出现次数最多的分类。
其算法描述如下:
1)计算已知类别数据集中的点与当前点之间的距离;
2)按照距离递增次序排序;
3)选取与当前点距离最小的k个点;
4)确定前k个点所在类别的出现频率;
5)返回前k个点出现频率最高的类别作为当前点的预测分类。
二、Python实现
对于机器学习而已,Python需要额外安装三件宝,分别是Numpy,scipy和Matplotlib。
前两者用于数值计算,后者用于画图。
安装很简单,直接到各自的官网下载回来安装即可。
安装程序会自动搜索我们的python版本和目录,然后安装到python支持的搜索路径下。
反正就python和这三个插件都默认安装就没问题了。
另外,如果我们需要添加我们的脚本目录进Python的目录(这样Python的命令行就可以直接import),可以在系统环境变量中添加:
PYTHONPATH环境变量,值为我们的路径,例如:
E:
\Python\MachineLearninginAction
2.1、kNN基础实践
一般实现一个算法后,我们需要先用一个很小的数据库来测试它的正确性,否则一下子给个大数据给它,它也很难消化,而且还不利于我们分析代码的有效性。
首先,我们新建一个kNN.py脚本文件,文件里面包含两个函数,一个用来生成小数据库,一个实现kNN分类算法。
代码如下:
[python]
1.#########################################
2.# kNN:
k Nearest Neighbors
3.
4.# Input:
newInput:
vector to compare to existing dataset (1xN)
5.# dataSet:
size m data set of known vectors (NxM)
6.# labels:
data set labels (1xM vector)
7.# k:
number of neighbors to use for comparison
8.
9.# Output:
the most popular class label
10.#########################################
11.
12.from numpy import *
13.import operator
14.
15.# create a dataset which contains 4 samples with 2 classes
16.def createDataSet():
17. # create a matrix:
each row as a sample
18. group = array([[1.0, 0.9], [1.0, 1.0], [0.1, 0.2], [0.0, 0.1]])
19. labels = ['A', 'A', 'B', 'B'] # four samples and two classes
20. return group, labels
21.
22.# classify using kNN
23.def kNNClassify(newInput, dataSet, labels, k):
24. numSamples = dataSet.shape[0] # shape[0] stands for the num of row
25.
26. ## step 1:
calculate Euclidean distance
27. # tile(A, reps):
Construct an array by repeating A reps times
28. # the following copy numSamples rows for dataSet
29. diff = tile(newInput, (numSamples, 1)) - dataSet # Subtract element-wise
30. squaredDiff = diff ** 2 # squared for the subtract
31. squaredDist = sum(squaredDiff, axis = 1) # sum is performed by row
32. distance = squaredDist ** 0.5
33.
34. ## step 2:
sort the distance
35. # argsort() returns the indices that would sort an array in a ascending order
36. sortedDistIndices = argsort(distance)
37.
38. classCount = {} # define a dictionary (can be append element)
39. for i in xrange(k):
40. ## step 3:
choose the min k distance
41. voteLabel = labels[sortedDistIndices[i]]
42.
43. ## step 4:
count the times labels occur
44. # when the key voteLabel is not in dictionary classCount, get()
45. # will return 0
46. classCount[voteLabel] = classCount.get(voteLabel, 0) + 1
47.
48. ## step 5:
the max voted class will return
49. maxCount = 0
50. for key, value in classCount.items():
51. if value > maxCount:
52. maxCount = value
53. maxIndex = key
54.
55. return maxIndex
然后我们在命令行中这样测试即可:
[python]
1.import kNN
2.from numpy import *
3.
4.dataSet, labels = kNN.createDataSet()
5.
6.testX = array([1.2, 1.0])
7.k = 3
8.outputLabel = kNN.kNNClassify(testX, dataSet, labels, 3)
9.print "Your input is:
", testX, "and classified to class:
", outputLabel
10.
11.testX = array([0.1, 0.3])
12.outputLabel = kNN.kNNClassify(testX, dataSet, labels, 3)
13.print "Your input is:
", testX, "and classified to class:
", outputLabel
这时候会输出:
[python]
1.Your input is:
[ 1.2 1.0] and classified to class:
A
2.Your input is:
[ 0.1 0.3] and classified to class:
B
2.2、kNN进阶
这里我们用kNN来分类一个大点的数据库,包括数据维度比较大和样本数比较多的数据库。
这里我们用到一个手写数字的数据库,可以到下载。
这个数据库包括数字0-9的手写体。
每个数字大约有200个样本。
每个样本保持在一个txt文件中。
手写体图像本身的大小是32x32的二值图,转换到txt文件保存后,内容也是32x32个数字,0或者1,如下:
数据库解压后有两个目录:
目录trainingDigits存放的是大约2000个训练数据,testDigits存放大约900个测试数据。
这里我们还是新建一个kNN.py脚本文件,文件里面包含四个
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最新 分类 KNN 近邻