机器学习 | 朴素贝叶斯

由于近期学业繁重QAQ，所以我就不说废话了，直接上代码~用朴素贝叶斯进行词汇分类代码from numpy import #词表到向量的转换#创建实验样本，返回的是进行词条切分后的文档集合，#还有一个类别标签——侮辱性的or非侮辱性的def loadDataSet(): postingList=[[‘my’, ‘dog’, ‘has’, ‘flea’, ‘problems’, ‘help’, ‘please’], [‘maybe’, ’not’, ’take’, ‘him’, ’to’, ‘dog’, ‘park’, ‘stupid’], [‘my’, ‘dalmation’, ‘is’, ‘so’, ‘cute’, ‘I’, ’love’, ‘him’], [‘stop’, ‘posting’, ‘stupid’, ‘worthless’, ‘garbage’], [‘mr’, ’licks’, ‘ate’, ‘my’, ‘steak’, ‘how’, ’to’, ‘stop’, ‘him’], [‘quit’, ‘buying’, ‘worthless’, ‘dog’, ‘food’, ‘stupid’]] #1 代表侮辱性文字 0代表正常言论 classVec = [0,1,0,1,0,1] return postingList,classVec #创建一个包含在所有文档中出现的不重复的词的列表 def createVocabList(dataSet): vocabSet=set([]) #document:[‘my’, ‘dog’, ‘has’, ‘flea’, ‘problems’, ‘help’, ‘please’] for document in dataSet: #求并集 vocabSet=vocabSet|set(document) #print(vocabSet) return list(vocabSet) #参数为词汇表以及某个文档，输出的是文档向量#输出的向量的每一个元素为1或0，表示词汇表中#的单词在输入文档中是否出现def setOfWords2Vec(vocabList,inputSet): #创建一个所含元素都为0的向量 returnVec=[0]len(vocabList) #遍历文档中的所有单词，如果出现了词汇表中的单词， #则将输出文档的对应值设为1 for word in inputSet: if word in vocabList: returnVec[vocabList.index(word)]=1 else: print(“the word: %s is not in my Vocabulary!"%word) return returnVec #输入的参数：文档矩阵trainMatrix#由每篇文档类别标签构成的向量trainCategory#朴素贝叶斯分类器训练函数#trainMatrix:每个词向量中的词，在词汇表中出现的就是1#trainMatrix:[[0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 1, 0], #[0, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 1, 0, 0, 0],#[1, 0, 1, 1, 1, 1, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0], #[0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0], #[0, 1, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1], #[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 1, 0, 0]]#该词向量中带有侮辱性的词的就是1#trainCategory:[0, 1, 0, 1, 0, 1]def trainNBO(trainMatrix,trainCategory): #一共有几个词向量 numTrainDocs=len(trainMatrix) #词汇表的长度 numWords=len(trainMatrix[0]) #3/6 表示6个词向量中，3个带侮辱词 pAbusive=sum(trainCategory)/float(numTrainDocs) #初始化概率 p0Num=ones(numWords) p1Num=ones(numWords) p0Denom=2.0;p1Denom=2.0 #遍历训练集trainMatrix中的所有文档 #一旦某个词在某一文档中出现 #该文档的总词数加1 #两个类别都要进行同样的处理 #i：012345 for i in range(numTrainDocs): #该词向量带侮辱 if trainCategory[i]==1: #向量相加 p1Num+=trainMatrix[i] p1Denom+=sum(trainMatrix[i]) else: p0Num+=trainMatrix[i] p0Denom+=sum(trainMatrix[i]) #每个元素除以该类别的总词数 p1Vect=log(p1Num/p1Denom) p0Vect=log(p0Num/p0Denom) return p0Vect,p1Vect,pAbusive #朴素贝叶斯分类函数def classifyNB(vec2Classify,p0Vec,p1Vec,pClass1): #元素相乘 p1=sum(vec2Classifyp1Vec)+log(pClass1) p0=sum(vec2Classifyp0Vec)+log(1.0-pClass1) if p1>p0: return 1 else: return 0 def testingNB(): listOPosts,listClasses=loadDataSet() myVocabList=createVocabList(listOPosts) trainMat=[] #使用词向量填充trainMat列表 for postinDoc in listOPosts: Vec01=setOfWords2Vec(myVocabList,postinDoc) trainMat.append(Vec01) p0V,p1V,pAb=trainNBO(trainMat,listClasses) #测试集 testEntry=[’love’,‘my’,‘dalmation’] thisDoc=array(setOfWords2Vec(myVocabList,testEntry)) #print(thisDoc) print(testEntry,’ classified as: ‘,classifyNB(thisDoc,p0V,p1V,pAb)) testEntry=[‘stupid’,‘garbage’] thisDoc=array(setOfWords2Vec(myVocabList,testEntry)) #print(thisDoc) print(testEntry,’ classified as: ‘,classifyNB(thisDoc,p0V,p1V,pAb)) def main(): testingNB() #创建数据 #listOPosts,listClasses=loadDataSet() #print(listOPosts) #构建一个包含所有词的列表 #myVocabList=createVocabList(listOPosts) #print(myVocabList) #returnVec=setOfWords2Vec(myVocabList,listOPosts[0]) #print(returnVec) #trainMat=[] #使用词向量填充trainMat列表 #for postinDoc in listOPosts: #传入词汇表 以及每一行词向量 #返回的是一个与词汇表同样size的向量 #1表示这个词在词向量中出现过 #Vec01=setOfWords2Vec(myVocabList,postinDoc) #print(Vec01) #将01list填充trainMat #trainMat.append(Vec01) #print(trainMat) #print(listClasses) #p0V,p1V,pAB=trainNBO(trainMat,listClasses) #print(p0V) #print(p1V) #print(pAB) if name==’main’: main()