关于数据挖掘:R语言SVM和LDA文本挖掘分类开源软件存储库标签数据和词云可视化

全文链接：http://tecdat.cn/?p=30413

原文出处：拓端数据部落公众号

开源软件存储库上有数千个开源软件，能够从中收费应用该软件。为了可能无效和高效地辨认用户所需的软件，已依据软件的性能和属性向软件判断了标记。因而，标签调配成为开源软件存储库软件维护胜利的要害。手动调配须要专家判断软件的性能和性能，并从软件的大型标签池中抉择适当的预约义标签，这显然很耗时。因而，此工作上的软件开掘的目标是利用数据挖掘的提高，为新上传的软件我的项目启用主动标记调配（从新举荐）。

为了升高数据预处理（特地是网页解析）的难度，在出名开源软件仓库中介绍不同开源软件的网页的次要内容被提取并依照以下格局妥善存储。

要开掘的数据

数据以 txt 格局存储。每行对应于一个以该项目标 id 结尾的软件我的项目。在 id 之后，有“#$#”援用的该软件我的项目的提取文本形容。在此行的开端，将附加标记（用“，”分隔）。所有数据被拆分为两个不相交的数据集。一个被命名为“train.data”（蕴含 4465 个软件我的项目），而另一个被命名为“test.data”（蕴含大概 1000 个新软件我的项目）。这两个文件之间的惟一格局区别是所有标签都替换为单个未知标记“？”。能够调配给任何软件我的项目的标签集在“allTags.txt”中提供，其中每行对应于一个标签。

你应该应用“train”来构建一个模型。data“（将随文件一起提供给您，该文件指定了能够调配给软件我的项目的标记集），而后应用构建的模型在评估阶段为”test.data“中的每个软件我的项目的标记提供预测。

问题分析

本次我的项目实质上属于数据挖掘中的分类问题，那总体的思路就是在提供的训练集上采纳分类算法结构出分类模型，而后将分类模型利用在测试集上，得出测试集中所有记录的分类后果。

从我的项目背景上就能够看出数据集在特色上的取值是稠密的，文本信息中会呈现大量的单词，而一些罕用的单词，如 a ,an , and 等是不具备分类特色的词汇，属于罕用词汇，因而在文本开掘的过程中必须剔除这些词汇。因而咱们首先要做的就是对数据文本开掘，而后对失去的词频进行预处理，剔除标点，常用词等，同时升高其稠密性，也就是剔除呈现频率特地低的词汇。其中留神的是在预处理过程中咱们应该保障训练集和测试集在模式上的统一，比方他们的属性个数、类别应该统一。

在数据预处理实现的根底上，就应该进行抉择分类算法，利用训练集结构模型了。

最初就是利用模型，得出测试集中后果。

数据挖掘过程

通过问题剖析后就开始进行各项工作了，那首先就是平台的抉择，通过比拟后我最终采纳了 R 工具，因为此工具中性能比拟健全，有助于咱们剖析。

文件导入

因为训练数据是文本数据，因而不能用读取 excel 或者读取 table 的形式读取数据，只能通过 readlines 对数据的每一行文本进行读取，次要思路就是读文件到 r，保留为训练数据，而后读取标签数据。因为标签数据是文档格局数据，能够间接用 read.table 读取到 r。

数据预处理

A、宰割：

因为读取后数据并不是格式化的，因而第一步就是对他进行宰割解决，原有的数据每一行都蕴含了序号，文本和标签并用 ”#$#” 隔开，因而，咱们能够利用这个宰割符号来对每个样本进行解决。这里用到的是 strsplit 语句。宰割后失去的标签数据依然是混合在一起的，同样能够找到分隔符号为“,”, 因而再次对标签数据进行宰割。失去每个样本的标签数据。

B . 格式化

因为失去的每个样本的标签数据是一个汇合，对于前面的分类问题来说，不是现实的数据格式，因而须要将标签数据转化成二维矩阵的格局，每一行为一个样本，每一列代表一个标签，所有列就是所有呈现过的标签。如果该样本中蕴含一个或多个标签，就将这些标签所对应的元素标为 1，没有呈现的元素为 0. 最初生成一个标签矩阵。

算法抉择

分类算法无穷无尽，针对不同的数据集，算法的效率也不一样，因而抉择适合的算法是很重要的工作。

决策树易于了解和解释. 人们在通过解释后都有能力去了解决策树所表白的意义。但因为本我的项目中样本属性较多，因而可能会呈现较多的分支和较大的树，从而很难失去无效的判断。人工神经网络尽管分类的准确度高, 并行散布解决能力强，不能察看之间的学习过程，输入后果难以解释。

Knn 算法尽管原理简略无效，然而计算量较大，对于数据量较大的数据不太适合，对高维数据进行分类时会而且导致其准确率降落。

而 SVM 能够解决高维问题，同时能够防止神经网络构造抉择和部分极小点问题。因而，最终选用该算法来建设分类模型。

反对向量机

SVM 是反对向量机的简称, 是统计学习实践中 最年老的内容, 也是最实用的局部。其核心内容是在 1992 到 1995 年间提出的, 目前仍处在一直倒退阶段。反对向量机可用 于模式识别、回归剖析、主成分剖析等. 上面以模式 分类为例来介绍反对向量机的含意 .

给定一组训练数据 (x 1 , y 1), … ,(x l , y l), xi ∈ R n , yi ∈{+1 , -1} , i =1 , 2 , …, l，咱们要寻找一 个分类规定 I(x), 使它能对未知类别的新样本(新 样本与训练样本独立同散布) 作尽可能正确的划分。反对向量机用于分类问题其实就是寻找一个最 优分类超平面, 把此立体作为分类决策面. 同时它还 通过引进核函数奇妙地解决了在将低维空间向量映 射到高维空间向量时带来的“维数劫难”问题。

基于 LDA 的文本主题开掘

对于文本处理过程首先要领有剖析的语料（text corpus），比方报告、出版物、网页文章等。而后依据这些语料建设半结构化的文本库（text database），生成蕴含词频的结构化的词条 - 文档矩阵（term-document matrix）。

LDA 是一种非监督机器学习技术，能够用来辨认大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。它采纳了词袋（bag of words）的办法，这种办法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。然而词袋办法没有思考词与词之间的程序，这简化了问题的复杂性，同时也为模型的改良提供了契机。每一篇文档代表了一些主题所形成的一个概率分布，而每一个主题又代表了很多单词所形成的一个概率分布。因为 Dirichlet 散布随机向量各重量间的弱相关性（之所以还有点“相干”，是因为各重量之和必须为 1），使得咱们假想的潜在主题之间也简直是不相干的，这与很多理论问题并不相符，从而造成了 LDA 的又一个遗留问题。

对于语料库中的每篇文档，LDA 定义了如下生成过程（generative process）：

1. 对每一篇文档，从主题散布中抽取一个主题；
2. 从上述被抽到的主题所对应的单词散布中抽取一个单词；
3. 反复上述过程直至遍历文档中的每一个单词。

更形式化一点说，语料库中的每一篇文档与 T（通过重复试验等办法当时给定）个主题的一个多项散布绝对应，将该多项散布记为 θ。每个主题又与词汇表（vocabulary）中的  V 个单词的一个多项散布绝对应，将这个多项散布记为 ϕ。上述词汇表是由语料库中所有文档中的所有互异单词组成，但理论建模的时候要剔除一些停用词（stopword），还要进行一些词干化（stemming）解决等。θ 和 ϕ 别离有一个带有超参数（hyperparameter）α 和 β 的 Dirichlet 先验散布。对于一篇文档 d 中的每一个单词，咱们从该文档所对应的多项散布 θ 中抽取一个主题 z，而后咱们再从主题 z 所对应的多项散布 ϕ 中抽取一个单词 w。将这个过程反复 Nd 次，就产生了文档 d，这里的 Nd 是文档 d 的单词总数。这个生成过程能够用如下的图模型表示：

这个图模型表示法也称作“盘子表示法”（plate notation）。图中的暗影圆圈示意可观测变量（observed variable），非暗影圆圈示意潜在变量（latent variable），箭头示意两变量间的条件依赖性（conditional dependency），方框示意反复抽样，反复次数在方框的右下角。

该模型有两个参数须要推断（infer）：一个是“文档 - 主题”散布 θ，另外是 T 个“主题 - 单词”散布 ϕ。通过学习（learn）这两个参数，咱们能够晓得文档作者感兴趣的主题，以及每篇文档所涵盖的主题比例等。推断办法次要有 LDA 模型作者提出的变分 -EM 算法，还有当初罕用的 Gibbs 抽样法。

LDA 模型当初曾经成为了主题建模中的一个规范。如前所述，LDA 模型自从诞生之后有了蓬勃的扩大，特地是在社会网络和社会媒体钻研畛域最为常见。

算法实现

依据 SVM 和 LDA 文本开掘的原理，通过 r 语言能够做出以下的代码实现：

for(j in 1:length(colindex))tagmatrix[j,colindex[[j]]]=1;

#### 建设语料库

reuters <- Corpus(VectorSource(traindata))

#下一步用 tm_map 命令对语料库文件进行预处理，将其转为纯文本并去除多余空格，转换小写，去除罕用词汇、合并异形批准词汇

reuters <- tm_map(reuters, as.PlainTextDocument)

再之后就能够利用 R 语言中任何工具加以钻研了，上面用档次聚类试试看:
先进行标准化解决，再生成间隔矩阵，再用档次聚类.

d <- dist(data.scale, method = "euclidean")

绘制词汇图

wordcloud(names(d),d,random.order=FALSE,random.color=FALSE,colors=mycolors,family="my

建设分类器

tagmod=tagmatrix[,1]# 每个样本的第一个分类标签

SVM 分类

preds <- predict(model.svm, trainmod,type="class")

tab=table(preds,trainmod[,ncol(trainmod)])# 分类混同矩阵
k=10# 设置为 10 折穿插验证

for(kk in 1:k){index=sample(1:dim(trainmod)[1],floor(dim(trainmod)[1]*(1/k)),replace=F)# 筛选样本

  test=as.data.frame(trainmod[index,])# 训练集
  
  

后果剖析

通过算法的实现，咱们曾经通过训练集失去了分类模型，通过十折穿插验证发现其准确率能达到 99.8%, 接下来就是将测试集导入并且使用刚刚生成的模型产生后果了，同样的是使用 R 工具。其中须要留神的是测试集中缺失的类别值用? 来代替。将生成的后果保留下来发现？后面呈现了数字，这就是咱们所要寻找的类别值。

尽管后面训练集产生的模型的准确率能达到 99.8%, 然而理论测试集的准确率又是不确定的，不肯定比他高还是比他低，但幅度必定不会很大。同时从算法自身来看就存在着肯定的缺点，因为经典的 SVM 分类算法要求分类属性是二元变量，而对于多元变量来说，必须组合多个 SVM 模型，从而可能是算法的准确度降落，对本我的项目的数据来说，每一个样本可能属于多个类别，因而应用 svm 分类的时候，可能导致算法的准确度降落。

误差必定还不止以上的方面，然而总体来说这个分类器还是能够的，通过十折穿插验证准确率还是有保障的。

最受欢迎的见解

1.Python 主题建模 LDA 模型、t-SNE 降维聚类、词云可视化文本开掘新闻组

2.R 语言文本开掘、情感剖析和可视化哈利波特小说文本数据

3.r 语言文本开掘 tf-idf 主题建模，情感剖析 n -gram 建模钻研

4. 游记数据感知游览目的地形象

5. 疫情下的新闻数据察看

6.python 主题 lda 建模和 t -sne 可视化

7.r 语言中对文本数据进行主题模型 topic-modeling 剖析

8. 主题模型：数据凝听人民网留言板的那些“网事”

9.python 爬虫进行 web 抓取 lda 主题语义数据分析