原文链接：http://tecdat.cn/?p=4333

 

最近咱们被客户要求撰写对于LDA模型的钻研报告，包含一些图形和统计输入。

主题建模

在文本开掘中，咱们常常收集一些文档汇合，例如博客文章或新闻文章，咱们心愿将其分成组，以便咱们能够别离了解它们。主题建模是对这些文档进行无监督分类的一种办法，相似于对数字数据进行聚类，即便咱们不确定要查找什么，也能够找到分组。

潜在狄利克雷调配（LDA）是拟合主题模型特地风行的办法。它将每个文档视为主题的混合体，并将每个主题看作是单词的混合体。这容许文档在内容方面互相“重叠”，而不是拆散成离散的组，以反映自然语言的典型用法。

联合主题建模的文本剖析流程图。topicmodels包采纳Document-Term Matrix作为输出，并生成一个能够通过tidytext进行解决的模型，以便能够应用dplyr和ggplot2对其进行解决和可视化。

 潜在狄利克雷调配

潜在Dirichlet调配是主题建模中最罕用的算法之一。没有深刻模型背地的数学，咱们能够了解它是由两个准则领导的。

每个文档都是主题的混合体。咱们构想每个文档可能蕴含来自几个主题的文字，并有肯定的比例。例如，在双主题模型中，咱们能够说“文档1是90％的主题A和10％的主题B，而文档2是30％的主题A和70％的主题B.”

每个主题都是词汇的混合。例如，咱们能够设想一个新闻的两个主题模型，一个话题是“体育”，一个是“娱乐”。体育话题中最常见的词语可能是“篮球”，“足球”和“游泳“，而娱乐主题能够由诸如”电影“，”电视“和”演员“之类的词组成。重要的是，话题能够在话题之间共享; 像“奥运冠军”这样的词可能同时呈现在两者中。

LDA是一种同时预计这两种状况的数学方法：查找与每个主题相干的单词汇合，同时确定形容每个文档的主题分组。这个算法有很多现有的实现，咱们将深入探讨其中的一个。

library(topicmodels)data("AssociatedPress")AssociatedPress  : term frequency (tf)

咱们能够应用LDA()topicmodels包中的函数设置k = 2来创立两个主题的LDA模型。

实际上简直所有的主题模型都会应用更大的模型k，但咱们很快就会看到，这种分析方法能够扩大到更多的主题。

此函数返回一个蕴含模型拟合残缺细节的对象，例如单词如何与主题关联以及主题如何与文档关联。

# # 设置随机种子，使模型的输入是可反复的ap_lda <- LDA(AssociatedPress,k =2,control =list(seed =1234))ap_lda

 

拟合模型是“简略局部”：剖析的其余部分将波及应用tidytext软件包中的函数来摸索和解释模型。

单词主题概率

tidytext包提供了这种办法来提取每个主题的每个词的概率，称为。

## # A tibble: 20,946 x 3##    topic term          beta##  1    1 aaron      1.69e-12##  2    2 aaron      3.90e- 5##  3    1 abandon    2.65e- 5##  4    2 abandon    3.99e- 5##  5    1 abandoned  1.39e- 4##  6    2 abandoned  5.88e- 5##  7    1 abandoning 2.45e-33##  8    2 abandoning 2.34e- 5##  9    1 abbott    2.13e- 6## 10    2 abbott    2.97e- 5## # ... with 20,936 more rows

 

 

每个主题中最常见的词

这种可视化让咱们理解从文章中提取的两个主题。话题1中最常见的词语包含“百分比”，“百万”，“十亿”和“公司”，这表明它可能代表商业或财务新闻。话题2中最常见的包含“总统”，“政府”，示意这个话题代表政治新闻。对于每个主题中的单词的一个重要察看是，在这两个主题中，诸如“新”和“人”等一些词语是常见的。与“硬聚类”办法相同，这是话题建模的劣势：自然语言中应用的话题可能存在一些重叠。

咱们能够认为最大的区别是两个主题之间差别最大的词。

## # A tibble: 198 x 4##    term              topic1      topic2 log_ratio##                            ##  1 administration 0.000431  0.00138        1.68##  2 ago            0.00107  0.000842      -0.339##  3 agreement      0.000671  0.00104        0.630##  4 aid            0.0000476 0.00105        4.46##  5 air            0.00214  0.000297      -2.85##  6 american      0.00203  0.00168        -0.270##  7 analysts      0.00109  0.000000578  -10.9##  8 area          0.00137  0.000231      -2.57##  9 army          0.000262  0.00105        2.00## 10 asked          0.000189  0.00156        3.05## # ... with 188 more rows

 

图显示了这两个主题之间差别最大的词。

咱们能够看到，话题2中更常见的词包含“专制”和“共和党”等政党等政治家的名字。主题1的特点是“日元”和“美元”等货币以及“指数”，“价格”和“利率”等金融术语。这有助于确认算法确定的两个主题是政治和财务新闻。

文档 - 主题概率

除了将每个主题评估为单词汇合之外，LDA还将每个文档建模为混合主题。咱们能够查看每个文档的每个主题概率，称为（“伽玛”） 。

## # A tibble: 4,492 x 3##    document topic    gamma##       <int> <int>    <dbl>##  1        1     1 0.248   ##  2        2     1 0.362   ##  3        3     1 0.527   ##  4        4     1 0.357   ##  5        5     1 0.181   ##  6        6     1 0.000588##  7        7     1 0.773   ##  8        8     1 0.00445 ##  9        9     1 0.967   ## 10       10     1 0.147   ## # ... with 4,482 more rows

 

这些值中的每一个都是该文档中从该主题生成的单词的预计比例。例如，该模型预计文档1中单词的大概24.8％是从主题1生成的。

咱们能够看到，这些文档中的许多文档都是从两个主题中抽取进去的，但文档6简直齐全是从主题2中得出的，其中有一个主题1靠近零。为了查看这个答案，咱们能够查看该文档中最常见的词。

#> # A tibble: 287 x 3#>    document term           count#>       <int> <chr>          <dbl>#>  1        6 noriega           16#>  2        6 panama            12#>  3        6 jackson            6#>  4        6 powell             6#>  5        6 administration     5#>  6        6 economic           5#>  7        6 general            5#>  8        6 i                  5#>  9        6 panamanian         5#> 10        6 american           4#> # … with 277 more rows

 

依据最常见的词汇，能够看出该算法将其分组到主题2（作为政治/国家新闻）是正确的。

 

最受欢迎的见解

1.探析大数据期刊文章钻研热点

2.618网购数据盘点-剁手族在关注什么

3.r语言文本开掘tf-idf主题建模，情感剖析n-gram建模钻研

4.python主题建模可视化lda和t-sne交互式可视化

5.r语言文本开掘nasa数据网络剖析，tf-idf和主题建模

6.python主题lda建模和t-sne可视化

7.r语言中对文本数据进行主题模型topic-modeling剖析

8.r语言对nasa元数据进行文本开掘的主题建模剖析

9.python爬虫进行web抓取lda主题语义数据分析