关于算法:R语言文本挖掘tfidf主题建模情感分析ngram建模研究

48次阅读

共计 2063 个字符,预计需要花费 6 分钟才能阅读完成。

原文链接:http://tecdat.cn/?p=6864

咱们对 20 个 Usenet 布告板的 20,000 条音讯进行剖析。此数据集中的 Usenet 布告板包含新汽车,体育和密码学等主题。

预处理

咱们首先浏览 20news-bydate 文件夹中的所有音讯,这些音讯组织在子文件夹中,每个音讯都有一个文件。

raw_text
## # A tibble: 511,655 x 3
##    newsgroup   id    text                                                              
##    <chr>       <chr> <chr>                                                             
##  1 alt.atheism 49960 From: mathew <mathew@mantis.co.uk>                                
##  2 alt.atheism 49960 Subject: Alt.Atheism FAQ: Atheist Resources                       
##  3 alt.atheism 49960 Summary: Books, addresses, music -- anything related to atheism   
##  4 alt.atheism 49960 Keywords: FAQ, atheism, books, music, fiction, addres
## # … with 511,645 more rows

请留神该 newsgroup 列形容了每条音讯来自哪 20 个新闻组,以及 id 列,用于标识该新闻组中的音讯。

tf-idf

TF 是词频(Term Frequency),IDF 是逆文本频率指数(Inverse Document Frequency)。咱们心愿新闻组在主题和内容方面有所不同,因而,它们之间的词语频率也不同。

newsgroup_cors
## # A tibble: 380 x 3
##    item1                    item2                    correlation
##    <chr>                    <chr>                          <dbl>
##  1 talk.religion.misc       soc.religion.christian         0.835
##  2 soc.religion.christian   talk.religion.misc             0.835
##  3 alt.atheism              talk.religion.misc             0.779
##  4 talk.religion.misc       alt.atheism                    0.779
##  5 alt.atheism              soc.religion.christian         0.751
##  6 soc.religion.christian   alt.atheism                    0.751
##  7 comp.sys.mac.hardware    comp.sys.ibm.pc.hardware       0.680
##  8 comp.sys.ibm.pc.hardware comp.sys.mac.hardware          0.680
##  9 rec.sport.baseball       rec.sport.hockey               0.577
## 10 rec.sport.hockey         rec.sport.baseball             0.577
## # … with 370 more rows

主题建模

 LDA 能够整顿来自不同新闻组的 Usenet 音讯吗?

主题 1 当然代表 sci.space 新闻组(因而最常见的词是“空间”),主题 2 可能来自密码学,应用诸如“密钥”和“加密”之类的术语。

   

情绪剖析

咱们能够应用咱们 探讨的情绪剖析技术来查看这些 Usenet 帖子中呈现的侧面和负面词的频率。哪些新闻组总体上最踊跃或最消极?

在这个例子中,咱们将应用 AFINN 情感词典,它为每个单词提供积极性分数,并用条形图可视化

用语言剖析情绪

值得深刻理解_为什么_有些新闻组比其余新闻组更踊跃或更消极。为此,咱们能够查看每个单词的总踊跃和消极贡献度。

N-gram 剖析

Usenet 数据集是一个古代文本语料库,因而咱们会对本文中的情绪剖析感兴趣.


正文完
 0