共计 2760 个字符，预计需要花费 7 分钟才能阅读完成。
原文链接：http://tecdat.cn/?p=5673
原文出处：拓端数据部落公众号
《第_二十二_条军规》是美国作家约瑟夫·海勒创作的长篇小说，该小说以第二次世界大战为背景，通过对驻扎在地中海一个名叫皮亚诺扎岛（此岛为作者所虚构）上的美国空军航行大队所产生的一系列事件的刻画，揭示了一个非理性的、无秩序的、梦魇似的荒诞世界。我喜爱整本书中语言的创造性应用和荒诞人物的互动。本文对该小说进行文本开掘和可视化。
数据集
该文有大概 175,000 个单词，分为 42 章。我在网上找到了这本书的原始文本版本。
我应用正则表达式和简略字符串匹配的组合在 Python 中解析文本。
我 shiny 在 R 中以交互方式可视化这些数据集。
地理图
geo<- catch22\[(geo$Time > chapters\[1\]) & (geo$Time < (chapters\[2\] + 1)),\]
paths_sub <- paths\[(paths$time > chapters\[1\]) & (paths$time < (chapters\[2\] + 1)),\]
# 绘图
p <- ggplot() + borders("world", colour="black", fill="lightyellow") +
ylab(NULL) + xlab(NULL) +
# 仅在有条件的状况下尝试绘制地位和门路
if (nrow( geo_sub) != 0) {p + geom\_point(data= geo\_sub, aes(x = Lon, y = Lat), size=3, colour='red') +
geom\_point(data= paths\_sub\[1,\], aes(x = lon, y = lat), size=3, colour='red') +
geom\_path(data= paths\_sub, aes(x = lon, y = lat, alpha=alpha), size=.7,
可视化映射了整本书中提到的地中海四周地位。
人物章节关系
ggplot(catch22, aes(x=Chapter, y=Character, colour=cols)) +
geom_point(size=size, shape='|', alpha=0.8) +
scale\_x\_continuous(limits=c(chapters\[1\],(chapters\[2\] + 1)), expand=c(0,0), breaks=(1:42)+0.5, labels=labs) +
ylab(NULL) + xlab('Chapter') +
theme(axis.text.x = element_text(colour = "black", angle = 45, hjust = 1, vjust=1.03),
axis.text.y = element_text(colour = "black"),
axis.title.x = element_text(vjust=5),
plot.title = element_text(vjust=1)) +
该图基本上代表了书中提到不同人物的序列。
我将数据绘制为规范散点图，章节为 x 轴（因为它与工夫类似），人物为离散 y 轴。
人物共现矩阵
ggplot(coloca, aes(x=Character, y=variable, alpha=alpha)) +
geom_tile(aes(fill=factor(cluster)), colour='white') +
ylab(NULL) + xlab(NULL) +
theme(axis.text.x = element_text(colour = "black", angle = 45, hjust = 1, vjust=1.03),
axis.text.y = element_text(colour = "black"),
axis.ticks.y = element_blank(),
axis.ticks.x = element_blank(),
panel.grid.minor = element_line(colour = "white", size = 1),
panel.grid.major = element_blank()) +
scale\_fill\_manual(values = cols, guide = FALSE) +
scale\_alpha\_continuous(guide = FALSE)
用于构建此可视化的数据与前一个中应用的数据完全相同，但须要进行大量的转换。
聚类为此图增加了另一个维度。在整本书上利用档次聚类，以尝试在角色中找到社群。应用 AGNES 算法对字符进行聚类。对不同聚类计划进行人工查看发现最优聚类，因为更频繁呈现的角色占主导地位起码。这是六个簇的树形图：
ag <- agnes(cat2\[,-1\], method="complete", stand=F)
# 从树状图中切出聚类
cluster <- cutree(ag, k=clusters)
应该留神，聚类是在整个文本上执行的，而不是章节。按聚类排序会将角色带入严密的社区，让观众也能够看到角色之间的某些交互。
特色词
ggplot(pos2, aes(Chapter, normed, colour=Word, fill=Word)) +
scale\_color\_brewer(type='qual', palette='Set1', guide = FALSE) +
scale\_fill\_brewer(type='qual', palette='Set1') +
scale\_y\_continuous(limits=c(0,y_max), expand=c(0,0)) +
ylab('Relative Word Frequency') + xlab('Chapter') +
重叠条形图更好地显示了单词所在的章节。
论断
我在这个过程中学到了很多货色，无论是在应用方面，还是在 shiny。
正文完