Python 爬虫豆瓣网热门话题保留文本本地数据,并实现简略可视化。
前言
明天给大家分享 Python 爬虫豆瓣网热门话题保留文本本地数据
开发环境:
windows10
python3.6.4
开发工具:
pycharm
库:
requests、WordCloud、pandas、jieba
代码展现
词云生成
爬虫代码过程
1、保留短评数据
通过浏览器“查看”剖析,失去 URL 数据接口。在一直往下刷新页面的过程中,发现 URL 中只有“start”参数一直产生变动,顺次为 0,20,40,60,80—
同时,为了破解“豆瓣”的防爬虫机制,申请数据时需携带“申请头(headers)”中的“User-Agent”和“Referer”两个参数。
源码
import requests
for i in range(0,200,20):
# 通过浏览器查看,失去数据的 URL 起源链接
url = 'https://m.douban.com/rexxar/api/v2/gallery/topic/125573/items?' \
'sort=new&start={}&count=20&status_full_text=1&guest_only=0&ck=null'.format(i)
# 破解防爬虫,带上申请头
# 这两个不能省略
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0".3809.100 Safari/537.36','Referer':'https://www.douban.com/gallery/topic/125573/?from=gallery_trend&sort=hot'}
# 发送申请,获取响应
reponse = requests.get(url, headers=headers)
html = reponse.json()
# 解析数据,取得短评
# 保留到本地
for j in range(19):
abs = html['items'][j]['abstract']
with open("want_after.txt", "a", encoding='utf-8') as f:
f.write(abs)
print(abs)
2、词云可视化
把数据保留之后,须要利用“jieba”对数据进行分词;进而,通过分词后的数据绘制词云“wordcloud”,可视化展现数据。
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import pandas as pd
import jieba
# 取得 wordcloud 须要的 文本格式
with open("want_after.txt", "r", encoding='utf-8') as f:
text = ' '.join(jieba.cut(f.read(),cut_all=False))
# print(text)
backgroud_Image = plt.imread('豆瓣.jpg') # 背景图
# 词云的一些参数设置
wc = WordCloud(
background_color='white',
mask=backgroud_Image,
font_path='SourceHanSerifCN-Medium.otf',
max_words=200,
max_font_size=200,
min_font_size=8,
random_state=50,
)
# 生成词云
word_cloud = wc.generate_from_text(text)
plt.imshow(word_cloud)
plt.axis('off')
wc.to_file('后果.jpg')
3、高频词统计
# 看看词频高的有哪些
process_word = WordCloud.process_text(wc, text)
sort = sorted(process_word.items(), key=lambda e: e[1], reverse=True)
sort_after = sort[:50]
print(sort_after)
# 把数据存成 csv 文件
df = pd.DataFrame(sort_after)
# 保障不乱码
df.to_csv('sort_after.csv', encoding='utf_8_sig')
文章到这里就完结了,感激你的观看,Python 数据分析系列,下篇文章分享 Python 爬取鲁迅学生《经典语录》
为了感激读者们,我想把我最近珍藏的一些编程干货分享给大家,回馈每一个读者,心愿能帮到你们。
干货次要有:
① 2000 多本 Python 电子书(支流和经典的书籍应该都有了)
② Python 规范库材料(最全中文版)
③ 我的项目源码(四五十个乏味且经典的练手我的项目及源码)
④ Python 根底入门、爬虫、web 开发、大数据分析方面的视频(适宜小白学习)
⑤ Python 学习路线图(辞别不入流的学习)
⑥ 两天的 Python 爬虫训练营直播权限
All done~详见个人简介或者私信获取残缺源代码。。
往期回顾
Python 实现“假”数据
Python 爬虫鲁迅学生《经典语录》