共计 4163 个字符,预计需要花费 11 分钟才能阅读完成。
# 前言
大家好,明天给大家讲一讲 Python 的综合实战演练内容——以公众都十分青睐的火锅为例, 如何用咱们把握的 Python 语言,去获取全国不同城市火锅店数量状况,并将这些数据进行可视化展现呢?
接下来我将带大家实现这一操作, 以某度地图数据为根底,通过 Python 技术常识去获取数据并进行可视化。 呈现出以更加直观的形式去浏览全国不同省份、不同城市的火锅店散布状况。与此同时,文末我将给大家整顿出数据可视化所需的材料,分享给大家。
1. 网页剖析
首先先看一下数据源,在某度地图外面依照下方操作,就能够申请到全国的火锅店状况(从下图来看没有显示进去,然而通过 Network,能够看到数据)
在 network 中,找到上面这个数据包
关上之后能够看到 json 数据
2. 获取数据
对网页剖析好之后,接下来能够借助 Python 技术进行获取数据,并保留到 excel 中。
导入相干库
import json
import requests
import openpyxl</pre>
申请数据
上面开始编写申请数据代码(申请时记得带上 headers)
### 申请头 headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36",'Referer':'https://map.baidu.com/@12949550.923158279,3712445.9716704674,6.28z',"Cookie":";"你的 cookie",}
## 申请链接 url = "https://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&from=webmap&da_par=direct&pcevaname=pc4.1&qt=s&da_src=searchBox.button&wd=%E7%81%AB%E9%94%85%E5%BA%97&c=1&src=0&wd2=&pn=0&sug=0&l=6&b=(10637065.476146251,2368134.592189369;12772445.910805061,5056757.351151566)&from=webmap&biz_forward={%22scaler%22:1,%22styles%22:%22pl%22}&sug_forward=&auth=NTSwAZUMzIaTTdWD4WAv0731cWF3MQEauxLxREHzERRtykiOxAXXw1GgvPUDZYOYIZuVt1cv3uVtGccZcuVtPWv3GuztQZ3wWvUvhgMZSguxzBEHLNRTVtcEWe1GD8zv7ucvY1SGpuxVthgW1aDeuxtf0wd0vyMySFIAFM7ueh33uTtAffbDF&seckey=c6d9c7e05d7e627c56ed46fab5d7c5c792064779599d5e12b955a6f18a1204375d1588206c94d22e4bdd1ade0ad06e78c21917e24c6223b96bc51b75ca38651a1b203a0609f126163c5e82fd0549a068e537303424837ab798acfc9088e5d76a66451c20ebd9599b41c9b4f1371850d20fa442ad464712f54c912422f4fa20b3052f8bb810f30d41c7c0e55af68f9d9d973537f03d0aa0a1d1617d78cae29b49c64c2d2dc3f44cf0f8799234b124a7a2dec18bfa011e097e31a508eae37b8603f97df8f935f04b3652f190eac52d04816f302a582c53971e515ff2e0e2b4cc30446e0bee48d51c4be8b6fe4185589ed9&device_ratio=1&tn=B_NORMAL_MAP&nn=0&u_loc=12677548,2604239&ie=utf-8&t=1618452491622"
### 响应数据 response = requests.get(url,headers=headers).json()
这里的 cookie 能够在浏览器 network 中复制即可。
通过返回的 json 数据可晓得,咱们的指标数据在 more\_city 中,外面是列表数据是省份(provice 是省份名称,num 是火锅店数量),紧接着每一个省份里都有 city(列表),外面是对应着省份的城市(name 是城市名称,num 是对应城市火锅店数量)
response = response['more_city']
for i in response:
city = i['city']
print(i['province'])
print(i['num'])
for j in city:
print(j['name'])
print(j['num'])
保留到 excel
省份和城市别离保留到两个不同的 excel 中
outwb_p = openpyxl.Workbook()
outws_p = outwb_p.create_sheet(index=0)
outws_p.cell(row=1, column=1, value="省份")
outws_p.cell(row=1, column=2, value="数量")
outwb_c = openpyxl.Workbook()
outws_c = outwb_c.create_sheet(index=0)
outws_c.cell(row=1, column=1, value="城市")
outws_c.cell(row=1, column=2, value="数量")
##################
### 在循环中写入数据
##################
### 保留全国省份火锅数量 - 李运辰”outwb_p.save("全国省份火锅数量 - 李运辰.xls") # 保留
### 保留全国城市火锅数量 - 李运辰”outwb_c.save("全国城市火锅数量 - 李运辰.xls") # 保留
3. 数据可视化
1. 全国火锅店数量散布
datafile = u'全国省份火锅数量 - 李运辰.xls'
data = pd.read_excel(datafile)
attr = data['省份'].tolist()
value = data['数量'].tolist()
name = []
for i in attr:
if "省" in i:
name.append(i.replace("省",""))
else:
name.append(i)
from pyecharts import options as opts
from pyecharts.charts import Map
from pyecharts.faker import Faker
c = (Map()
.add("数量", [list(z) for z in zip(name, value)], "china")
.set_global_opts(title_opts=opts.TitleOpts(title="全国火锅店数量散布状况"))
.render("全国火锅店数量散布状况.html")
)
还能够这样画
datafile = u'全国省份火锅数量 - 李运辰.xls'
df = pd.read_excel(datafile)
province_distribution = df[['省份', '数量']].values.tolist()
geo = Geo()
geo.set_series_opts(label_opts=opts.LabelOpts(is_show=False))
geo.add_schema(maptype="china")
geo.set_global_opts(visualmap_opts=opts.VisualMapOpts(max_=110000))
# 退出数据
geo.add('全国火锅店数量散布状况图 2', province_distribution, type_=ChartType.EFFECT_SCATTER)
geo.render("全国火锅店数量散布状况图 2.html")
2. 四川火锅店数量散布
为了绘制城市的分布图,抉择了四川省为例进行绘制(如果要绘制全国的所有城市,那样进去的图稀稀拉拉,不美观)
datafile = u'全国城市火锅数量 - 李运辰.xls'
data = pd.read_excel(datafile)
city = data['城市'].tolist()
values2 = data['数量'].tolist()
### 四川
name = []
value = []
flag = 0
for i in range(0,len(city)):
if city[i] =="绵阳市":
flag = 1
if flag:
name.append(city[i])
value.append(int(values2[i]))
if city[i] =="甘孜藏族自治州":
name.append(city[i])
value.append(int(values2[i]))
break
c = (Map()
.add("四川火锅店数量散布", [list(z) for z in zip(name, value)], "四川")
.set_global_opts(title_opts=opts.TitleOpts(title="四川火锅店数量散布"), visualmap_opts=opts.VisualMapOpts())
.render("四川火锅店数量散布.html")
)
写在最初(附实用学习材料)
本篇文章的内容旨对可视化实战操作做一个简略的举例剖析,没有做过多的深刻探讨。撰写本文的初衷在于抛砖引玉,要想做到真正的死记硬背,毫无疑问须要更深层次的学习,上面我给大家整顿了一些 Python 可视化实战练习的参考学习材料与视频(这里只做简略展现),以便于大家学习与更好施展,须要的敌人能够私信我支付