共计 3517 个字符，预计需要花费 9 分钟才能阅读完成。
前言
上篇文章，说到了，爬取 LOL 英雄皮肤的高清图片，最近有事，也没怎么去研究，所以，现在才去看了下，并且写了 Python 脚本来抓取皮肤图片。需要说明一下，这个脚本有部分英雄没有抓取到，但是具体原因，我目前还没搞懂，我是相当纳闷的。大家有兴趣的，可以看看后面遗留问题，一起研究下。
爬虫思路
初步尝试
我先查看了 network，并没有发现有可用的 API；然后又用 bs4 去分析英雄列表页，但是请求到 html 里面，并没有英雄列表，在英雄列表的节点上，只有“正在加载中”这样的字样；同样的方法，分析英雄详情也是这种情况，所以我猜测，这些数据应该是 Javascript 负责加载的。
继续尝试
然后我就查看了英雄列表的源代码，查看外部引入的 js 文件，以及行内的 js 脚本，大概在 368 行，发现了有处理英雄列表的 js 注释，然后继续往下读这些代码，发现了第一个彩蛋，也就是他引入了一个 champion.js 的文件，我猜测，这个应该就是英雄列表大全了，然后我打开了这个链接的 js，一眼看过去，黑麻麻一片，然后格式化了一下压缩的 js，确定这就是英雄列表的 js 数据文件了。
接着尝试
前面通过查看列表的源代码，找到了英雄列表的 js 数据文件，那么，我继续随机点开了一个英雄的详情，然后查看英雄详情源代码，然后大概在 568 行看到有一个 showSkin 的 js 方法，通过这里，发现了第二个彩蛋，也就是皮肤图片的 URL 地址拼接方法。
最后尝试
上面找到了皮肤图片 URL 的拼接方法，并且发现了一行很关键的代码 var skin =LOLherojs.champion[heroid].data.skins，也就是，这个 skin 变量，就是英雄皮肤的所有图片数组，但是这个文件内，并没有 LOLherojs 这个变量，也就是外部引入的，所以，需要继续查看下面的源代码，找到引入这个变量的位置，果不其然，在 757 行，发现了最后一个彩蛋，也就是，英雄皮肤的 js 文件，通过这里可以知道，每个英雄都有一个单独的 js 文件，并且知道了这个 js 文件的 URL 拼接方法。
思路总结
通过上面的分析，我们就得到了爬取 LOL 皮肤图片的所有数据准备了，也就是，直接，只需要提取 js 中的英雄列表以及英雄详情数据，就可实现我们的需求了。下面是运行后抓取到的图片……
运行环境
Python 运行环境：python3.6 用到的模块：requests、json、urllib、os 未安装的模块，请使用 pip instatll 进行安装，例如：pip install requests
完整代码
其他啥的废话就不多说了，直接上完整代码，有问题，直接留言给我就行，另外，代码已上传 GitHub。再说明一下，那些有问题的英雄详情的 js 文件，大家有时间也可以琢磨下，或者有其他的更加快捷的爬取这些图片的方法，也可以拿出来交流和讨论，谢谢。
#!/usr/bin/env python
# -*- coding: utf-8 -*-
“””
抓取英雄联盟英雄全皮肤
author: gxcuizy
date: 2018-11-13
“””
import requests
import json
from urllib import parse
import os
class GetLolSkin(object):
“”” 抓取 LOL 英雄皮肤 ”””
def __init__(self):
“”” 初始化变量 ”””
self.hero_url = ‘https://lol.qq.com/biz/hero/champion.js’
self.hero_detail_url = ‘http://lol.qq.com/biz/hero/’
self.skin_folder = ‘skin’
self.skin_url = ‘https://ossweb-img.qq.com/images/lol/web201310/skin/big’
@staticmethod
def get_html(url):
“”” 下载 html”””
request = requests.get(url)
request.encoding = ‘gbk’
if request.status_code == 200:
return request.text
else:
return “{}”
def get_hero_list(self):
“”” 获取英雄的完整信息列表 ”””
hero_js = self.get_html(self.hero_url)
# 删除左右的多余信息，得到 json 数据
out_left = “if(!LOLherojs)var LOLherojs={};LOLherojs.champion=”
out_right = ‘;’
hero_list = hero_js.replace(out_left, ”).rstrip(out_right)
return json.loads(hero_list)
def get_hero_info(self, hero_id):
“”” 获取英雄的详细信息 ”””
# 获取 js 详情
detail_url = parse.urljoin(self.hero_detail_url, hero_id + ‘.js’)
detail_js = self.get_html(detail_url)
# 删除左右的多余信息，得到 json 数据
out_left = “if(!herojs)var herojs={champion:{}};herojs[‘champion’][%s]=” % hero_id
out_right = ‘;’
hero_info = detail_js.replace(out_left, ”).rstrip(out_right)
return json.loads(hero_info)
def download_skin_list(self, skin_list, hero_name):
“”” 下载皮肤列表 ”””
# 循环下载皮肤
for skin_info in skin_list:
# 拼接图片名字
if skin_info[‘name’] == ‘default’:
skin_name = ‘ 默认皮肤 ’
else:
if ‘ ‘ in skin_info[‘name’]:
name_info = skin_info[‘name’].split(‘ ‘)
skin_name = name_info[0]
else:
skin_name = skin_info[‘name’]
hero_skin_name = hero_name + ‘-‘ + skin_name + ‘.jpg’
self.download_skin(skin_info[‘id’], hero_skin_name)
def download_skin(self, skin_id, skin_name):
“”” 下载皮肤图片 ”””
# 下载图片
img_url = self.skin_url + skin_id + ‘.jpg’
request = requests.get(img_url)
if request.status_code == 200:
print(‘downloading……%s’ % skin_name)
img_path = os.path.join(self.skin_folder, skin_name)
with open(img_path, ‘wb’) as img:
img.write(request.content)
else:
print(‘img error!’)
def make_folder(self):
“”” 初始化，创建图片文件夹 ”””
if not os.path.exists(self.skin_folder):
os.mkdir(self.skin_folder)
def run(self):
# 获取英雄列表信息
hero_json = self.get_hero_list()
hero_keys = hero_json[‘keys’]
# 循环遍历英雄
for hero_id, hero_code in hero_keys.items():
hero_name = hero_json[‘data’][hero_code][‘name’]
hero_info = self.get_hero_info(hero_id)
if hero_info:
skin_list = hero_info[‘result’][hero_id][‘skins’]
# 下载皮肤
self.download_skin_list(skin_list, hero_name)
else:
print(‘ 英雄【%s】的皮肤获取有问题……’ % hero_name)
# 程序执行入口
if __name__ == ‘__main__’:
lol = GetLolSkin()
# 创建图片存储文件
lol.make_folder()
# 执行脚本
lol.run()
