关于python:认识爬虫如何使用-requests-模块根据电影类型爬取豆瓣电影排名前20的信息与评分

1、导入扩大模块

1# -*- coding: UTF-8 -*-
2# 导入网络申请模块 requests
3import requests
4# 导入 random 模块用来产生随机数
5import random

2、定义爬虫地址、并假装头部信息

 1# 定义申请的 url 接口 (须要申请的接口), 假如接口 https://movie.douban.com/j/new_search_subjects
 2url = 'https://movie.douban.com/j/new_search_subjects'
 3
 4# 初识 user-agent, 当时筹备 user-agent 用于头部信息假装
 5# 后续会说到如何生成 user-agent
 6user_agent = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88'
 7              'Safari/537.36',
 8              'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)',
 9              'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1'
10              'Safari/534.50'
11              ]
12
13# 定义申请头部信息 (字典类型)
14headers = {15    # User-Agent 信息用于伪装成用户拜访,random.randint(0,2) 随机取出数组中定义好的一个
16    'User-Agent': user_agent[random.randint(0, 2)]
17}

3、封装申请参数

1# 设置申请参数, 依据测试 range 必须赋值才能够取到数据
2params = {
3    'sort': '',
4    'range': '0,20',
5    'tags': '',
6    'start': '0',
7    'genres': '恋情',
8}

4、执行申请、并解决返回后果

 1# 执行 GET 申请
 2response = requests.get(url=url, headers=headers, params=params)
 3
 4# 打印响应信息, 返回为 json 数据
 5print response.content
 6
 7# 应用 response.json() 函数进行序列化输入
 8data_json = response.json()
 9print data_json
10
11# 提取 data_json 中的具体数据
12data_json_array = data_json['data']
13print data_json_array
14
15# 遍历获取电影名称、评分信息
16for data_line in data_json_array:
17    print '电影名称:', data_line['title'], '-> 评分:', data_line['rate']

更多精彩返回微信公众号【Python 集中营】，专一于 python 技术栈，材料获取、交换社区、干货分享，期待你的退出~