1、导入扩大模块

1# -*- coding: UTF-8 -*-2# 导入网络申请模块 requests3import requests4# 导入 random 模块用来产生随机数5import random

2、定义爬虫地址、并假装头部信息

 1# 定义申请的 url 接口(须要申请的接口),假如接口 https://movie.douban.com/j/new_search_subjects 2url = 'https://movie.douban.com/j/new_search_subjects' 3 4# 初识 user-agent,当时筹备 user-agent 用于头部信息假装 5# 后续会说到如何生成 user-agent 6user_agent = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 ' 7              'Safari/537.36', 8              'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)', 9              'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 '10              'Safari/534.50 '11              ]1213# 定义申请头部信息(字典类型)14headers = {15    # User-Agent 信息用于伪装成用户拜访,random.randint(0,2) 随机取出数组中定义好的一个16    'User-Agent': user_agent[random.randint(0, 2)]17}

3、封装申请参数

1# 设置申请参数,依据测试 range 必须赋值才能够取到数据2params = {3    'sort': '',4    'range': '0,20',5    'tags': '',6    'start': '0',7    'genres': '恋情',8}

4、执行申请、并解决返回后果

 1# 执行 GET 申请 2response = requests.get(url=url, headers=headers, params=params) 3 4# 打印响应信息,返回为 json 数据 5print response.content 6 7# 应用response.json() 函数进行序列化输入 8data_json = response.json() 9print data_json1011# 提取 data_json 中的具体数据12data_json_array = data_json['data']13print data_json_array1415# 遍历获取电影名称、评分信息16for data_line in data_json_array:17    print '电影名称:', data_line['title'], ' -> 评分:', data_line['rate']

更多精彩返回微信公众号【Python 集中营】，专一于 python 技术栈，材料获取、交换社区、干货分享，期待你的退出~