乐趣区

关于python:十年老Python程序员给我一个链接没有我不能爬的视频只有我顶不住的视频

jiezi

一、写在后面

真的，为什么他人发游戏这么多人看，我发了两次了加起来才一百个。

算了算了，不整游戏了，反正你们也不爱看~

明天来试试把头条上扭腰上热门的那些妹子爬一爬，不晓得我顶不顶得住~

二、筹备工作

1、应用的环境
  • python 3.8
  • pycharm 2021.2 专业版
2、要用的第三方模块
  • selenium
  • requests
  • parsel

三、大抵流程

鉴于你们不喜爱我啰嗦，然而流程呢，我还是要给你们写进去，所以我就独自把它列出来了。

1、网站剖析(明确需要)
  1. 在视频网页源代码当中找到 embedUrl 对应的链接；
  2. 在链接当中找到视频播放地址，在元素面板当中；
  3. 发现法则 embedUrl 下面的 groupby_id 其实就是以后视频链接上的 id，下载视频的时候 就只须要 一个 id 就能够下载视频；
2、代码实现过程
  1. 构建 embedUrl
  2. 应用 selenium 拜访该链接
  3. 提取视频链接地址
  4. 拼接视频链接地址
  5. 应用 requests 发送申请 并且获取视频二进制数据
  6. 保留视频

四、代码展现剖析

首先导入一下模块

import requests
from selenium import webdriver

进入浏览器设置

options = webdriver.ChromeOptions()

1、构建 embedUrl

group_id = input("请输出你要下载视频的 id:")
url = 'https://www.ixigua.com/embed?group_id=' + group_id

无头浏览器

options.add_argument("--headless")

加一个假装

options.add_argument('User-Agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"')

2、应用 selenium 拜访该链接
driver: 浏览器

driver = webdriver.Chrome(executable_path="chromedriver.exe", options=options)

关上一个网页
驱动配置: 代码操作浏览器的一个中间人

driver.get(url)

隐式期待: 最多期待五秒 如果一秒钟加载完了 继续执行

driver.implicitly_wait(5)

3、提取视频链接地址

info = driver.find_elements_by_xpath('//*[@id="player_default"]/xg-controls/xg-definition/ul/li[1]')
video_url = info[0].get_attribute("url")

4、拼接视频链接地址

video_url = 'http:' + video_url

5、应用 requests 发送申请 并且获取视频二进制数据

video_data = requests.get(video_url).content
with open('1.mp4', mode='wb') as f:
    f.write(video_data)

五、所有代码

import requests
from selenium import webdriver

# 进入浏览器设置
options = webdriver.ChromeOptions()
# 1. 构建 embedUrl https://www.ixigua.com/embed?group_id=7029910152576926238
group_id = input("请输出你要下载视频的 id:")
url = 'https://www.ixigua.com/embed?group_id=' + group_id
# 无头浏览器
options.add_argument("--headless")
# 加一个假装
options.add_argument('User-Agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"')
# 2. 应用 selenium 拜访该链接
# driver: 浏览器
driver = webdriver.Chrome(executable_path="chromedriver.exe", options=options)
# 关上一个网页
# 驱动配置: 代码操作浏览器的一个中间人
driver.get(url)
# 隐式期待: 最多期待五秒 如果一秒钟加载完了 继续执行
driver.implicitly_wait(5)
# 3. 提取视频链接地址
info = driver.find_elements_by_xpath('//*[@id="player_default"]/xg-controls/xg-definition/ul/li[1]')
video_url = info[0].get_attribute("url")
# 4. 拼接视频链接地址
video_url = 'http:' + video_url
# 5. 应用 requests 发送申请 并且获取视频二进制数据
video_data = requests.get(video_url).content
with open('1.mp4', mode='wb') as f:
    f.write(video_data)
print("爬取胜利!!!")
#留了报错，看看大家够不够机智找进去

兄弟们看完感觉有帮忙，记得点赞三连哇~

退出移动版