Puppeteer 是基于 nodejs 的爬取工具,玲珑轻便,它提供各种 API 来管制 Chrome 或 Chromium 浏览器,用来做为测试、爬虫都相当适合,并且所提供的 API 语法浅显易懂。
Puppeteer 地址
通过几句简略的语句,咱们能够是用 Puppeteer 爬取 Youtube 视频列表页面中的视频内容
const puppeteer = require('puppeteer')
const browser = await puppeteer.launch({args: ['--no-sandbox']
})
const page = await browser.newPage()
await page.goto('https://www.youtube.com/channel/UChaPcyq-uGOio8S_7-bguZA')
const html = await page.content()
await browser.close()
爬取的网页内容通过简略的筛选就能失去视频内容。
具体的我的项目请看视频:
https://www.bilibili.com/vide…
https://www.bilibili.com/vide…