需要剖析
他人分享了很多网盘链接，本人每个手动去转存很浪费时间，而且，这些操作都是重复性劳动。与Pandownload的这个性能相似，不过pandownload因为一些起因无奈应用了，所以只能本人实现。
思路
思路其实很简略，就是齐全模仿人为操作，将网盘链接存起来。咱们能够把网盘链接分为两种，第一种是没有提取码的，第二种是有提取码的。前者比后者少一个提交提取码的步骤。那么，咱们
如何辨别，拜访一个网盘链接的时候，到底是哪种呢？
能够通过拜访页面的title来决定。
这种是无提取码的，后缀是无限度
这种是须要填写提取码的，后缀是请输出提取码，写代码的时候，截取后三个字儿提取码即可
填写Cookie信息
批量转存的前提是，咱们得登录，我这里实现的计划是间接从浏览器中获取到cookie信息，复制到代码中进行应用，查看网站的cookie信息能够用插件EditThisCookie
点击右上角导出Cookie，cookie就放在粘贴板中了，复制到代码中，而后应用循环，将所有cookie利用page.setCookie办法，将cookie搁置到以后申请上下文中
填写提取码
期待页面加载结束，找到输出提取码框的元素，找到其id，而后应用page.$$eval()办法获取并写入货色
能够看见，这里的id为accessCode。所以咱们只须要写
await page.$$eval('#accessCode', writeCode, code);async function writeCode(nodes, code) { for (let node of nodes) { node.value = code; }}就能够了。我这里是间接改的node.value，你也能够用puppeteer模仿人来填写。
提取文件
找到提取文件按钮，点击，而后期待跳转结束。
值得注意的是，咱们点击的肯定是A标签，其余标签须要进行过滤。
await page.$$eval('.g-button-blue-large', click);await page.waitFor(1000);async function click(nodes) { for (let node of nodes) { if (node.title === '提取文件') { await node.click(); } }}而后期待跳转即可
抉择要保留的文件
这里简略实现为，抉择全副文件，不过值得注意的是，如果是单文件，是不须要点击抉择全副文件的。能够通过判断元素是否存在判断是否有复选框，是否须要进行点击
如图，不过这里奇怪的是，class的值是一个不可读的字符串，我不确定这个值是不是与用户无关，所以这里就打码了。
既然须要做的就是找到这个元素，点击就行了，那咱们照着做就行
await page.$$eval('.zbyDdwb', selectAll);async function selectAll(nodes) { for (let node of nodes) { await node.click(); break; }}点击保留到网盘
与点击提取文件一样，找到目表按钮，而后点击就行，感兴趣的敌人，能够本人试试
弹出框抉择保留的文件门路
防止麻烦，这里写得比较简单，如果有抉择跟上一次样的框，那么就点击抉择跟上一次一样，如果没有，就间接存储在根目录下。（能够依据你想要的需要本人改）
抉择前
抉择后
能够发现，仅仅是扭转了Class的值，所以实现的时候，也扭转一下值就行
await page.$$eval('.save-path-item', chooseLocation);async function chooseLocation(nodes) { for (let node of nodes) { node.setAttribute('class', 'save-path-item check'); }}点击确定按钮
与之前几个按钮一样，咱们只须要找到确认按钮，点击就行了。
await page.$$eval('[title=确定]', confirm)async function confirm(nodes) { for (let node of nodes) { console.log(node.tagName); if (node.tagName === 'A') { await node.click(); } }}这样，整个逻辑就实现了。
残缺代码
为了程序能失常运行，须要退出一些额定的waitFor期待，防止操作太快导致的诸如IP封禁，元素未加载进去等乌七八糟的问题。同时，我这里数据都是从数据库中进去的，所以外面有与更新数据库状态的代码。
const Pan = require('../model/Pan');const {Cluster} = require('puppeteer-cluster');const crawler = require('./crawler');const cookies = [];async function selectAll(nodes) { console.log('selectAll',nodes.length); for (let node of nodes) { await node.click(); break; }}async function click(nodes) { console.log('click',nodes.length); for (let node of nodes) { if (node.title === '提取文件') { await node.click(); } }}async function writeCode(nodes, code) { console.log('writeCode',nodes.length); for (let node of nodes) { node.value = code; }}async function confirm(nodes) { console.log(nodes.length); for (let node of nodes) { console.log(node.tagName); if (node.tagName === 'A') { await node.click(); } }}async function clickSave(nodes) { for (let node of nodes) { if (node.tagName === 'A') { await node.click(); break; } }}async function chooseLocation(nodes) { for (let node of nodes) { node.setAttribute('class', 'save-path-item check'); }}async function saveBaidu() { const cluster = await Cluster.launch(crawler.clusterLanuchOptionsPan); await cluster.task(async ({page, data}) => { let {id, url, code} = data; for (let i = 0; i < cookies.length; i++) { await page.setCookie(cookies[i]); } await page.goto(url); await page.waitForSelector('html'); await page.content(); let title = await page.title(); let codeWrong = false; let used = true; let needCodeButNone = false; if (title.indexOf('提取码') !== -1) { // todo 填写提取码 if (code === '-' || code === '+') { needCodeButNone = true; } else { await page.$$eval('#accessCode', writeCode, code); await page.$$eval('.g-button-blue-large', click); await page.waitFor(1000); let content = await page.content(); if (content.indexOf('验证码谬误') !== -1) { used = false; } else if (content.indexOf('提取码谬误') !== -1) { codeWrong = true; used = false; } else { await page.waitFor(2000); } } } if (used && !needCodeButNone) { title = await page.title(); await page.waitFor(1000); console.log(title); if (title.indexOf('不存在') !== -1) { } else { // todo 找到title=保留到网盘的a标签并点击 let x = await page.$$('.zbyDdwb'); console.log(x.length); if (!(x === null || x===undefined || x.length === 0)){ await page.$$eval('.zbyDdwb', selectAll); } await page.$$eval('[title=保留到网盘]', clickSave); await page.$$eval('.save-path-item', chooseLocation); await page.waitFor(2000); await page.$$eval('[title=确定]', confirm); } } await Pan.update({ used: used, code_wrong: codeWrong, need_code: needCodeButNone }, { where: { id: id } }); await page.waitFor(3000); }); let pans = await Pan.findAll({ where: { site_id:12, reachable: true, used:false, code_wrong:false } }); console.log(pans.length); for (let i = 0; i < pans.length; i++) { if (pans[i].url.startsWith('http://pan.baidu') || pans[i].url.startsWith('https://pan.baidu')) { await cluster.queue({ id: pans[i].id, url: pans[i].url, code: pans[i].code }); } } await cluster.idle();}(async () => { await saveBaidu();})();// crawler.clusterLanuchOptionsPan 是启动配置项，如下const launchOptions = { headless: true, ignoreHTTPSErrors: true, // 疏忽证书谬误 waitUntil: 'networkidle2', defaultViewport: { width: 1920, height: 1080 }, args: [ '--disable-gpu', '--disable-dev-shm-usage', '--disable-web-security', '--disable-xss-auditor', // 敞开 XSS Auditor '--no-zygote', '--no-sandbox', '--disable-setuid-sandbox', '--allow-running-insecure-content', // 容许不平安内容 '--disable-webgl', '--disable-popup-blocking', //'--proxy-server=http://127.0.0.1:8080' // 配置代理 ], executablePath: 'C:\\Program Files (x86)\\Google\\Chrome\\Application\\chrome.exe',};const clusterLanuchOptionsPan = { concurrency: Cluster.CONCURRENCY_PAGE, // 单Chrome多tab模式 maxConcurrency: 1, // 并发的workers数 retryLimit: 2, // 重试次数 skipDuplicateUrls: true, // 不爬反复的url monitor: false, // 显示性能耗费 puppeteerOptions: launchOptions,};炒鸡辣鸡原创文章，转载请注明起源