共计 5177 个字符,预计需要花费 13 分钟才能阅读完成。
需要剖析
他人分享了很多网盘链接,本人每个手动去转存很浪费时间,而且,这些操作都是重复性劳动。与 Pandownload 的这个性能相似,不过 pandownload 因为一些起因无奈应用了,所以只能本人实现。
思路
思路其实很简略,就是齐全模仿人为操作,将网盘链接存起来。咱们能够把网盘链接分为两种,第一种是没有提取码的,第二种是有提取码的。前者比后者少一个提交提取码的步骤。那么,咱们
如何辨别,拜访一个网盘链接的时候,到底是哪种呢?
能够通过拜访页面的 title 来决定。
这种是无提取码的,后缀是 无限度
这种是须要填写提取码的,后缀是 请输出提取码,写代码的时候,截取后三个字儿提取码即可
填写 Cookie 信息
批量转存的前提是,咱们得登录,我这里实现的计划是间接从浏览器中获取到 cookie 信息,复制到代码中进行应用,查看网站的 cookie 信息能够用插件 EditThisCookie
点击右上角导出 Cookie,cookie 就放在粘贴板中了,复制到代码中,而后应用循环,将所有 cookie 利用 page.setCookie 办法,将 cookie 搁置到以后申请上下文中
填写提取码
期待页面加载结束,找到输出提取码框的元素,找到其 id,而后应用 page.$$eval()办法获取并写入货色
能够看见,这里的 id 为 accessCode。所以咱们只须要写
await page.$$eval('#accessCode', writeCode, code);
async function writeCode(nodes, code) {for (let node of nodes) {node.value = code;}
}
就能够了。我这里是间接改的 node.value,你也能够用 puppeteer 模仿人来填写。
提取文件
找到提取文件按钮,点击,而后期待跳转结束。
值得注意的是,咱们点击的肯定是 A 标签,其余标签须要进行过滤。
await page.$$eval('.g-button-blue-large', click);
await page.waitFor(1000);
async function click(nodes) {for (let node of nodes) {if (node.title === '提取文件') {await node.click();
}
}
}
而后期待跳转即可
抉择要保留的文件
这里简略实现为,抉择全副文件,不过值得注意的是,如果是单文件,是不须要点击抉择全副文件的。能够通过判断元素是否存在判断是否有复选框,是否须要进行点击
如图,不过这里奇怪的是,class 的值是一个不可读的字符串,我不确定这个值是不是与用户无关,所以这里就打码了。
既然须要做的就是找到这个元素,点击就行了,那咱们照着做就行
await page.$$eval('.zbyDdwb', selectAll);
async function selectAll(nodes) {for (let node of nodes) {await node.click();
break;
}
}
点击保留到网盘
与点击提取文件一样,找到目表按钮,而后点击就行,感兴趣的敌人,能够本人试试
弹出框抉择保留的文件门路
防止麻烦,这里写得比较简单,如果有抉择跟上一次样的框,那么就点击抉择跟上一次一样,如果没有,就间接存储在根目录下。(能够依据你想要的需要本人改)
抉择前
抉择后
能够发现,仅仅是扭转了 Class 的值,所以实现的时候,也扭转一下值就行
await page.$$eval('.save-path-item', chooseLocation);
async function chooseLocation(nodes) {for (let node of nodes) {node.setAttribute('class', 'save-path-item check');
}
}
点击确定按钮
与之前几个按钮一样,咱们只须要找到确认按钮,点击就行了。
await page.$$eval('[title= 确定]', confirm)
async function confirm(nodes) {for (let node of nodes) {console.log(node.tagName);
if (node.tagName === 'A') {await node.click();
}
}
}
这样,整个逻辑就实现了。
残缺代码
为了程序能失常运行,须要退出一些额定的 waitFor 期待,防止操作太快导致的诸如 IP 封禁,元素未加载进去等乌七八糟的问题。同时,我这里数据都是从数据库中进去的,所以外面有与更新数据库状态的代码。
const Pan = require('../model/Pan');
const {Cluster} = require('puppeteer-cluster');
const crawler = require('./crawler');
const cookies = [];
async function selectAll(nodes) {console.log('selectAll',nodes.length);
for (let node of nodes) {await node.click();
break;
}
}
async function click(nodes) {console.log('click',nodes.length);
for (let node of nodes) {if (node.title === '提取文件') {await node.click();
}
}
}
async function writeCode(nodes, code) {console.log('writeCode',nodes.length);
for (let node of nodes) {node.value = code;}
}
async function confirm(nodes) {console.log(nodes.length);
for (let node of nodes) {console.log(node.tagName);
if (node.tagName === 'A') {await node.click();
}
}
}
async function clickSave(nodes) {for (let node of nodes) {if (node.tagName === 'A') {await node.click();
break;
}
}
}
async function chooseLocation(nodes) {for (let node of nodes) {node.setAttribute('class', 'save-path-item check');
}
}
async function saveBaidu() {const cluster = await Cluster.launch(crawler.clusterLanuchOptionsPan);
await cluster.task(async ({page, data}) => {let {id, url, code} = data;
for (let i = 0; i < cookies.length; i++) {await page.setCookie(cookies[i]);
}
await page.goto(url);
await page.waitForSelector('html');
await page.content();
let title = await page.title();
let codeWrong = false;
let used = true;
let needCodeButNone = false;
if (title.indexOf('提取码') !== -1) {
// todo 填写提取码
if (code === '-' || code === '+') {needCodeButNone = true;} else {await page.$$eval('#accessCode', writeCode, code);
await page.$$eval('.g-button-blue-large', click);
await page.waitFor(1000);
let content = await page.content();
if (content.indexOf('验证码谬误') !== -1) {used = false;} else if (content.indexOf('提取码谬误') !== -1) {
codeWrong = true;
used = false;
} else {await page.waitFor(2000);
}
}
}
if (used && !needCodeButNone) {title = await page.title();
await page.waitFor(1000);
console.log(title);
if (title.indexOf('不存在') !== -1) { } else {
// todo 找到 title= 保留到网盘的 a 标签并点击
let x = await page.$$('.zbyDdwb');
console.log(x.length);
if (!(x === null || x===undefined || x.length === 0)){await page.$$eval('.zbyDdwb', selectAll);
}
await page.$$eval('[title= 保留到网盘]', clickSave);
await page.$$eval('.save-path-item', chooseLocation);
await page.waitFor(2000);
await page.$$eval('[title= 确定]', confirm);
}
}
await Pan.update({
used: used,
code_wrong: codeWrong,
need_code: needCodeButNone
}, {
where: {id: id}
});
await page.waitFor(3000);
});
let pans = await Pan.findAll({
where: {
site_id:12,
reachable: true,
used:false,
code_wrong:false
}
});
console.log(pans.length);
for (let i = 0; i < pans.length; i++) {if (pans[i].url.startsWith('http://pan.baidu') || pans[i].url.startsWith('https://pan.baidu')) {
await cluster.queue({id: pans[i].id,
url: pans[i].url,
code: pans[i].code
});
}
}
await cluster.idle();}
(async () => {await saveBaidu();
})();
// crawler.clusterLanuchOptionsPan 是启动配置项,如下
const launchOptions = {
headless: true,
ignoreHTTPSErrors: true, // 疏忽证书谬误
waitUntil: 'networkidle2',
defaultViewport: {
width: 1920,
height: 1080
},
args: [
'--disable-gpu',
'--disable-dev-shm-usage',
'--disable-web-security',
'--disable-xss-auditor', // 敞开 XSS Auditor
'--no-zygote',
'--no-sandbox',
'--disable-setuid-sandbox',
'--allow-running-insecure-content', // 容许不平安内容
'--disable-webgl',
'--disable-popup-blocking',
//'--proxy-server=http://127.0.0.1:8080' // 配置代理
],
executablePath: 'C:\\Program Files (x86)\\Google\\Chrome\\Application\\chrome.exe',
};
const clusterLanuchOptionsPan = {
concurrency: Cluster.CONCURRENCY_PAGE, // 单 Chrome 多 tab 模式
maxConcurrency: 1, // 并发的 workers 数
retryLimit: 2, // 重试次数
skipDuplicateUrls: true, // 不爬反复的 url
monitor: false, // 显示性能耗费
puppeteerOptions: launchOptions,
};
炒鸡辣鸡原创文章,转载请注明起源