关于node.js:用-puppeteer-模拟人工实现网盘链接批量转存

需要剖析

他人分享了很多网盘链接，本人每个手动去转存很浪费时间，而且，这些操作都是重复性劳动。与Pandownload的这个性能相似，不过pandownload因为一些起因无奈应用了，所以只能本人实现。

思路

思路其实很简略，就是齐全模仿人为操作，将网盘链接存起来。咱们能够把网盘链接分为两种，第一种是没有提取码的，第二种是有提取码的。前者比后者少一个提交提取码的步骤。那么，咱们

如何辨别，拜访一个网盘链接的时候，到底是哪种呢？

能够通过拜访页面的title来决定。

这种是无提取码的，后缀是无限度

这种是须要填写提取码的，后缀是请输出提取码，写代码的时候，截取后三个字儿提取码即可

填写Cookie信息

批量转存的前提是，咱们得登录，我这里实现的计划是间接从浏览器中获取到cookie信息，复制到代码中进行应用，查看网站的cookie信息能够用插件EditThisCookie

点击右上角导出Cookie，cookie就放在粘贴板中了，复制到代码中，而后应用循环，将所有cookie利用page.setCookie办法，将cookie搁置到以后申请上下文中

填写提取码

期待页面加载结束，找到输出提取码框的元素，找到其id，而后应用page.$$eval()办法获取并写入货色

能够看见，这里的id为accessCode。所以咱们只须要写

await page.$$eval('#accessCode', writeCode, code);
async function writeCode(nodes, code) {
    for (let node of nodes) {
        node.value = code;
    }
}

就能够了。我这里是间接改的node.value，你也能够用puppeteer模仿人来填写。

提取文件

找到提取文件按钮，点击，而后期待跳转结束。

值得注意的是，咱们点击的肯定是A标签，其余标签须要进行过滤。

await page.$$eval('.g-button-blue-large', click);
await page.waitFor(1000);

async function click(nodes) {
    for (let node of nodes) {
        if (node.title === '提取文件') {
            await node.click();
        }
    }
}

而后期待跳转即可

抉择要保留的文件

这里简略实现为，抉择全副文件，不过值得注意的是，如果是单文件，是不须要点击抉择全副文件的。能够通过判断元素是否存在判断是否有复选框，是否须要进行点击

如图，不过这里奇怪的是，class的值是一个不可读的字符串，我不确定这个值是不是与用户无关，所以这里就打码了。
既然须要做的就是找到这个元素，点击就行了，那咱们照着做就行

await page.$$eval('.zbyDdwb', selectAll);

async function selectAll(nodes) {
    for (let node of nodes) {
        await node.click();
        break;
    }
}

点击保留到网盘

与点击提取文件一样，找到目表按钮，而后点击就行，感兴趣的敌人，能够本人试试

弹出框抉择保留的文件门路

防止麻烦，这里写得比较简单，如果有抉择跟上一次样的框，那么就点击抉择跟上一次一样，如果没有，就间接存储在根目录下。（能够依据你想要的需要本人改）
抉择前

抉择后

能够发现，仅仅是扭转了Class的值，所以实现的时候，也扭转一下值就行

await page.$$eval('.save-path-item', chooseLocation);
async function chooseLocation(nodes) {
    for (let node of nodes) {
        node.setAttribute('class', 'save-path-item check');
    }
}

点击确定按钮

与之前几个按钮一样，咱们只须要找到确认按钮，点击就行了。

await page.$$eval('[title=确定]', confirm)
async function confirm(nodes) {
    for (let node of nodes) {
        console.log(node.tagName);
        if (node.tagName === 'A') {
            await node.click();
        }
    }
}

这样，整个逻辑就实现了。

残缺代码

为了程序能失常运行，须要退出一些额定的waitFor期待，防止操作太快导致的诸如IP封禁，元素未加载进去等乌七八糟的问题。同时，我这里数据都是从数据库中进去的，所以外面有与更新数据库状态的代码。

const Pan = require('../model/Pan');
const {Cluster} = require('puppeteer-cluster');
const crawler = require('./crawler');

const cookies = [];

async function selectAll(nodes) {
    console.log('selectAll',nodes.length);
    for (let node of nodes) {
        await node.click();
        break;
    }
}

async function click(nodes) {
    console.log('click',nodes.length);
    for (let node of nodes) {
        if (node.title === '提取文件') {
            await node.click();
        }
    }
}

async function writeCode(nodes, code) {
    console.log('writeCode',nodes.length);
    for (let node of nodes) {
        node.value = code;
    }
}

async function confirm(nodes) {
    console.log(nodes.length);
    for (let node of nodes) {
        console.log(node.tagName);
        if (node.tagName === 'A') {
            await node.click();
        }
    }
}

async function clickSave(nodes) {
    for (let node of nodes) {
        if (node.tagName === 'A') {
            await node.click();
            break;
        }
    }
}

async function chooseLocation(nodes) {
    for (let node of nodes) {
        node.setAttribute('class', 'save-path-item check');
    }
}

async function saveBaidu() {
    const cluster = await Cluster.launch(crawler.clusterLanuchOptionsPan);
    await cluster.task(async ({page, data}) => {
        let {id, url, code} = data;
        for (let i = 0; i < cookies.length; i++) {
            await page.setCookie(cookies[i]);
        }
        await page.goto(url);
        await page.waitForSelector('html');
        await page.content();
        let title = await page.title();
        let codeWrong = false;
        let used = true;
        let needCodeButNone = false;
        if (title.indexOf('提取码') !== -1) {
            // todo 填写提取码
            if (code === '-' || code === '+') {
                needCodeButNone = true;
            } else {
                await page.$$eval('#accessCode', writeCode, code);
                await page.$$eval('.g-button-blue-large', click);
                await page.waitFor(1000);
                let content = await page.content();
                if (content.indexOf('验证码谬误') !== -1) {
                    used = false;
                } else if (content.indexOf('提取码谬误') !== -1) {
                    codeWrong = true;
                    used = false;
                } else {
                    await page.waitFor(2000);
                }
            }
        }
        if (used && !needCodeButNone) {
            title = await page.title();
            await page.waitFor(1000);
            console.log(title);
            if (title.indexOf('不存在') !== -1) {

            } else {
                // todo 找到title=保留到网盘的a标签并点击
                let x = await page.$$('.zbyDdwb');
                console.log(x.length);
                if (!(x === null || x===undefined || x.length === 0)){
                    await page.$$eval('.zbyDdwb', selectAll);
                }
                await page.$$eval('[title=保留到网盘]', clickSave);
                await page.$$eval('.save-path-item', chooseLocation);
                await page.waitFor(2000);
                await page.$$eval('[title=确定]', confirm);
            }
        }
        await Pan.update({
            used: used,
            code_wrong: codeWrong,
            need_code: needCodeButNone
        }, {
            where: {
                id: id
            }
        });
        await page.waitFor(3000);
    });
    let pans = await Pan.findAll({
        where: {
            site_id:12,
            reachable: true,
            used:false,
            code_wrong:false
        }
    });
    console.log(pans.length);
    for (let i = 0; i < pans.length; i++) {
        if (pans[i].url.startsWith('http://pan.baidu') || pans[i].url.startsWith('https://pan.baidu')) {
            await cluster.queue({
                id: pans[i].id,
                url: pans[i].url,
                code: pans[i].code
            });
        }
    }

    await cluster.idle();
}

(async () => {
    await saveBaidu();
})();

// crawler.clusterLanuchOptionsPan 是启动配置项，如下
const launchOptions = {
    headless: true,
    ignoreHTTPSErrors: true,        // 疏忽证书谬误
    waitUntil: 'networkidle2',
    defaultViewport: {
        width: 1920,
        height: 1080
    },
    args: [
        '--disable-gpu',
        '--disable-dev-shm-usage',
        '--disable-web-security',
        '--disable-xss-auditor',    // 敞开 XSS Auditor
        '--no-zygote',
        '--no-sandbox',
        '--disable-setuid-sandbox',
        '--allow-running-insecure-content',     // 容许不平安内容
        '--disable-webgl',
        '--disable-popup-blocking',
        //'--proxy-server=http://127.0.0.1:8080'      // 配置代理
    ],
    executablePath: 'C:\\Program Files (x86)\\Google\\Chrome\\Application\\chrome.exe',
};

const clusterLanuchOptionsPan = {
    concurrency: Cluster.CONCURRENCY_PAGE,  // 单Chrome多tab模式
    maxConcurrency: 1,  // 并发的workers数
    retryLimit: 2,   // 重试次数
    skipDuplicateUrls: true,  // 不爬反复的url
    monitor: false,  // 显示性能耗费
    puppeteerOptions: launchOptions,
};

炒鸡辣鸡原创文章，转载请注明起源

关于node.js:用-puppeteer-模拟人工实现网盘链接批量转存

需要剖析

思路

如何辨别，拜访一个网盘链接的时候，到底是哪种呢？

填写Cookie信息

填写提取码

提取文件

抉择要保留的文件

点击保留到网盘

弹出框抉择保留的文件门路

点击确定按钮

残缺代码

评论

发表回复取消回复

更多文章

苹果iOS打包的ipa应用无法安装？一篇文章带你了解可能的原因及排查方法

图解Golang：从零开始实现简易版过期LRU缓存

深入解析：基于Delta的线性数据结构模型，打造高效富文本编辑器

轻松管理社交媒体：使用Automa插件实现一键拉黑功能

关于node.js:用-puppeteer-模拟人工实现网盘链接批量转存

需要剖析

思路

如何辨别，拜访一个网盘链接的时候，到底是哪种呢？

填写Cookie信息

填写提取码

提取文件

抉择要保留的文件

点击保留到网盘

弹出框抉择保留的文件门路

点击确定按钮

残缺代码

评论

发表回复 取消回复

更多文章

苹果iOS打包的ipa应用无法安装？一篇文章带你了解可能的原因及排查方法

图解Golang：从零开始实现简易版过期LRU缓存

深入解析：基于Delta的线性数据结构模型，打造高效富文本编辑器

轻松管理社交媒体：使用Automa插件实现一键拉黑功能

发表回复取消回复