关于python爬虫:node爬虫爬取网页图片

5次阅读

共计 2783 个字符，预计需要花费 7 分钟才能阅读完成。

周末本人在家闲着没事，刷着微信，玩着手机，发现自己的微信头像该换了，就去网上找了一下头像，看着图片，本人就想着作为一个码农，能够把这些图片都爬取下来做成一个微信小程序，说干就干，理解一下根本都晓得怎么做了，整顿分享一波给大家。

装置 node，并下载依赖
搭建服务
申请咱们要爬取的页面，返回 json

咱们开始装置 node，能够去 node 官网下载 nodejs.org/zh-cn/，下载实现后运行 node 应用，

node -v

装置胜利后会呈现你所装置的版本号。

接下来咱们应用 node, 打印出 hello world，新建一个名为 index.js 文件输出

console.log('hello world')

运行这个文件

node index.js

就会在控制面板上输入 hello world

新建一个·名为 node 的文件夹。

首先你须要下载 express 依赖

npm install express 
复制代码

再新建一个名为 demo.js 的文件目录构造如图：

!img](https://p1-jj.byteimg.com/tos…)

在 demo.js 引入下载的 express

const express = require('express');
const app = express();
app.get('/index', function(req, res) {res.end('111')
})
var server = app.listen(8081, function() {var host = server.address().address
    var port = server.address().port
    console.log("利用实例，拜访地址为 http://%s:%s", host, port)

})

运行 node demo.js 简略的服务就搭起来了，如图：

!img](https://p1-jj.byteimg.com/tos…)

申请咱们要爬取的页面

npm install superagent
npm install superagent-charset
npm install cheerio

superagent 是用来发动申请的，是一个轻量的, 渐进式的 ajax api, 可读性好, 学习曲线低, 外部依赖 nodejs 原生的申请 api, 实用于 nodejs 环境下.，也能够应用 http 发动申请

superagent-charset 避免爬取下来的数据乱码，更改字符格局

cheerio 为服务器特地定制的，疾速、灵便、施行的 jQuery 外围实现.。装置完依赖就能够引入了

var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
const cheerio = require('cheerio');

引入之后就申请咱们的地址，https://www.qqtn.com/tx/weixi…，如图：

!img](https://p1-jj.byteimg.com/tos…)

申明地址变量：

const baseUrl = 'https://www.qqtn.com/'

这些设置完之后就是发申请了，接下来请看残缺代码 demo.js

var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
var express = require('express');
var baseUrl = 'https://www.qqtn.com/'; // 输出任何网址都能够
const cheerio = require('cheerio');
var app = express();
app.get('/index', function(req, res) {
    // 设置申请头
    res.header("Access-Control-Allow-Origin", "*");
    res.header('Access-Control-Allow-Methods', 'PUT, GET, POST, DELETE, OPTIONS');
    res.header("Access-Control-Allow-Headers", "X-Requested-With");
    res.header('Access-Control-Allow-Headers', 'Content-Type');
    // 类型
    var type = req.query.type;
    // 页码
    var page = req.query.page;
    type = type || 'weixin';
    page = page || '1';
    var route = `tx/${type}tx_${page}.html`
    // 网页页面信息是 gb2312，所以 chaeset 应该为.charset('gb2312')，个别网页则为 utf-8, 能够间接应用.charset('utf-8')
    superagent.get(baseUrl + route)
        .charset('gb2312')
        .end(function(err, sres) {var items = [];
            if (err) {console.log('ERR:' + err);
                res.json({code: 400, msg: err, sets: items});
                return;
            }
            var $ = cheerio.load(sres.text);
            $('div.g-main-bg ul.g-gxlist-imgbox li a').each(function(idx, element) {var $element = $(element);
                var $subElement = $element.find('img');
                var thumbImgSrc = $subElement.attr('src');
                items.push({title: $(element).attr('title'),
                    href: $element.attr('href'),
                    thumbSrc: thumbImgSrc
                });
            });
            res.json({code: 200, msg: "", data: items});
        });
});
var server = app.listen(8081, function() {var host = server.address().address
    var port = server.address().port

    console.log("利用实例，拜访地址为 http://%s:%s", host, port)

})

运行 demo.js 就会返回咱们拿到的数据，如图：

一个简略的 node 爬虫就实现了。心愿能够到我的项目上点一个 star 作为你对这个我的项目的认可与反对，谢谢。

正文完