关于python爬虫:node爬虫爬取网页图片

前言

周末本人在家闲着没事，刷着微信，玩着手机，发现自己的微信头像该换了，就去网上找了一下头像，看着图片，本人就想着作为一个码农，能够把这些图片都爬取下来做成一个微信小程序，说干就干，理解一下根本都晓得怎么做了，整顿分享一波给大家。

目录

• 装置 node，并下载依赖
• 搭建服务
• 申请咱们要爬取的页面，返回 json

装置 node

咱们开始装置 node，能够去 node 官网下载 nodejs.org/zh-cn/，下载实现后运行 node 应用，

node -v

装置胜利后会呈现你所装置的版本号。

接下来咱们应用 node, 打印出 hello world，新建一个名为 index.js 文件输出

console.log('hello world')

运行这个文件

node index.js

就会在控制面板上输入 hello world

搭建服务器

新建一个·名为 node 的文件夹。

首先你须要下载 express 依赖

npm install express 
复制代码 

再新建一个名为 demo.js 的文件 目录构造如图：

!img](https://p1-jj.byteimg.com/tos…)

在 demo.js 引入下载的 express

const express = require('express');
const app = express();
app.get('/index', function(req, res) {res.end('111')
})
var server = app.listen(8081, function() {var host = server.address().address
    var port = server.address().port
    console.log("利用实例，拜访地址为 http://%s:%s", host, port)

})

运行 node demo.js 简略的服务就搭起来了，如图：

!img](https://p1-jj.byteimg.com/tos…)

申请咱们要爬取的页面

申请咱们要爬取的页面

npm install superagent
npm install superagent-charset
npm install cheerio

superagent 是用来发动申请的，是一个轻量的, 渐进式的 ajax api, 可读性好, 学习曲线低, 外部依赖 nodejs 原生的申请 api, 实用于 nodejs 环境下.，也能够应用 http 发动申请

superagent-charset 避免爬取下来的数据乱码，更改字符格局

cheerio 为服务器特地定制的，疾速、灵便、施行的 jQuery 外围实现.。装置完依赖就能够引入了

var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
const cheerio = require('cheerio');

引入之后就申请咱们的地址，https://www.qqtn.com/tx/weixi…，如图：

!img](https://p1-jj.byteimg.com/tos…)

申明地址变量：

const baseUrl = 'https://www.qqtn.com/'

这些设置完之后就是发申请了，接下来请看残缺代码 demo.js

var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
var express = require('express');
var baseUrl = 'https://www.qqtn.com/'; // 输出任何网址都能够
const cheerio = require('cheerio');
var app = express();
app.get('/index', function(req, res) {
    // 设置申请头
    res.header("Access-Control-Allow-Origin", "*");
    res.header('Access-Control-Allow-Methods', 'PUT, GET, POST, DELETE, OPTIONS');
    res.header("Access-Control-Allow-Headers", "X-Requested-With");
    res.header('Access-Control-Allow-Headers', 'Content-Type');
    // 类型
    var type = req.query.type;
    // 页码
    var page = req.query.page;
    type = type || 'weixin';
    page = page || '1';
    var route = `tx/${type}tx_${page}.html`
    // 网页页面信息是 gb2312，所以 chaeset 应该为.charset('gb2312')，个别网页则为 utf-8, 能够间接应用.charset('utf-8')
    superagent.get(baseUrl + route)
        .charset('gb2312')
        .end(function(err, sres) {var items = [];
            if (err) {console.log('ERR:' + err);
                res.json({code: 400, msg: err, sets: items});
                return;
            }
            var $ = cheerio.load(sres.text);
            $('div.g-main-bg ul.g-gxlist-imgbox li a').each(function(idx, element) {var $element = $(element);
                var $subElement = $element.find('img');
                var thumbImgSrc = $subElement.attr('src');
                items.push({title: $(element).attr('title'),
                    href: $element.attr('href'),
                    thumbSrc: thumbImgSrc
                });
            });
            res.json({code: 200, msg: "", data: items});
        });
});
var server = app.listen(8081, function() {var host = server.address().address
    var port = server.address().port

    console.log("利用实例，拜访地址为 http://%s:%s", host, port)

})

运行 demo.js 就会返回咱们拿到的数据，如图：

一个简略的 node 爬虫就实现了。心愿能够到 我的项目上点一个 star 作为你对这个我的项目的认可与反对，谢谢。