关于python爬虫:node爬虫爬取网页图片

前言

周末本人在家闲着没事，刷着微信，玩着手机，发现自己的微信头像该换了，就去网上找了一下头像，看着图片，本人就想着作为一个码农，能够把这些图片都爬取下来做成一个微信小程序，说干就干，理解一下根本都晓得怎么做了，整顿分享一波给大家。

const express = require('express');const app = express();app.get('/index', function(req, res) {res.end('111')})var server = app.listen(8081, function() {    var host = server.address().address    var port = server.address().port    console.log("利用实例，拜访地址为 http://%s:%s", host, port)})

运行node demo.js简略的服务就搭起来了，如图：

!img](https://p1-jj.byteimg.com/tos...)

申请咱们要爬取的页面

npm install superagentnpm install superagent-charsetnpm install cheerio

superagent 是用来发动申请的，是一个轻量的,渐进式的ajax api,可读性好,学习曲线低,外部依赖nodejs原生的申请api,实用于nodejs环境下.，也能够应用http发动申请

superagent-charset避免爬取下来的数据乱码，更改字符格局

cheerio为服务器特地定制的，疾速、灵便、施行的jQuery外围实现.。装置完依赖就能够引入了

var superagent = require('superagent');var charset = require('superagent-charset');charset(superagent);const cheerio = require('cheerio');

引入之后就申请咱们的地址，https://www.qqtn.com/tx/weixi...，如图：

!img](https://p1-jj.byteimg.com/tos...)

申明地址变量：

const baseUrl = 'https://www.qqtn.com/'

这些设置完之后就是发申请了，接下来请看残缺代码demo.js

var superagent = require('superagent');var charset = require('superagent-charset');charset(superagent);var express = require('express');var baseUrl = 'https://www.qqtn.com/'; //输出任何网址都能够const cheerio = require('cheerio');var app = express();app.get('/index', function(req, res) {    //设置申请头    res.header("Access-Control-Allow-Origin", "*");    res.header('Access-Control-Allow-Methods', 'PUT, GET, POST, DELETE, OPTIONS');    res.header("Access-Control-Allow-Headers", "X-Requested-With");    res.header('Access-Control-Allow-Headers', 'Content-Type');    //类型    var type = req.query.type;    //页码    var page = req.query.page;    type = type || 'weixin';    page = page || '1';    var route = `tx/${type}tx_${page}.html`    //网页页面信息是gb2312，所以chaeset应该为.charset('gb2312')，个别网页则为utf-8,能够间接应用.charset('utf-8')    superagent.get(baseUrl + route)        .charset('gb2312')        .end(function(err, sres) {            var items = [];            if (err) {                console.log('ERR: ' + err);                res.json({ code: 400, msg: err, sets: items });                return;            }            var $ = cheerio.load(sres.text);            $('div.g-main-bg ul.g-gxlist-imgbox li a').each(function(idx, element) {                var $element = $(element);                var $subElement = $element.find('img');                var thumbImgSrc = $subElement.attr('src');                items.push({                    title: $(element).attr('title'),                    href: $element.attr('href'),                    thumbSrc: thumbImgSrc                });            });            res.json({ code: 200, msg: "", data: items });        });});var server = app.listen(8081, function() {    var host = server.address().address    var port = server.address().port    console.log("利用实例，拜访地址为 http://%s:%s", host, port)})

运行demo.js就会返回咱们拿到的数据，如图：

一个简略的node爬虫就实现了。心愿能够到我的项目上点一个 star 作为你对这个我的项目的认可与反对，谢谢。

关于python爬虫:node爬虫爬取网页图片

前言

目录

装置node

搭建服务器

申请咱们要爬取的页面