在后面的系列文章中，笔者说了一些爬虫入门的相干知识点以及一些比拟根本的爬虫办法和简略的框架应用等。下一个环节我么一起来看看 pyspider 框架。首先，这款框架的装置就非常令人头疼，破费了好几个小时原本要和女朋友聊天的工夫，老王通过一直的踩坑终于装置胜利了，所以，特地记录一下。

1、pyspider介绍

  • 一个国人编写的弱小的网络爬虫零碎并带有弱小的WebUI。

  • 采纳Python语言编写，分布式架构，反对多种数据库后端，弱小的WebUI反对脚本编辑器，工作监视器，我的项目管理器以及后果查看器。

  • http://docs.pyspider.org/en/l...

2、根底装置环境介绍

  • 操作系统：Windows10

  • python 环境：python3.6.8

  • 操作人：老王的小跟班

3、筹备扩大库工具

 1# 因为phantomjs官网下载太慢，能够到国内镜像站进行下载 2 3http://npm.taobao.org/dist/phantomjs/ 4 5phantomjs(版本=2.1.1，反对javascript操作) 6 7wheel(反对.whl文件装置) 8 9# pycurl-7.43.0.4-cp36-cp36m-win_amd64.whl下载地址1011https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl1213pycurl-7.43.0.4-cp36-cp36m-win_amd64.whl(装置pycurl扩大库)1415wsgidav(版本=2.4.1)1617werkzeug(版本=0.15)

4、开始装置 pyspider

 1a.装置phantomjs 2 3# 下载好phantomjs之后，解压之后配置好环境变量 4 5b.装置wheel 6 7python -m pip install wheel 8 9c.装置下载好的pycurl扩大库1011python -m pip install c:/tools/pycurl-7.43.0.4-cp36-cp36m-win_amd64.whl1213d.装置wsgidav依赖库1415# 先卸载以后高版本1617python -m pip uninstall wsgidav1819# 装置指定低版本2021python -m pip install wsgidav=2.4.12223e.装置werkzeug2425# 先卸载以后高版本2627python -m pip uninstall werkzeug2829# 装置指定低版本3031python -m pip install werkzeug=0.153233f.最初装置pyspider3435python -m pip install pyspider

5、启动问题

 1a.间接启动 2 3pyspider all 4 5b.启动中如果呈现始终在 restarting的状况 6 7# 解决方法：关上一个终端，输出命令启动。再关上一个新的终端启动，此时再敞开第一个终端，第二个终端会启动胜利。 8 9# 为什么？我也不晓得，这是在 Google 上找的解决办法。1011c.第一次启动的工夫比拟长1213d.启动胜利之后拜访地址1415http://localhost:50001617e.启动之后敞开终端，代表pyspider服务也会敞开

更多精彩返回微信公众号【Python 集中营】，专一于 python 技术栈，材料获取、交换社区、干货分享，期待你的退出~