共计 2139 个字符,预计需要花费 6 分钟才能阅读完成。
前言
踩了 5- 6 个小时的坑,各种测试。人要没了。不过结果我已经满意了。
这篇文章是对 https://segmentfault.com/a/11… 的完善与排初 BUG!
大坑 1(scrapyd 服务 bind_address):
我用的 Docker (我记得之前不用 docker 的时候 scrapyd 的配置文件好像是默认的 0.0.0.0)
但是我发现 Docker 容器里面 默认是 bind 127.0.0.1(真是 f–k 了.. 弄了好几个小时没发现)
如果你用的 docker,先在 Docker 同级目录下新建一个 default_scrapyd.conf
然后写入如下配置(不用犹豫,全部复制进去即可):
[scrapyd]
eggs_dir = eggs
logs_dir = logs
items_dir =
jobs_to_keep = 5
dbs_dir = dbs
max_proc = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port = 6800
debug = off
runner = scrapyd.runner
application = scrapyd.app.application
launcher = scrapyd.launcher.Launcher
webroot = scrapyd.website.Root
[services]
schedule.json = scrapyd.webservice.Schedule
cancel.json = scrapyd.webservice.Cancel
addversion.json = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json = scrapyd.webservice.ListSpiders
delproject.json = scrapyd.webservice.DeleteProject
delversion.json = scrapyd.webservice.DeleteVersion
listjobs.json = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus
最后在你的 Dockerfile 中末尾写入(视情况而定。每个人的目录结构都不同)
COPY default_scrapyd.conf /usr/local/lib/python3.6/site-packages/scrapyd/default_scrapyd.conf
大坑 2 (docker-compose: 的 command 多命令问题)
scrapyd 部署需要两步:
- 先开启 scrapyd 服务 (scrapyd 命令即可)
- 再把爬虫程序通过 scrapyd-deploy 推送到 scrapyd 服务上
很明显:2 是依赖 1 的。
错误解决方式:
但是,docker-compose command: 只能运行一条命令。我按照常理使用 N 种思想想让他支持多条命令:
- 起初 用 &&
- 用 sh 脚本
- 这个命令是最荒唐的。。。网上千篇一律的博客。百分之 80 都是互相抄袭的。(然后我还真用了。。)
最荒唐的命令如下:(我一直窃喜,以为找到解决办法了,就一直以这个命令为轴做调试,测试。。。。)
# command:
# - /bin/bash
# - -c
# - |
# scrapyd
# scrapyd-deploy Cython_lin -p Baidu
这个命令有两种结果(这两种结果还 tm 是随机的。生无可恋):
- scrapyd 先执行,直接堵塞。后面命令失效(即使你用 & 也解决不了随机启动顺序问题)
- scrapyd-deploy Cython_lin -p Baidu 先执行(直接报错,以为 scrapyd 还没起来呢)
到此为止:::::::我上面说的都是错误的方式!!!!!!!!!!!!!!
(差点一棵树上勒到死,既然 docker-compose 文件内部只能运行一条命令。那么我们拿外面去运行啊!!)
(思想已经绝望僵化的我,这次是真的看见了希望,曙光)
正确解决方式:
docker-compose.yml 文件里面只写:
command: scrapyd
然后保存退出,然后执行:
docker-compose up -d
# 我们需要让 scrapyd 启动一会,才可以启动 scrapy-deploy 的(等一小会就行了)
然后继续执行:
docker-compose exec crawl scrapyd-deploy Cython_lin -p Baidu
特别注意!说明以下!(docker-compose 命令有两种方式):docker-compose exec 正确
docker-compose run 错误 (在外面千万不要用这种(当然我是说我这个业务))
结束语
也许有些错误很小,但是当你怀疑变多的时候,脑海会出现海量解决问题的分支。
然后机械排 BUG,最终生无可恋。。。。。
其实有时不妨先冷静下来,然后专注,一锤定音。找出 BUG!!!