前言
本次更新包含几个局部:
- 爬虫市场
- 批量操作
- 数据库底层优化
更新日志
性能 / 优化
- 爬虫市场 . 容许用户下载开源爬虫到 Crawlab.
- 批量操作 . 容许用户与 Crawlab 批量交互,例如批量运行工作、批量删除爬虫等等.
-
迁徙 MongoDB 驱动器至
MongoDriver
. - 重构优化节点逻辑代码 .
-
更改默认
task.workers
至 16. -
更改默认 nginx
client_max_body_size
为 200m. - 反对写日志到 ElasticSearch.
- 在 Scrapy 页面展现谬误详情 .
- 删除挑战页面 .
- 将反馈、免责申明页面挪动到顶部 .
Bug 修复
- 修复因为 TTL 索引未创立导致的日志不过期问题 .
- 设置默认日志过期工夫为 1 天 .
-
task_id
索引没有创立 . -
docker-compose.yml
修复 . - 修复 404 页面 .
- 修复无奈先创立工作节点问题 .
参考
- Github: https://github.com/crawlab-te…
- Demo: https://crawlab.cn/demo
社区
如果您感觉 Crawlab 对您的日常开发或公司有帮忙,请加作者微信 tikazyq1 并注明 “Crawlab”,作者会将你拉入群。欢送在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发奉献。