关于网页爬虫:爬虫管理平台Crawlab-社区版-v050发布

前言

本次更新包含几个局部：

1. 爬虫市场
2. 批量操作
3. 数据库底层优化

更新日志

性能 / 优化

• 爬虫市场 . 容许用户下载开源爬虫到 Crawlab.
• 批量操作 . 容许用户与 Crawlab 批量交互，例如批量运行工作、批量删除爬虫等等.
• 迁徙 MongoDB 驱动器至 MongoDriver.
• 重构优化节点逻辑代码 .
• 更改默认 task.workers 至 16.
• 更改默认 nginx client_max_body_size 为 200m.
• 反对写日志到 ElasticSearch.
• 在 Scrapy 页面展现谬误详情 .
• 删除挑战页面 .
• 将反馈、免责申明页面挪动到顶部 .

Bug 修复

• 修复因为 TTL 索引未创立导致的日志不过期问题 .
• 设置默认日志过期工夫为 1 天 .
• task_id 索引没有创立 .
• docker-compose.yml 修复 .
• 修复 404 页面 .
• 修复无奈先创立工作节点问题 .

参考

• Github: https://github.com/crawlab-te…
• Demo: https://crawlab.cn/demo

社区

如果您感觉 Crawlab 对您的日常开发或公司有帮忙，请加作者微信 tikazyq1 并注明 “Crawlab”，作者会将你拉入群。欢送在 Github 上进行 star，以及，如果遇到任何问题，请随时在 Github 上提 issue。另外，欢迎您对 Crawlab 做开发奉献。