乐趣区

Crawlab-Lite-正式发布更轻量的爬虫管理平台

jiezi

Crawlab 是一款基于 Golang 的分布式爬虫治理平台，产品公布曾经一年无余，通过开发团队的一直打磨，行将迭代到 v0.5 版本。在这期间咱们为 Crawlab 退出了大量社区用户独特冀望的性能，使产品更加业余。但与此同时咱们也留神到，局部用户并不是分布式爬虫用户，他们更多只是在单机状况下应用 Crawlab。其次目前 Crawlab 逐渐退出了丰盛的性能，也使整个产品逐步巨化，大部分用户并不能充沛应用所有的性能。

因而 Crawlab Lite 作为 Crawlab 的轻量化版本正式公布，相较于 Crawlab，该版本将专一于解决单机环境下的爬虫治理，并且平台自身不再依赖任何内部数据库，现有以及将来退出的性能都仅限于高频应用的必须性能，做到最大化的性能克服。

性能个性

首次公布的版本为 v0.0.1 版本，该版本作为首个体验版本，曾经具备了 Lite 版布局的外围性能，相较于 Crawlab 次要区别：

  • 仅反对单机环境下的爬虫治理，不再具备分布式性能
  • 内置依赖 Key-Value 文件数据库，运行不再须要配置内部数据库
  • 删减了大量非必须的性能，平台更加轻量与易用
  • 后端代码大量重构，平台的稳固和速度大幅晋升

运行形式

咱们仍然保留通过 docker-componse 这种最不便的形式：

  1. 在任意目录下创立 docker-compose.yml，内容如下：
version: '3'
services:
  master:
    image: zkqiang/crawlab-lite:latest
    container_name: master
    ports:
      - "8080:8080"
  1. 在目录下运行命令：
docker-compose up -d
  1. 拜访 http://localhost:8080

我的项目地址

https://github.com/crawlab-team/crawlab-lite

我的项目截图

退出移动版