Golang实现简单爬虫框架1项目介绍与环境准备

36次阅读

共计 717 个字符,预计需要花费 2 分钟才能阅读完成。

最近学习 Go 语言,看了慕课网 Google 工程师深度讲解 go 语言这门课,现在把课程中的爬虫项目整理出来,同时也作为自己学习的一个总结。本人菜鸟一枚,如有任何问题,欢迎大家指正。

一、环境准备

1、go 语言安装

Go 安装包下载网址:https://studygolang.com/dl

选择对应的版本下载即可


Windows 用户推荐使用 msi 安装,简单方便,而且会自动配置好环境变量

打开 Windows 中的命令提示符(cmd.exe)执行命令:go version查看 go 语言版本

2、环境配置

然后我们需要设置 Go 语言工作空间 gopath 目录(Go 语言开发的项目路径)

Windows 设置如下,新建一个环境变量名称叫做 GOPATH,值为你的工作目录,例如 GOPATH=D:Workspace

以上 %GOPATH% 目录约定有三个子目录:

src 存放源代码(比如:.go .c .h .s 等)

pkg 编译后生成的文件(比如:.a)

bin 编译后生成的可执行文件

bin 和 pkg 目录可以不创建,go 命令会自动创建(如 go install),只需要创建 src 目录即可。

3、Goland 安装与破解

(1)安装

Goland 官网:https://www.jetbrains.com/go/

选择对应版本下载安装即可

(2)破解

关于 Goland 的破解方式网上已经又很多文章,可以参考这篇:https://blog.csdn.net/dodod20…

二、项目介绍

本次爬虫爬取的是珍爱网的用户信息数据,爬取步骤为:

  • 1. 进入珍爱网城市页面爬取所有的城市信息
  • 2. 进入城市详情页爬取用户 URL 地址信息
  • 3. 进入用户详情页爬取所需要的用户信息

爬虫算法如下

在下篇博客中,会实现一个单机版的爬虫项目,敬请关注。

正文完
 0