2020 年腾讯外部的一份开发者报告显示,Go 语言曾经成为腾讯外部第二大后端开发语言,在腾讯每天有大量的 Go 开发者在做业务和平台开发,大量的团队和我的项目应用也暴露出一些问题,随着 Go Modules 的呈现,相似于外部自签发证书、平安审计等这些问题也逐步失去解决。
笔者在腾讯以后负责腾讯云在 Go 编程语言应用上的一些问题,2021 年初开始负责外部 goproxy 服务并推广 Go Modules 应用,这些技术撑持了腾讯云、微信、腾讯视频、腾讯游戏、腾讯音乐、腾讯会议等明星产品,并与公司外部软件源团队、工蜂团队、TRPC 团队以及各个 CI 团队达成亲密的单干。在本系列文章中,笔者就将由浅入深帮忙大家开始学习和理解 Go Modules。
Golang 开发的模式演进
从 Go 出世开始,用户就始终在应用 GOPATH 这个环境变量,随着 Go 语言的疾速倒退和一直壮大,由 GOPATH 引起的编译依赖问题也开始逐步呈现。终于在 2019 年,Golang 迎来 10 周年之际,Google Go 团队终于开始把眼光投向了这一随同了 Golang 十年的环境变量。
GOPATH 的应用
目前在 Go 中存在两种开发模式,GOPATH mode 和 Go modules mode。
在 Go modules 之前,Go 开发中的依赖治理应用 GOPATH 开发模式。在 GOPATH 开发模式中,Go 命令应用 GOPATH 环境变量来实现以下几个性能:
- go install 命令装置二进制库到 $GOBIN,其默认门路为 $GOPATH/bin。
- go install 命令装置编译好的包到 $GOPATH/pkg/ 中,例如将 example.com/y/z 装置到 $GOPATH/pkg/example.com/y/z.a。
- go get 命令下载源码包到 $GOPATH/src/ 中,例如将 example.com/y/z 下载到 $GOPATH/src/example。
Go modules 的倒退历程
GOPATH mode 开发模式是终将要被淘汰的,Go 官网在整个 Go 开发生态系统中增加 package version 这一概念,进而引入 Go modules 开发模式。从 GOPATH mode 开发模式变换到 Go modules 是一个漫长的过程,它曾经经验了数个 Go 的发行版本:
- Go 1.11 (2018 年 8 月) 引入了 GO111MODULE 环境变量,其默认值为 auto。如果设置该变量 GO111MODULE=off,那么 go 命令将始终应用 GOPATH mode 开发模式。如果设置该变量 GO111MODULE=on,go 命令将始终应用 Go modules 开发模式。如果设置该变量 GO111MODULE=auto(或者不设置),go 命令行会依据当前工作目录来决定应用哪种模式,如果当前目录在 $GOPATH/src 以外,并且在根目录下存在 go.mod 文件,那么 go 命令会启用 Go module 模式,否则应用 GOPATH 开发模式。这个规定保障了所有在 $GOPATH/src 中应用 auto 值时原有编译不受影响,并且还能够在其余目录中来体验最新的 Go module 开发模式。
- Go 1.13 (2019 年 8 月) 调整了 GO111MODULE=auto 模式中对 $GOPATH/src 的限度,如果一个代码库在 $GOPATH/src 中,并且有 go.mod 文件的存在,go 命令会启用 module 开发模式。这容许用户持续在基于导入的层次结构中组织他们的检出代码,但应用模块进行个别仓库的导入。
- Go 1.16 (2021 年 2 月) 会将 GO111MODULE=on 做为默认值,默认启用 go module 开发模式,也就是说,默认状况下 GOPATH 开发模式将被彻底敞开。如果用户须要应用 GOPATH 开发模式能够指定环境变量 GO111MODULE=auto 或者 GO111MODULE=off。
- Go 1.NN (???) 将会废除 GO111MODULE 环境变量和 GOPATH 开发模式,默认齐全应用 module 开发模式。
GOPATH 与 Go modules 的相爱想杀
针对大家关怀的几个问题,笔者对此作出如下答复:
Q1:GOPATH 变量会被移除吗?
A:不会,GOPATH 变量不会被移除。将来废除 GOPATH 开发模式并不是指删除 GOPATH 环境变量,它会持续保留,次要作用如下:
- go install 命令装置二进制到 $GOBIN 目录,其默认地位为 $GOPATH/bin。
- go get 命令缓存下载的 modules 到 $GOMODCACHE 目录,默认地位为 $GOPATH/pkg/mod。
- go get 命令缓存下载的 checksum 数据到 $GOPATH/pkg/sumdb 目录。
Q2:我还能够持续在 GOPATH/src/import/path
中创立代码库吗?
A: 能够,很多开发者以这样的文件构造来组织本人的仓库,你只须要在本人创立的仓库中增加 go.mod 文件。
Q3:如果我想测试批改一个我须要的依赖库,我改怎么做?
A: 如果你编译本人的我的项目时依赖了一些未公布的变更,你能够应用 go.mod 的 replace 来实现你的需要。
举个例子,如果你曾经将 golang.org/x/website 和 golang.org/x/tools 下载到 $GOPATH/src/ 目录下,那么你能够在 $GOPATH/src/golang.org/x/website/go.mod 中增加上面的指令来实现替换:
replace golang.org/x/tools => $GOPATH/src/golang.org/x/tools
当然,replace 指令是不感知 GOPATH 的,将代码下载到其余目录也一样能够。
从 0 开始应用 Go Modules
- 创立一个新的 Go module
首先创立一个新目录 /home/gopher/hello,而后进入到这个目录中,接着创立一个新文件,
hello.go:
package hello
func Hello() string {return "Hello, world."}
而后再写个对应的测试文件 hello_test.go:
package hello
import "testing"
func TestHello(t *testing.T) {
want := "Hello, world."
if got := Hello(); got != want {t.Errorf("Hello() = %q, want %q", got, want)
}
}
当初咱们领有了一个 package,但它还不是一个 module,因为还没有创立 go.mod 文件。如果在 /home/gopher/hello 目录中执行 go test,则能够看到:
$ go test
go: go.mod file not found in current directory or any parent directory; see 'go help modules'
能够看到 Go 命令行提醒没有找到 go.mod 文件,能够参考 go help modules。这样的话能够应用 Go mod init 来初始化一下,而后再执行 Go test:
$ go mod init example.com/hello
go: creating new go.mod: module example.com/hello
go: to add module requirements and sums:
go mod tidy
$go mod tidygo
$ go test
PASS
ok example.com/hello 0.020s
$
这样的话,module 测试就实现了。
而后执行的 go mod init 命令创立了一个 go.mod 文件:
$ cat go.mod
module example.com/hello
go 1.17
- 给 module 增加依赖
Go modules 的次要亮点在于在编程时应用他人写的代码,即引入一个依赖库时能有十分好的体验。首先更新一下 hello.go,引入 rsc.io/quote 来实现一些新的性能。
package hello
import "rsc.io/quote"
func Hello() string {return quote.Hello()
}
而后,再测试一下:
$ go test
hello.go:3:8: no required module provides package rsc.io/quote; to add it:
go get rsc.io/quote
$ go get rsc.io/quote
go: downloading rsc.io/quote v1.5.2
go: downloading rsc.io/sampler v1.3.0
go: downloading golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c
go: added golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c
go: added rsc.io/quote v1.5.2
go: added rsc.io/sampler v1.3.0
$ go test
PASS
ok example.com/hello 1.401s
从 Go 1.7 开始,Go modules 开始应用 lazyloading 加载机制,依赖库的更新须要依据提醒手动进行相应的更新。
Go 命令会依据 go.mod 的文件来解析拉取指定的依赖版本。如果在 go.mod 中没有找到指定的版本,会提醒相应的命令疏导用户增加,而后 Go 命令会去解析最新的稳固版本(Latest),并且增加到 go.mod 文件中。在这个例子中能够看到,第一次执行的 Go test 运行须要 rsc.io/quote 这个依赖,然而在 go.mod 文件中并没有找到,于是疏导用户去获取 latest 版本,用户通过 go get rsc.io/quote 获取了最新版本 v1.5.2,而且还另外下载了另外两个 rsc.io/quote 须要的依赖:rsc.io/sampler 和 golang.org/x/text。间接依赖援用也会记录在 go.mod 文件中,应用 indirect 正文进行标记。
$ cat go.mod
module example.com/hello
go 1.17
require (
golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c // indirect
rsc.io/quote v1.5.2 // indirect
rsc.io/sampler v1.3.0 // indirect
)
再一次运行 go test 命令不会反复下面的工作,因为 go.mod 曾经是最新的,并且所需的依赖包曾经下载到本机中了(在 $GOPATH/pkg/mod 中):
$ go test
PASS
ok example.com/hello 0.020s
留神,尽管 Go 命令能够疾速轻松地增加新的依赖项,但并非没有代价。
如下面所提到,在我的项目中增加一个间接依赖可能会引入其余间接依赖。go list -m all 命令能够列出以后我的项目所依赖的所有依赖:
$ go list -m all
example.com/hello
golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c
rsc.io/quote v1.5.2
rsc.io/sampler v1.3.0
在 go list 的输入后果中,能够看到以后的 module,也被称为 main module 会展现在第一行,而后其余的会依照 module path 进行排序。其中依赖 golang.org/x/text 的版本号 v0.0.0-20170915032832-14c0d48ead0c 是一个伪版本号, 它是 Go 版本的一种,指向了一个没有打 tag 的 commit 上。
另外除了 go.mod 文件,go 命令还保护了一个叫做 go.sum 的文件,这个文件蕴含了每个版本对应的加密哈希值。
$ cat go.sum
golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c h1:qgOY6WgZO...
golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c/go.mod h1:Nq...
rsc.io/quote v1.5.2 h1:w5fcysjrx7yqtD/aO+QwRjYZOKnaM9Uh2b40tElTs3...
rsc.io/quote v1.5.2/go.mod h1:LzX7hefJvL54yjefDEDHNONDjII0t9xZLPX...
rsc.io/sampler v1.3.0 h1:7uVkIFmeBqHfdjD+gZwtXXI+RODJ2Wc4O7MPEh/Q...
rsc.io/sampler v1.3.0/go.mod h1:T1hPZKmBbMNahiBKFy5HrXp6adAjACjK9...
Go 命令应用 go.sum 来保障每次下载的依赖库代码和第一次都是统一的,进而来保障我的项目不会呈现一些异常情况,所以 go.mod 和 go.sum 都应该上传到 git 等版本控制系统中。
- 更新依赖
从下面 go list -m all 命令的输入中,能够看到在库 golang.org/x/text 中应用了一个伪版本号。首先把这个版本好更新到最新的稳固版本:
$ go get golang.org/x/text
go: downloading golang.org/x/text v0.3.7
go: upgraded golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c => v0.3.7
$ go test
PASS
ok example.com/hello 0.013s
测试依然能够通过,而后再执行一次 go list -m all:
$ go list -m all
example.com/hello
golang.org/x/text v0.3.7
rsc.io/quote v1.5.2
rsc.io/sampler v1.3.0
$ cat go.mod
module example.com/hello
go 1.17
require (
golang.org/x/text v0.3.7 // indirect
rsc.io/quote v1.5.2 // indirect
rsc.io/sampler v1.3.0 // indirect
)
Go 通过 Go modules 的依赖治理对立了 Go 生态中泛滥的第三方的依赖治理,并且高度集成在 Go 命令行中,无需开发者们额定装置应用,目前在以后保护的 Go 版本中都曾经反对了 Go modules。还没有切换到 Go modules 的用户,强烈建议大家开始应用它,这无论是从团队开发体验、性能还是平安等方面,都能提供诸多的优质个性和保障。