共计 7314 个字符，预计需要花费 19 分钟才能阅读完成。
本文以又拍云团队私有化模块解决的实际案例为根底，介绍如何应用私有化模块，以及 go get 工具背地的细节，其中包含如何让 go 正确的源获私有化 gitlab 上源代码以及认证等问题。文章依据又拍云资深开发工程师刘云鹏在 Open Talk 公开课直播分享进行整顿，回放视频请下拉文末点击“浏览原文”。
对于 Open Talk：由又拍云发动的综合性技术沙龙，秉承又拍云“让守业更简略”的初衷，以全干货的模式为技术开发者提供包含技术、运维、产品、守业等多维度的常识分享，帮忙企业成员晋升专业技能，推动企业更好更快地倒退。
研发背景
GO 在 1.11 版本开始引入 Module 的个性；1.13 版本引入 Module 校验和查看，增强了 Module 的安全性；当初的 1.16 版本曾经默认应用 Module 模式。日前 GO 团队在博客上表明，将在 1.17 版本时删除对 GOPAHT 的反对，如果当初还没有应用 GO MODULE，连忙抓紧时间试试 GOMDULE 吧。
GOMODULE 和 GOPATH 的次要区别在于私有化模块的应用。公有化模块应用是雷同的，都是通过 go get 间接获取模块。对于私有化模块 GOPAHT 能够间接将模块代码丢在 GOPAHT 目录下，而 GO Module 不行，它有本人的代码治理形式，上面咱们简略介绍下。
GO 如何获取 Module
GO 获取模块通常是应用 go get 工具获取模块，以后 go get 反对两种形式：
第一种是通过传统的 VCS 去代码托管平台上拉取代码，以 git 为主，还反对 svn、hg、等其余平台。
第二种是通过 1.12 版本开始反对的 GOPROXY 协定，go 在 GOPROXY 服务器上获取代码归档文件。
从 1.13 起 GO 还应用校验和查看—— GO SUM，所有模块下载后都会查看其校验和。它会将下载模块的哈希值与 Google 线上数据库中的哈希值进行比对，避免模块被篡改，只有验证通过后的模块能力失常装置应用。
VCS 获取模块的形式
GO 反对很多的版本管理工具。首先须要判断应用什么版本管理工具去获取模块。判断形式大抵分成三类，不依赖其余的两种动态匹配形式和一种动静匹配形式。
动态匹配形式
前缀匹配： 比方 github、谷歌的 bitbuket 和 apache、openstack 等代码托管平台，会内制在 go get 的工具链中，会去判断模块的前缀当前缀匹配上则应用对应的版本管理工具。图中左方的一例子，github.com/eamaple/pkg 模块会匹配前缀，并与 github 相匹配，同时能晓得 github 应用 git 工具。
正则匹配： 正则的形式是给模块加上后缀，后缀名能够是前文介绍的五种版本管理工具（git，svn，hg，bzr，fossil）之一的后缀。后缀的匹配是通过正则表达式实现的。上图中两个例子都是以 .git 作为后缀，通过正则表达式的匹配会失去外面的子分组，即 VCS 子分组会匹配到模块是应用 git 进行治理的。
动静匹配形式
当前缀和正则表达式都匹配不上，则会采纳动静判断的形式。go get 会发送一个 HTTP 申请，URL 为模块带上协定头和参数（go-get=1）。go get 期待服务器返回模块相应信息来帮忙 go get 进一步的操作。GO 默认会发送 HTTPS 申请，如果服务器想用 HTTP 协定，能够通过环境变量 GOINSECURE 来解决，当 GOINSECURE 为 1 时，GO 就会应用 HTTP 协定。
Go get 预期的返回体是一个 HTML 文档，其中对 GO 有意义的是要带 name=”go-import” 属性的 meta 标签。该 meta 标签会通过 content 属性通知 GO 怎么去获取模块。
content 的内容有三局部：第一局部 root-path，指模块的名字；第二局部 vcs 代表须要应用的管理工具，比如说 git、svn。；第三局部 repo-url 指的是模块原代码寄存在哪个仓库上面，该仓库就须要是协定加仓库地址的模式。
上图以 GO 的子包为例，通过 curl 模仿发送 go get 申请，golang.org/x/net 服务器返回了一个 html 文档，文档有用的是红圈框起来的局部，外面是 meta 标记，content 第一局部是 GO 模块名称 golang.org/x/net；第二局部是 git，代表须要应用 git 来获取原码；第三局部是模块托管的地址，示意托管在模块包的地址 googlesource.com/net 上。须要留神 meta 标记只能放在 head 外面，go get 解析会从头开始，当遇到 head 的完结标签或者 body 的开始标签时进行解析。
GIT 在 GO GET 中的利用
git 反对 HTTP 协定和 SSH 协定，GO 调用 git 时默认只应用 HTTP 协定，调用过程中会禁用 git 的交互过程。例如 git 应用 HTTP 协定去克隆公有仓库须要输出用户名和明码，然而 GO 调用 git 时不能通过交互输出用户名和明码会导致获取模块失败。交互是通过环境变量 GIT_TERMINAL_PROMPT 管制，如果手动将变量强行更改为 1，就能够启用交互从而手动输出用户名和明码。
那么该怎么将用户名和明码无感知的传递给 git 呢？事实上在 git 里，如果是应用 HTTP 协定都能够通过 netrc 文件来传递用户名和明码，该文件在 HOME 目录下，有两种文件格式：
- 第一种：通过服务器名和用户名明码的形式去定义服务器的用户名和明码；
- 第二种：不指定服务器，把所有的服务器都指定雷同的用户名和明码。
如上图所示，第一条中配置了 gitlab.com，用户名为 root，明码是 admin。通过 git 去克隆 gitlab 的公有仓库时，能够把用户名 root 和 admin 传递给 git，让 git 无感知获取到用户名和明码，从而就不会再要求输出明码了。第二条中通过 default 给所有的服务器都设置默认的用户名和明码，设置的用户名为 guest，明码是 123456，示意除了 gitlab.com 之外的所有服务器须要认证时，都会把将 guest 和 123456 作为用户名和明码传递给须要的程序。
go 调用 git 时也反对 SSH 协定，但默认不会应用。只有在动静获取的时候显示指定，才能够应用 SSH 协定。如果通过动态匹配形式（前缀匹配或正则匹配），能匹配上应用的模块信息，都只能应用 HTTPS 协定。
上图中的模块是 example.com/pkg，仓库地址是 gitlab.example.com/example/pkg。meta 标记的 content 里蕴含了残缺的模块信息，首先 第一局部是模块的名字，这和后面 module 的名字定义是雷同的；紧接着是 git，代表应用 git 去获取代码，最初一部分是仓库地址这里就显示指定了 SSH 协定，同时还有 git 的用户名和服务器 SSH 服务端口号。
Git ssh 认证是基于密钥对实现的，如果没有密钥对，能够通过 SSH 工具套件 ssh-keygen 生成密钥。上图中列举了罕用的参数 -t，该参数能够指定密钥的类型。其中 RSA 密钥可能是最罕用的，而自己比拟喜爱应用 ED25519，它有个显著的长处就是密钥长度十分短，公钥和私钥都只有 32 字节，安全性也能够和 RSA 密钥 3000 位左右的相媲美，可能保障安全性，密钥长度又短，因而会常常应用 ED25519 作为密钥。
当生成秘钥对之后，会在 HOME 下的 .ssh 文件夹中生成密钥队的文件码，蕴含私钥和公钥。”.pub” j 结尾的文件是公钥文件，须要把公钥文件配置在 gitlab 或 github 等代码托管平台上。左边是 gitlab 的截图，图中应用的密钥就是 ED25519 格局的密钥，能够看到长度真的十分短。
GOPROXY 获取模块
GO 反对通过 GOPROXY 协定获取 GO 模块。模块是基于 HTTP 协定的，只会应用 HTTP 的 get 申请，并且应用规范的 HTTP 状态码进行调用。当应用的公共 GOPROXY 协定，其 GOPROXY 代理服务器默认都是没有用户名和明码的。但实际上如果须要搭建公有的，是能够反对 HTTP 根底受权，形式与后面一样，通过 .netrc 文件去配置用户名和明码。另外 GOPROXY 还有两点个性：
- 第一：比起应用 VCS 形式间接去克隆，GOPROXY 获取模块的速度会更快，起因前面会具体阐明。
- 第二：能够解决模块不能拜访的问题，比方 Golang 域名拜访不了等问题，通过第三方搭建好的代理服务器即可拜访下载到这些模块。
GOPROXY 应用
GOPROXY 的配置是通过 GOPROXY 环境变量来管制，配置的是代理服务器 URL。代理服务器 URL 能够配置多个，通过逗号和管道符来进行宰割，管道符和逗号的区别前面会举例解说。
通过固定的字符串 off 和 direct 能够代替 URL。off 禁止从任何起源去下载模块，把 GOPROXY 设置为 off 会禁止下载模块，只能应用本地模块，无论从 gitlab、github 或其余中央的模块都不能下载。direct 代表间接从 VCS 上拉取，个别会作为备选计划。
图中展现了两个例子：
- 第一个是 Linux 环境变量的语法，通过 export 来设置环境变量。后面配置了 proxy.golang.org，这是 google 官网的 goproxy 的服务器，逗号之后指定了备选计划 direct。在 GOPROXY 服务器返回 403 和 410 状态码时，示意找不到模块。以逗号为分隔指定备选计划时只有当服务器返回了 403 或 410 状态码时，go get 会尝试应用备选计划，这里是从版本治理平台下来下载代码。
- 第二个应用了另一种语法配置，go env -w 语法是 GO 自带的，GO1.13 版本开始反对。它是能够跨平台应用的，通过这种语法，没有操作系统的差别，在 windows、Linux、max 下面，都能够通过该形式去配置 GO 相干的环境变量。示例中设置成了国内罕用的 proxy 的地址：goproxy.cn。这里应用了管道符指定备选计划，管道符的意义是无论代理服务器返回了什么谬误，即使不是 HTTP 的谬误，如 GOproxy 服务器挂了返回 500 的谬误，或者网络谬误。都会尝试应用备选计划去下载模块。
GOPROXY 实现
GOPROXY 的实现很简略，官网定义只有五个接口。
URL 中的三个变量意义如下：
- base 代表是 GOPROXY 服务器的 URL 地址；
- module 示意须要需获取模块的名字；
- version 是模块的版本。
大小写编码问题
在 HTTP 的 URL 定义上是不辨别大小写的，当 module 或 version 呈现大写字母时，在某些零碎中可能会呈现混同的问题。为了防止此问题，须要进行大小写的编码，把大写字母转换成感叹号加小写字母的编码。
- 第一个接口是获取所有版本列表；
- 第二个接口是获取指定版本的信息；
- 第三个接口是获取指定模块，指定版本的 mod 文件；
- 第四个接口是获取模块的最新版本。这是可选的接口，不提供与实现该接口，GOPROXY 依然能够失常工作；
- 最初一个接口是下载模块指定版本的 zip 文件。
上图是 list 接口示例，proxy.golang.org 是代理服务器的地址，golang.org/x/text 是要获取的模块名字，@v 为固定的字符串，list 是要调用的 list 接口。能够看到该接口返回了 text 包的所有版本，图中 GO 获取了所有版本后能够通过版本语义推断出模块的最新版本。
如上图所示，INFO 接口和 LATEST 接口返回的内容是一样的。Version：固定版本字符串的版本号，Time 是 fc3339 工夫格局的字符串，为可选项，代表版本的提交工夫。
最初是 MOD 和 ZIP 接口。MOD 接口就是返回指定版本的 mod 文件，上图示例中获取了最新版本的 mod 文件，text 包只依赖了 tools 模块。ZIP 文件接口就是获取模块指定版本的 ZIP 文件，当它把版本的所有原文件打包成 ZIP 文件，go get 最终通过接口去下载的就是这个版本的模块。
后面提到通过 GOPROXY 去获取源代码会比通过 VCS 获取要更快，通过 zip 去下载只会下载以后版本的所有文件不会蕴含历史的版本信息，如果是通过 VCS 比方 git 去克隆仓库，就会获取所有的历史版本信息；因而通过 GOPROXY zip 接口获取文件的体积会更小，下载也会更快，须要留神的是 GOPROXY 定义了模块 zip 文件的大小和其所有文件的未压缩总限度为 500 MiB，go.mod 文件和 LICENSE 文件大小限度为 16 MiB。
module 验证
Go1.13 版本开始退出模块 SUM 验证机制，默认所有 go 模块下载后都会验证其 hash 是否与线上（默认：sum.golang.org 国内：sum.golang.google.cn）记录的统一。
验证的过程能够通过环境变量 GONOSUMDB 和 GOSUMDB 来管制：首先来看 GOSUMDB 的配置，它指定了须要应用的线上数据库地址。因为默认应用的 sum.golang.org 在国内无法访问，上图中配置应用的是 google 搭建的国内镜像，还能够配置为 off，代表禁用校验，即下载模块不进行哈希值的校验，彻底摈弃这个过程。应用中我不倡议这样做，能够应用 GONOSUMDB 的环境变量去配置不须要验证的模块，比方公有模块必定是不能通过验证的。GONOSUMDE 是通过前缀匹配的形式运行的。图中配置了 gitlab.com，那么所有以 gitlab.com 结尾的包都不会进行 GO 的校验和查看。
上面来梳理下常见的变量：
- GONOPROXY，基于前缀的匹配形式运行，上图中指定了 gitlab.com，也就是所有 gitlab.com 上的代码，不从 GOPROXY 服务器下来获取，全副通过传统 VCS 形式，间接去原代码服务器上拉取；
- GONOSUMDB，能够让前缀匹配上的模块跳过安全性查看；
- GOPRIVATE，相当于后面两个环境变量的汇合，配置了 GOPRIVATE 就相当于把后面的两个环境变量一起配置了；
- GOVCS，这是 GO1.16 版本才增加的，其次要作用是指定哪些模块应用哪些 VCS。
又拍云的业务实际
公有包的应用
上面介绍一下如何应用公有模块。个别公司内应用较多的是私有化搭建的 gitlab 服务，gitlab 自身是反对响应 go get 的 HTTP 申请。通过 go get 获取包时，客户端会发送 HTTP 申请到 gitlab 服务器上，服务器收到申请后会返回响应中蕴含 meta 标记。该标记会通知客户端，模块应用 git 通过 HTTP 协定获取原代码。gitlab 默认应用 HTTPS 协定。客户端收到 gitlab 服务器响应后果后，能正确的应用 git 去拉取模块的源代码。模块下载通过后，同样会有校验和查看的过程，能够在 GOPRIVATE 变量加上 gitlab.com，告知 go gitlabc.com 相干的模块都是公有模块跳过校验和查看。
在又拍云外部实际中，状况有些不同，又拍云外部所有应用的 HTTP 服务都须要通过 google 的二次验证。所有发往外部 gitlab 服务器的申请都会事后查看是否有 google 受权的 head，如果没有会被间接拦挡掉并返回 403 谬误。这样会导致所有的简略 HTTP 申请都不能到达 gitlab 服务器间接被拦挡。go 发送的 HTTP 申请同样也会被拦挡掉，将导致 go 不能正确的获取模块信息。这时尽管能够间接通 ssh 协定 clone 服务器上原代码，但因为 go get 没有这些信息，导致申请失败。因而下图中灰线示意的申请实际上是发不进去的。
那么该如何解决呢？办法是采纳额定的 http 服务来解决 go get 的 HTTP 申请。额定 HTTP 服务没有验证过程，申请通过后会 go get 能正确的获取到须要的 meta 信息。meta 中必须指定应用 ssh 协定，因为 gitlab http 服务有二次认证，没有认证的申请都不能通过，因而只能应用 ssh 协定。权限认证能够由 SSH 密钥对实现，进行无感知进行受权。go get 疏导 http 服务不会治理受权相干问题，所有的受权解决都交给 gitlab。作为公有模块，如果没有对应的响应程序，受权认证都交给 gitlab 解决。
go get 申请指引
采纳额定的服务去疏导 go get 是怎么做的呢？这须要对模块包的命名进行批改，须要基于 gitlab 命名的规定批改。
gitlab.com/lyp256/pkg
域名 仓库名
一个残缺的模块有几局部组成，首先是域名 gitlab.com，lyp256 是所有者，pkg 是模块的我的项目名字。对于单个 gitlab 平台重要的是前面两段，也就是指定这个模块所有者和我的项目名，域名必定是固定的能够疏忽。
基于这样的规定我实现了一个简略的小服务，来解决 go get http 申请的解决。代码如下：
Gitlab CI 实际
Gitlab CI 时会起一个空的容器，图中示例应用的是 golang alpine 的镜像。这个镜像里除了 golang 没有其余的货色。咱们须要装置相干依赖和注入 SSH 认证相干内容。script 中定义如下：
第一步：应用 mikdir -p，在 cache 下创立目录，这个目录是咱们 CI 机器上的缓存挂载的是物理盘上的一块空间能够保留数据，用来缓存 go mod 缩小模块下载。
第二步：装置根底环境、工具软件包等。图中示例装置了 git 和 g++，g++ 是 go 编译所须要的依赖，openssh 是 ssh 的工具链 git 须要用到。
第三步：解决 SSH 秘钥。这里有两步，信赖 gitlab 服务器秘钥和导入认证私钥。私钥是通过环境变量 $DEPLOY_SSH_KEY 导入，只须要保留该环境变量中的内容到对应的秘钥文件就能够了。gitlab 服务器秘钥应用 ssh-keyscan 来获取并保留到 known_hosts 文件。通过 gitlab SI 的配置把能拜访 git 我的项目的私钥放在环境变量 $DEPLOY_SSH_KEY 外面，把私钥放在相应的 ssh 私钥文件并且授予正确的权限。
最初还须要配置 GOPRIVATE 变量定义所有 go.holdcloud.com 相干的模块为 PRIVATE 模块不要应用代理和测验和查看。
到此已根本实现所有筹备工作，前面的 go test 是失常的 ci 测验逻辑，能够依据理论状况来写。
总结
- GO 在 1.17 版本会删除对 GOPATH 的反对，倡议尽快迁徙至 GOMDULE；
- GO 的校验和查看能够感知到代码的变动进步平安与可用性，倡议不要敞开；
- 倡议保留 vendor，避免依赖模块被删除。
举荐浏览
实操笔记：为 NSQ 配置监控服务的心路历程
辞别 DNS 劫持，一文读懂 DoH
