前言
最近因为我的项目须要写了一段时间的 Go
,绝对于 Java
来说语法简略同时又有着一些 Python
之类的语法糖,让人大呼”真香“。
但现阶段相对来说还是 Python
写的多一些,偶然还得回炉写点 Java
;天然对 Go
也谈不上多相熟。
于是便利用周末工夫本人做个小我的项目来加深一些应用教训。于是我便想到了之前利用 Java
写的一个博客小工具。
那段时间正值微博图床大量图片禁止外链,导致许多集体博客中的图片都不能查看。这个工具能够将文章中的图片备份到本地,还能将图片间接替换到其余图床。
我集体当初是始终在应用,通常是在码字的时候利用 iPic
之类的工具将图片上传到微博图床(次要是不便 + 收费)。写完之后再通过这个工具一键切换到 [SM.MS](http://sm.MS)
这类付费图床,同时也会将图片备份到本地磁盘。
改为用 Go
重写为 cli
工具后应用成果如下:
须要把握哪些技能
之所以抉择这个工具用 Go
来重写;一个是性能比较简单,但也正好能够利用到 Go
的一些特点,比方网络 IO、协程同步之类。
同时批改为命令行工具后是不是感觉更极客了呢。
再开始之前还是先为不相熟 Go
的 Javaer
介绍下大略会用到哪些知识点:
- 应用和治理第三方依赖包 (
go mod
) - 协程的使用。
- 多平台打包。
上面开始具体操作,我感觉即使是没怎么接触过 Go
的敌人看完之后也能疾速上手实现一个小工具。
应用和治理第三方依赖
- 还没有装置 Go 的敌人请参考官网自行装置。
首先介绍一下 Go 的依赖治理,在版本 1.11
之后官网就自带了依赖治理模块,所以在当下最新版 1.15
中曾经强烈推荐应用。
它的目标和作用与 Java
中的 maven
,Python
中的 pip
相似,但应用起来比 maven
简略许多。
依据它的应用参考,须要首先在我的项目目录下执行 go mod init
用于初始化一个 go.mod
文件,当然如果你应用的是 GoLang
这样的 IDE
,在新建我的项目时会主动帮咱们创立好目录构造,当然也蕴含 go.mod
这个文件。
在这个文件中咱们引入咱们须要的第三方包:
module btb
go 1.15
require (
github.com/cheggaaa/pb/v3 v3.0.5
github.com/fatih/color v1.10.0
github.com/urfave/cli/v2 v2.3.0
)
我这里应用了三个包,别离是:
pb
: progress bar,用于在控制台输入进度条。color
: 用于在控制台输入不同色彩的文本。cli
: 命令行工具开发包。
import (
"btb/constants"
"btb/service"
"github.com/urfave/cli/v2"
"log"
"os"
)
func main() {
var model string
downloadPath := constants.DownloadPath
markdownPath := constants.MarkdownPath
app := &cli.App{Flags: []cli.Flag{
&cli.StringFlag{
Name: "model",
Usage: "operating mode; r:replace, b:backup",
DefaultText: "b",
Aliases: []string{"m"},
Required: true,
Destination: &model,
},
&cli.StringFlag{
Name: "download-path",
Usage: "The path where the image is stored",
Aliases: []string{"dp"},
Destination: &downloadPath,
Required: true,
Value: constants.DownloadPath,
},
&cli.StringFlag{
Name: "markdown-path",
Usage: "The path where the markdown file is stored",
Aliases: []string{"mp"},
Destination: &markdownPath,
Required: true,
Value: constants.MarkdownPath,
},
},
Action: func(c *cli.Context) error {service.DownLoadPic(markdownPath, downloadPath)
return nil
},
Name: "btb",
Usage: "Help you backup and replace your blog's images",
}
err := app.Run(os.Args)
if err != nil {log.Fatal(err)
}
}
代码非常简单,无非就是应用了 cli
所提供的 api 创立了几个命令,将用户输出的 -dp
、-mp
参数映射到 downloadPath
、markdownPath
变量中。
之后便利用这两个数据扫描所有的图片,以及将图片下载到对应的目录中。
更多使用指南能够间接参考官网文档。
能够看到局部语法与 Java
齐全不同,比方:
- 申明变量时类型是放在后边,先定义变量名称;办法参数相似。
- 类型推导,能够不指定变量类型(新版本的
Java
也反对) - 办法反对同时返回多个值,这点十分好用。
- 公共、私用函数利用首字母大小写来辨别。
- 还有其余的就不一一列举了。
协程
紧接着命令执行处调用了 service.DownLoadPic(markdownPath, downloadPath)
解决业务逻辑。
这里蕴含的文件扫描、图片下载之类的代码就不剖析了;官网 SDK
写的很分明,也比较简单。
重点看看 Go
里的 goroutime
也就是协程。
我这里应用的场景是每扫描到一个文件就利用一个协程去解析和下载图片,从而能够进步整体的运行效率。
func DownLoadPic(markdownPath, downloadPath string) {wg := sync.WaitGroup{}
allFile, err := util.GetAllFile(markdownPath)
wg.Add(len(*allFile))
if err != nil {log.Fatal("read file error")
}
for _, filePath := range *allFile {go func(filePath string) {allLine, err := util.ReadFileLine(filePath)
if err != nil {log.Fatal(err)
}
availableImgs := util.MatchAvailableImg(allLine)
bar := pb.ProgressBarTemplate(constants.PbTmpl).Start(len(*availableImgs))
bar.Set("fileName", filePath).
SetWidth(120)
for _, url := range *availableImgs {
if err != nil {log.Fatal(err)
}
err := util.DownloadFile(url, *genFullFileName(downloadPath, filePath, &url))
if err != nil {log.Fatal(err)
}
bar.Increment()}
bar.Finish()
wg.Done()}(filePath)
}
wg.Wait()
color.Green("Successful handling of [%v] files.\n", len(*allFile))
if err != nil {log.Fatal(err)
}
}
就代码应用层面看起来是不是要比 Java
简洁许多,咱们不必像 Java
那样须要保护一个 executorService
,也不须要思考这个线程池的大小,所有都交给 Go
本人去调度。
应用时只须要在调用函数之前加上 go
关键字,只不过这里是一个匿名函数。
而且因为 goroutime
十分轻量,与 Java
中的 thread
相比占用非常少的内存,所以咱们也不须要精准的管制创立数量。
不过这里也用到了一个和 Java
十分相似的货色:WaitGroup
。
它的用法与作用都与 Java
中的 CountDownLatch
十分类似;次要用于期待所有的 goroutime
执行结束,在这里天然是期待所有的图片都下载结束而后退出程序。
应用起来次要分为三步:
- 创立和初始化
goruntime
的数量:wg.Add(len(number)
- 每当一个
goruntime
执行结束调用wg.Done()
让计数减一。 - 最终调用
wg.Wait()
期待WaitGroup
的数量减为 0。
对于协程 Go 举荐应用 chanel
来相互通信,这点今后有机会再探讨。
打包
外围逻辑也就这么多,上面来讲讲打包与运行;这点和 Java
的区别就比拟大了。
家喻户晓,Java
有一句名言:write once run anywhere
这是因为有了 JVM
虚拟机,所以咱们不论代码最终运行于哪个平台都只须要打出一个包;但 Go
没有虚拟机它是怎么做到在个各平台运行呢。
简略来说 Go
能够针对不同平台打包出不同的二进制文件,这个文件蕴含了所有运行所须要的依赖,甚至都不须要在指标平台装置 Go
环境。
- 虽说 Java 最终只须要打一个包,但也得在各个平台装置兼容的
Java
运行环境。
我在这里编写了一个 Makefile
用于执行打包:make release
# Binary name
BINARY=btb
GOBUILD=go build -ldflags "-s -w" -o ${BINARY}
GOCLEAN=go clean
RMTARGZ=rm -rf *.gz
VERSION=0.0.1
release:
# Clean
$(GOCLEAN)
$(RMTARGZ)
# Build for mac
CGO_ENABLED=0 GOOS=darwin GOARCH=amd64 $(GOBUILD)
tar czvf ${BINARY}-mac64-${VERSION}.tar.gz ./${BINARY}
# Build for arm
$(GOCLEAN)
CGO_ENABLED=0 GOOS=linux GOARCH=arm64 $(GOBUILD)
tar czvf ${BINARY}-arm64-${VERSION}.tar.gz ./${BINARY}
# Build for linux
$(GOCLEAN)
CGO_ENABLED=0 GOOS=linux GOARCH=amd64 $(GOBUILD)
tar czvf ${BINARY}-linux64-${VERSION}.tar.gz ./${BINARY}
# Build for win
$(GOCLEAN)
CGO_ENABLED=0 GOOS=windows GOARCH=amd64 $(GOBUILD).exe
tar czvf ${BINARY}-win64-${VERSION}.tar.gz ./${BINARY}.exe
$(GOCLEAN)
能够看到咱们只须要在 go build
之前指定零碎变量即可打出不同平台的包,比方咱们为 Linux
零碎的 arm64
架构打包文件:
CGO_ENABLED=0 GOOS=linux GOARCH=arm64 go build main.go -o btb
便能够间接在指标平台执行 ./btb
运行程序。
总结
本文所有代码都已上传 Github
: https://github.com/crossoverJie/btb
感兴趣的也能够间接运行装置脚本体验。
curl -fsSL https://raw.githubusercontent.com/crossoverJie/btb/master/install.sh | bash
- 目前这个版本只实现了图片下载备份,后续会欠缺图床替换及其他性能。
这段时间接触 Go
之后给我的感触颇深,对于年纪 25 岁的 Java
来说,Go
的确是后生可畏,更气人的是还赶上了云原生这个浪潮,就更惹不起了。
一些以前看来不那么重要的小毛病也被重点放大,比方启动慢、占用内存多、语法啰嗦等;不过我仍然对这位赏饭吃的祖师爷放弃期待,从新版本的 Java
能够看出也在踊跃扭转,更不用说它还有无人撼动的宏大生态。
更多 Java
后续内容能够参考周志明老师的文章:云原生时代,Java 危矣?