关于go:如何根据mysql表生成结构体一个开源小工具的探索之旅

1. 目录

2. 背景

最近在工作中会有依据mysql表在go中编写一个对应的构造体这样的coding，尽管数据表并不是简单，字段不是很多，代码写起来也比拟快，为了疾速的实现工作我一开始就是依照数据表的列一个接着一个的来写。但我是个懒人，反复的工作心愿能够通过代码帮我实现，因为前面也有相似的工作，如果我有对应的代码生成工具会不便很多，并且用本人做进去的工具内心中或多或少会有一些成就感。所以我心生一个想法，为什么我不搞一个简略的工具，来依据表的构造生成构造体呢？所以我就钻研了一下，看了一些材料和，包含mysql的information_schame数据库， sqlx， go规范库里的text/template等内容，特此写下文章分享给读者敌人们，心愿读者敌人们有所播种。话不多说，让咱们开始本次的探索之旅。

3. 怎么找到mysql的表构造信息

在装置mysql的时候，会发现除了本人创立的数据库之外，还会有一些别的数据库是默认给你创立好的。咱们能够登陆mysql应用上面语句查看。

mysql> SHOW DATABASES;+--------------------+| Database           |+--------------------+| elliot_test        || information_schema || mysql              || performance_schema || sys                |+--------------------+5 rows in set (0.01 sec)

大家能够看下我本地的mysql，其中elliot_test是我创立的数据库，其余的information_schema, mysql, performance_schema, sys（5.7 以上的叫sys，5.6的自带的是test）,这些是mysql自带的。那么这些数据库有什么用呢，记录的都是什么信息呢？

information_schema：保留了MySQl服务所有数据库的信息。具体MySQL服务有多少个数据库，各个数据库有哪些表，各个表中的字段是什么数据类型，各个表中有哪些索引，各个数据库要什么权限能力拜访。
mysql：保留MySQL的权限、参数、对象和状态信息。如哪些user能够拜访这个数据，DB的参数。
performance_schema：次要用于收集数据库服务器性能参数，提供过程期待的详细信息，保留历史的事件汇总信息，为提供MySQL服务器性能做出具体的判断。
test：5.6自带，没有什么货色。
sys：Sys库所有的数据源来自：performance_schema。指标是把performance_schema的把复杂度升高。

在理解了mysql自带数据库的性能之后，这时候咱们就晓得了要查看mysql的表构造信息其实咱们只须要在information_schema这外面找就好了，因为这里蕴含了所有数据库的信息，包含有哪些表，什么表有什么字段，这正是咱们须要的。因为information_schema外面表比拟多，这里就不作展现并且一一介绍了，感兴趣的读者敌人们能够登陆mysql应用use information_schema; 命令切换数据库，而后应用show tables；命令查看这上面有什么表。这里就介绍几个比拟重要的，或者说咱们可能会用到的。

SCHEMATA表：提供了以后mysql实例中所有数据库的信息。是show databases的后果取之此表。
TABLES表：提供了对于数据库中的表的信息（包含视图）。具体表述了某个表属于哪个schema，表类型，表引擎，创立工夫等信息。是show tables from schemaname的后果取之此表。
COLUMNS表：提供了表中的列信息。具体表述了某张表的所有列以及每个列的信息。是show columns from schemaname.tablename的后果取之此表。

咱们这里关注的是COLUMNS这张表，这张表记录的是每张表的列信息，咱们应用desc命令看下这张表都有些什么。

能够看到外面记录的货色还是很多的，如果聚焦于咱们的需要：依据表构造构建构造体。那咱们的关注点只须要晓得他的列名（COLUNM_NAME）,以及对应的数据类型（DATA_TYPE）就能够了。所以咱们很容易写出上面这条sql查问到咱们须要的信息。

不过咱们也能够用下图这种形式去查看。

取得了这些信息之后，就能够开始咱们的编码工作了。

4. 技术实现

在这一章节会探讨如何实现这个需要，会探讨如何简略实现一个mysql的client，也就是一个简略的mysql驱动，当然并不是说在这里我要实现这个货色，只是探讨一下如果要写一个的话大略须要怎么做。另外会讲到实现这个需要用到的一些次要技术，包含sqlx， go规范库的text/template，还有实现这个需要的外围逻辑解说。

4.1 以何种形式与数据库交互

其实这里个别是没有探讨的必要的，抉择一个开源的库去和执行下面提到的获取数据表信息的sql语句就好了。不过如果我想把这个工具当作一个开源的我的项目去做，可能会思考为了轻量化而尽量减少这个我的项目的依赖，以及开源的mysql驱动库对于这个我的项目来说会提供一些咱们自身并不需要的性能。不过在这里我并不打算要本人入手实现一个简略的查问语句解决的工具，因为想要疾速的实现这个小工具，如果破费大量的工夫在实现别的货色下面，那么我工作就失去了焦点，这并不是我想要的。不过之前看过不少go-mysql这个开源库的源码，对数据库驱动库是怎么实现的还是有肯定理解的，实际上实现起来也并不是很难。这里的话能够和读者敌人们分享一下如果我要手动实现的话，我要怎么做。

这里思路能够简略的概括一下，就是我要吧本人模拟成mysql的client端，只有咱们遵循mysql的通信协定就能够了。就如同go的构造与其实现类，实现类只有实现了接口的办法就能够看作是这个接口的实现类。而咱们只须要遵循mysqld的client端的一些通信协定，mysql天然也会把咱们看成是一个client端，当初支流的CDC组件个别的做法就是把本人伪装成mysql的从节点去获取mysql的数据变更，其实也是一样的情理。那么要把本人变成mysql的client端咱们都须要遵循哪些协定呢？

首先在TCP层面的客户端与服务端三次握手建设了TCP连贯之后，mysql的服务端会被动发送一个握手初始化的包给客户端，这里的次要内容是服务器的一些信息，通知客户端要遵循什么什么协定，打个比方说如果mysql 的binlog协定就有好几个版本，mysql 5.15之前是是v0，5.6之前是v1，5.6之后是v2版本，握手的作用就是通知客户端一些服务端的信息，前面的通信要依照一些标准去进行。在握手初始化之后要进行认证登陆的过程，这里客户端会把账户和明码给服务端，让服务端去验证，最初服务器把认证后果发送回来，要是胜利了，前面就能够开始执行咱们的发送的sql语句了。在这个过程中波及到的协定内容和格局我贴在下方参考资料中（connect_phase packet）

在执行sql语句这一段，咱们这个需要其实只是执行一条query语句，所以依照COM_QUERY协定从客户端构建一个数据包，而后等服务端返回的时候依照ResultSet协定去解析返回的内容就好了。

这一系列流程我是在go-mysql这个开源库上看到的，之前学习过这个库，具体看了不少代码的实现，我把代码的地位放在参考资料上，感兴趣的敌人能够看看～看的过程中如果有不太明确的中央能够留言分割我，咱们能够交换交换。

这里就不打算把所有的协定的格局都开展讲了，不过我会在下方参考资料那边贴上mysql的官网文档，外面会有对协定内容具体的介绍。这里我想要说的是一个实现的大抵流程。能够看到其实这里并不是说很难，不过实现起来的确也是须要工夫的。既然讲到这里了，说句题外话，既然实现了协定就能够被当作是mysql的客户端，那么我可不可以实现一些协定，被当作一个mysql的服务端呢？当然也是能够的，之前我也做过相似的尝试。所以说很多时候网络的确不是百分百平安的，对方只须要满足一些行为就能够获取信赖，然而有时候咱们并不能齐全确认对方是不是真的值得信赖。

4.2 代码实现

其实实现的流程比较简单，没用多长时间就写完了，这里次要记录一些应用到的技术和一些值得注意或者值得分享的中央。

4.2.1 与数据库的交互--sqlx

我次要用了sqlx这个库和数据库做交互，感觉这个库写的还不错，应用起来也很不便，github地址贴在这里：https://github.com/jmoiron/sqlx，感兴趣的敌人能够看看readme外面对于它应用办法的具体介绍，这里略微贴一段代码吧。

type Person struct {    FirstName string `db:"first_name"`    LastName  string `db:"last_name"`    Email     string} // Query the database, storing results in a []Person (wrapped in []interface{})people := []Person{}db.Select(&people, "SELECT * FROM person ORDER BY first_name ASC")

不过说切实的，就我集体而言，其实感觉orm框架的用法都大同小异，用哪个其实不是问题的要害。

4.2.2 如何生成代码 -- go text/template

一开始是想着用字符串拼接去做的，然而感觉这样子写进去的代码有点点丑。其实丑是一方面，另外一方面是，因为不同orm框架生成的struct可能是不一样的，最显著的就是tag外面的标签是不一样的，如果后续要拓展的话，难道判断生成什么orm框架上面的struct这样的逻辑要嵌入到字符串拼接外面吗？这显然不是一个好的方法。所以我想到了用template模版去解析的形式去做。

go规范库中提供了text/template这个包，实现了数据驱动的用于生成文本输入的模板，其实这个很像前端的mvvm那一套，咱们定义好模版，而后传入参数，他就会解析模版，将咱们传入的参数替换到模版对应的地位，从而生成咱们想要的文本。在模版外面还能够写逻辑呢，比方简略的逻辑判断，循环遍历之类的。话不多说，这里展现一个简略的demo。对于text/template具体的用法和解说文章，我贴到参考资料中，感兴趣的敌人能够看看。

package main import(    "os"    "text/template")type Inventory struct {    Material string    Count    uint}func main() {    sweaters := Inventory{"wool", 17}    tmpl, err := template.New("test").Parse("{{.Count}} of {{.Material}}\n")//{{.Count}}获取的是struct对象中的Count字段的值    if err != nil { panic(err) }    err = tmpl.Execute(os.Stdout, sweaters)//返回 17 of wool    if err != nil { panic(err) }}

 这个例子是将Inventory的对象传进模版中做解析，其中{{.Count}},{{.Material}}就是获取这个对象的属性，而后替换。

好了，讲到这里实现这个需要的所有技术，所有基础知识咱们都晓得了，上面咱们看看外围逻辑。

4.2.3 外围逻辑

外围的流程如下：

获取列数据。包含列的名字以及数据类型。
数据类型转化，因为mysql和go的类型其实不大一样的，如果咱们要生成go的struct就须要做一个mysql数据类型和go数据类型的转化，我这里的做法比拟毛糙，写了一个map配置，key是mysql数据类型，value是go数据类型。间接拿就完事了。然而其实这样并不是很正当，比方mysql的TINYINT类型对应的是go的int8，然而在go中如果用int32，int64，去示意可不可以呢？其实是能够的。这里后续能够作为一个优化点，或者这个配置的能力向用户凋谢更好。
执行模版引擎。会提前写好一个模版文件，而后用拿到的数据去解析。不过这个模版文件是可配置的，这样能够提供比拟灵便的形式去生成本人想要的代码。比方我当初写的这个模版文件比拟淳厚，除了生成struct之外就什么都没有了，然而在一些环境下，可能用户会想着我生成某某个接口的实现类或者有一些特定的正文，那他能够自定义模版文件去生成，不过解析模版文件须要对应的数据，这里数据的构造体还是在我的掌控之内。所以前面能够思考把这个数据也凋谢进来，这样就比拟完满了。
格式化生成的文件。因为模版生成进去的文件不是特地难看。所以我这里手动执行了一些go fmt去格式化代码，看起来会难受很多。

func (g *Generator) Gen(config *GenInfo) (isSuccess bool, err error) {   if err := checkGenInfo(config); err != nil {      return false, err   }   tableInfos, err := g.executeQuery(config.Schema, config.Table)   if err != nil {      return false, err   }   templateMetaDatas, err := convertTableInfoToMeta(tableInfos)   templateData := &TemplateData{      PackageName: config.PackageName,      StructName:  config.StructName,      Meta:        templateMetaDatas,   }   var genPath string   if config.ExportFolder == "" {      genPath = config.FileName   } else {      genPath = fmt.Sprintf("%s/%s", config.ExportFolder, config.FileName)   }   isSuccess, err = genCodeByTemplate(genPath, config.TemplatePath, templateData)   if err == nil && isSuccess {      _, _ = exec.Command("go", "fmt", genPath).Output()   }   return isSuccess, err}

template文件：

package {{.PackageName}}type {{.StructName}} struct {    {{- range $i, $v := .Meta }}        {{$v.CamelName}} {{$v.DataTypeInGo}}    {{- end }}}

测试：

func TestGenerator_Gen(t *testing.T) {    config := &Config{        Host:     "127.0.0.1",        Port:     3306,        Username: "root",        Password: "", // 我才不通知你我的明码呢。    }    g, err := NewGenerator(config)    if err != nil {        t.Errorf("have err during NewGenerator, err is %s", err)        return    }    genInfo := &GenInfo{        Schema:       "elliot_test",        Table:        "test_table",        ExportFolder: "",        TemplatePath: "struct_gen_test_template",        FileName:     "test_gen.go",        PackageName:  "table_gen",        StructName:   "TestGenStruct",    }    isSuccess, err := g.Gen(genInfo)    if err != nil {        t.Errorf("have err during Gen file, err is %s", err)        return    }    t.Logf("does it gen file successully?  %v", isSuccess)}

后果：

package table_gentype TestGenStruct struct {    Name string    Age  int}

完满，这就达到了咱们最后的幻想。这里就不对细节上的货色做过多的介绍了，感觉该讲的货色大部分都讲了。具体的code我曾经开源到我的github上了。地址：https://github.com/elliotchen...。感兴趣的小伙伴能够看看。有问题或者发现代码中的谬误，能够留言分割我，相互交流学习。

5. 总结

做这个货色是一时衰亡，做完之后还是有很多中央感到有余和可优化，前面有工夫能够缓缓优化一下。就我集体而言有工夫的话还是比拟喜爱倒腾一些小东西。一方面做成一个货色的过程中摸索求知这个过程是很高兴的，另一方面做成之后的喜悦就像攀登了一座座小山峰最终达到指标，那霎时扑面而来的高兴是人生少有的。好了，明天这个摸索的故事就讲到这里了，感激各位读者敌人们赏脸读到开端处hhh。

6. 参考资料

mysql information_schema 详解：https://zhuanlan.zhihu.com/p/...
mysql connection_phase packet :https://dev.mysql.com/doc/int...
mysql COM_QUERY packet: https://dev.mysql.com/doc/int...
mysql COM_QUERY Response :https://dev.mysql.com/doc/int...
go text/template :https://www.cnblogs.com/wangh...
go-mysql client模块代码：https://github.com/go-mysql-o...