关于golang:Mysql事务实现原理以及在Go语言中使用数据库事务

数据库并发拜访问题

数据库应用中通常存在多个客户端同时拜访数据库，因而数据库系统要可能解决这种并发拜访的状况。在理论工作中，并发拜访时数据库应用中的常态，然而并发拜访时数据库时，可能呈现以下问题：

• 脏读：
  以后事务读到其余事务未提交的数据（脏数据），这种景象是脏读。在这里咱们应用一个简略的订单表阐明什么状况下会呈现脏读，订单表（order）的表构造如下：

假如以后事务为 A，在事务 A 中读取订单的状态。并假如事务 B 与事务 A 并发执行，在事务 B 中进行订单状态的批改操作。

在这个例子中，事务 A 读取了未提交的数据，获取了谬误的数据。

• 不可反复读：
  在以后事务中先后两次读取同一个数据，两次读取的后果不一样，这种景象称为不可反复读。脏读与不可反复读的区别在于：前者读到的是其余事务未提交的数据，后者读到的是其余事务已提交的数据。同样采纳订单状态的例子来阐明那种状况下会呈现不可反复读。

在一个事务中前后两次读取的后果并不致，导致了不可反复读。

• 幻读：
  在以后事务中依照某个条件先后两次查询数据库，两次查问后果的条数不同，这种景象称为幻读。不可反复读与幻读的区别能够艰深的了解为：前者是数据变了，后者是数据的行数变了。还是采纳订单状态的例子来阐明，不过在这个例子中将事务 A 与事务 B 的性能批改一下，在事务 A 中执行查问全副订单的操作，在并发执行的的事务 B 中执行增加订单的操作。

在一个事务中前后两次读取的后果的条数不同，导致了幻读。

数据长久化问题：

InnoDB 以数据页为单位来读写文件，为了晋升性能 InnoDB 采纳了缓冲池 (Buffer Pool)。读数据会首先从缓冲池中读取，如果缓冲池中没有，则首先从磁盘读取数据页并退出缓冲池。
之后如果批改了一个数据页，也不会立刻写到磁盘文件，而是把这个数据页增加到缓冲池的 flush 链表中，而后再某个工夫再将数据保留到磁盘。缓冲池技术尽管会提交数据库的性能，然而会存在失落数据的问题。对于一个曾经提交的事务，如果数据还没有刷新到磁盘时出现异常，则会失落这些数据。可能的异常情况包含：

• 数据库异样
• 操作系统异样
• 零碎断电

事务的定义

在数据库中应用事务来解决数据库并发拜访问题以及数据长久化问题。在数据库中一个事务是由一条或多条 SQL 语句所组成的一个的执行单元，只有当事务中的所有操作都失常执行完了，整个事务才会被提交给数据库。如果有局部 SQL 语句解决失败，那么事务就回退到最后的状态。数据库事务应该具备以下的四大个性：

• 原子性
  事务的原子性事务中的操作必须作为一个整体来执行，一个事务中的操作要么全副胜利提交，要么全副失败回滚，对于一个事务来说不可能只执行其中的局部操作。
• 持久性
  事务的持久性是指当事务提交之后，数据库的扭转就应该是永久性的，即事务一旦提交，其所作做的批改会永恒保留到数据库中，此时即便零碎解体批改的数据也不会失落。
• 隔离性
  隔离性是指，事务外部的操作与其余事务是隔离的，并发执行的各个事务之间不能相互烦扰。
• 一致性
  一致性是指事务执行完结后，数据库的完整性束缚没有被毁坏，事务执行的前后都是非法的数据状态。一致性是事务谋求的最终目标，原子性、持久性和隔离性，实际上都是为了保障数据库状态的一致性而存在的。

Mysql 事务隔离级别

Mysql 隔离级别有以下四种（级别由低到高）：

• read uncommited（未提交读）
  最低的隔离级别，这种级别下能够脏读、不可反复读、幻读都有可能产生。
• read commited（已提交读）
  一个事务的批改在他提交之前的所有批改，对其余事务都是不可见的。其余事务能读到已提交的批改变动。在很多场景下这种逻辑是能够承受的。然而该级别会产生不可重读以及幻读问题。
• repeatable read（可反复读）
  在一个事务内的屡次读取的后果是一样的。这种级别下能够防止，脏读，不可反复读等查问问题。
• serializable（串行化）
  事务串行化执行，隔离级别最高，这种级别下不会造成数据不统一问题，然而会就义零碎的并发性。

在理论利用中，读未提交在并发时会导致很多问题，而性能绝对于其余隔离级别进步却很无限，因而应用较少。
可串行化强制事务串行，并发效率很低，只有当对数据一致性要求极高且能够承受没有并发时应用，因而应用也较少。
因而在大多数数据库系统中，默认的隔离级别是读已提交 (如 Oracle) 或可反复读。

应用 redo 日志实现事务持久性

MySQL 为了进步的性能，对于增、删、改这种操作都是在内存中实现的。数据的增删改查都是先将磁盘中数据页的数据加载到缓冲池中，而后再对缓存页中的数据进行操作。MySQL 有专门的后盾线程等其余机制负责将脏数据页刷新到磁盘。因为脏数据页不是实时刷新到磁盘，若产生异样，那些曾经提交然而没有保留的数据将会失落，这样就不能保障事务的持久性了。为了解决这个问题，InnoDB 数据库引擎采纳了 redo 日志的机制。redo 日志会把事务在执行过程中对数据库所做的批改都记录下来，在之后零碎解体重启后能够把事务所做的任何批改都复原进去。

为什么不间接将数据页刷新到磁盘，而是采纳 redo 日志来实现数据的持久性，次要因为：

• 首先一个缓存页的大小为 16K，如果一个缓存页中只批改了大量的数据，也要将一个残缺的缓存页刷入磁盘，这样显然不是很正当。
• 另外的起因是一个事务可能蕴含很多语句，即便是一条语句也可能批改许多页面，这些页面通常都不是一个间断的存储区域。间接保留这些页面须要进行多个磁盘 IO，造成对磁盘进行随机拜访，从而升高零碎的性能。

应用 redo 日志可能防止上述问题，redo 日志有以下有点：

• redo 日志占用的空间十分小。
• redo 日志是程序写入磁盘的。

另外须要阐明的是 redo 日志也不肯定是立刻刷新的磁盘，MySQL 提供了零碎变量：innodb_flush_log_at_trx_commit 来管制 redo 日志的刷盘。该零碎变量有 3 个选项：

• 0：提交事务不会立刻刷盘，MySQL 应用后盾线程来刷新日志到磁盘。该做法的长处是可能升高磁盘 IO 次数，进步零碎的性能。毛病是零碎异样时可能会失落数据。
• 1：若提交事务会立刻将日志刷新到磁盘，该选项可能确保事务的持久性。
• 2：若提交事务会立刻将日志刷新到操作系统的缓存，而后依靠于操作系统的刷新机制将数据同步到磁盘中。这种状况下数据库异样时不会失落数据，但若是操作系统异样，也不能保证数据的持久性。

除了事务提交时，还有其余刷盘机会：

• redo log buffer 的空间有余时，若日志量达到 redo log buffer 的总容量的 50% 时会将这些日志刷新到磁盘。
• 后盾线程每隔一秒将 redo log buffer 外面的 redo log block 刷入磁盘。
• 保留数据页时会将相干的 redo 日志刷新到磁盘。

应用 undo 日志实现事务原子性

Mysql 数据库 undo 日志用于实现事务的原子性。事务执行过程中，以下两种状况会造成事务只执行了一部分操作：

• 事务执行过程中呈现了异样，例如：数据库异样、操作系统异样，服务器断电。
• 事务执行了局部语句后，数据库的客户端输出 ROLLBACK 语句完结以后事务的执行。

上述两种状况中事务只执行了局部逻辑，在事务的执行中可能曾经批改数据库的数据。为了确保事务的原子性，须要将曾经批改的内容复原为事务初始执行的状态，即对事务进行回滚。

Mysql 数据库应用 undo 日志来实现事务回滚。在事务执行过程中，除了记录 redo 日志，还会记录 undo 日志。msyql 执行事务时，会记录数据库操作（insert、delete、update）的回滚信息，这些回滚信息称为：undo 日志。有了 undo 日志，若事务执行过程中出现异常或者客户端手动回滚，就能够应用 undo 日志将数据恢复为事务执行前的状态。

undo 日志有两个作用，一是用于事务回滚，二是实现 MVCC 性能。

应用 MVCC 实现事务的隔离

Mysql 中有两种机制可用于解决读写并发抵触，一种形式是采纳锁机制，读、写操作都要进行加锁；另外一种形式是读操作应用 MVCC，写操作加锁。因为应用 MVCC 时读不加锁，读写能够并发执行，零碎的性能好，因而 Mysql 数据库在隔离等级 read commited、repeatable read 下缺省采纳了 MVCC 机制来解决读写并发抵触。MVCC（Multi-Version Concurrency Control）被称为多版本并发管制，次要是依赖 undo 日志以及 Read View（一致性视图）来实现事务的并发读写。在事务执行过程中，不同的事务对一个记录进行的批改，都会生成一条 undo 日志。每条 undo 日志都有一个 roll_pointer 属性，能够将这些 undo 日志都连起来，串成一个链表，这个链表就叫做：版本链。下图是一个版本链的示意图：

在事务中查问该记录时，会产生一个 Read view（一致性视图），Read view 相当于给以后数据库生成了一个快照，记录并且保护以后沉闷的事务的 ID。而后 Mysql 读取 undo 日志的版本链，把以后 undo 日志的事务 ID 与 Read view 中的沉闷事务 ID 进行比拟，来获取最新的已提交的记录数据。比拟的规定如下：

• 以后事务 ID 如果小于 min_id（最小的沉闷事务 ID），则以后事务可见。
• 以后事务 ID 如果大于 max_id（零碎的最大事务 ID），则以后事务不可见。
• 以后事务大于 min_id 小于 max_id，再判断是沉闷事务，如果是阐明事务还没提交，以后事务不可见。如果不是沉闷事务，则以后事务可见。
• 若以后事务为不可见，则须要持续遍历 undo 日志的版本链，并依照上述规定进行比拟。

应用锁实现事务的隔离

应用 MVCC 时读不加锁，读写能够并发执行，零碎的性能好，然而 MVCC 只能用于读写事务的场景中，其余的场景则必须应用锁来解决事务的并发问题。另外有些状况下须要应用锁定读语句来查问记录。

锁的分类

1）从操作的粒度可分为表级锁、行级锁

• 表级锁：每次操作锁住整张表。锁定粒度大，产生锁抵触的概率最高，并发度最低。
• 行级锁：每次操作锁住一行数据。锁定粒度最小，产生锁抵触的概率最低，并发度最高。

2）从操作的类型可分为共享锁和排他锁

• 共享锁：
  共享锁也称为读锁、S 锁。一条数据被加了 S 锁之后，其余事务也能来读数据，能够共享一把锁。
• 排他锁
  排他锁也称为写锁，X 锁。以后写操作没有实现前，它会阻断其余写锁和读锁。

3）意向锁
意向锁为表锁，分为两种类型：动向共享锁（简称为 IS）和动向排他锁（简称为 IX）。意向锁有应用规定为：

• 当须要给一行数据加上 S 锁的时候，MySQL 会先给这张表加上 IS 锁。
• 当须要给一行数据加上 X 锁的时候，MySQL 会先给这张表加上 IX 锁。

InnoDB 中的行级锁

• Record Locks（记录锁）
  官网的类型名称为：LOCK_REC_NOT_GAP，记录锁又分为 S 锁和 X 锁。
• Gap Locks（间隙锁）
  官网的类型名称为：LOCK_GAP，间隙锁的提出仅仅是为了避免插入幻影记录。
• Next-Key Locks（临键锁）
  官网的类型名称为：LOCK_ORDINARY，临键锁的实质就是一个记录锁和一个间隙锁的合体，它既能爱护该条记录，又能阻止别的事务将新记录插入被爱护记录前边的间隙。
• Insert Intention Locks（插入意向锁）
  官网的类型名称为：LOCK_INSERT_INTENTION。一个事务在插入一条记录时须要判断一下插入地位是不是被别的事务加了间隙锁，如果有的话，插入操作须要期待，在期待时事务须要在内存中生成一个锁构造，表明有事务想在某个间隙中插入新记录，然而当初在期待，而这个锁构造就是插入意向锁。

SQL 语句加锁阐明

1) SELECT 语句
在不同的隔离级别下，一般的 SELECT 语句有不同的加锁状态：

• 在 READ UNCOMMITTED 隔离级别下，不加锁。
• 在 READ COMMITTED 隔离级别下，不加锁。
• 在 REPEATABLE READ 隔离级别下，不加锁。
• 在 Seralizable 隔离级别下，加读锁。

2) 锁定读语句

• 对读取的记录加 S 锁
  SELECT … LOCK IN SHARE MODE;
• 对读取的记录加 X 锁
  SELECT … FOR UPDATE;

3) UPDATE 语句和 DELETE 语句
UPDATE 语句和 DELETE 语句在执行过程须要首先定位到被改变的记录并给记录加锁，也能够被认为是一种锁定读。

4) INSERT 语句
NSERT 语句个别状况下不加锁，不过以后事务在插入一条记录前须要先定位到该记录在 B + 树中的地位，如果该地位的下一条记录曾经被加了间隙锁，那么以后事务会在该记录上加上插入意向锁，并且事务进入期待状态。

在 Go 语言中应用数据库事务

Go 语言提供了规范库 database/sql 用于拜访数据库，咱们开应用 database/sql 规范库提供的性能来连贯数据库，进行数据库的增删改查操作，以及数据库的事务操作。本文不介绍 database/sql 规范库的应用办法，在本文中将介绍如何应用 wego/worm 来进行数据库事务操作。wego/worm 是一款不便易用的 Go 语言 ORM 库，worm 具备应用简略，运行性能高，功能强大的特点。具体特色如下：

• 通过 Struct 的 Tag 与数据库字段进行映射，让您免于常常拼写 SQL 的麻烦。
• 反对 Struct 映射、原生 SQL 以及 SQLBuilder 三种模式来操作数据库，并且 Struct 映射、原生 SQL 以及 SQLBuilder 可混合应用。
• Struct 映射、SQL builder 反对链式 API，可应用 Where, And, Or, ID, In, Limit, GroupBy, OrderBy, Having 等函数结构查问条件。
• 反对事务反对，可在会话中开启事务，在事务中能够混用 Struct 映射、原生 SQL 以及 SQL builder 来操作数据库。
• 反对预编译模式拜访数据库，会话开启预编译模式后，任何 SQL 都会应用缓存的 Statement，能够晋升数据库拜访效率。

wego/worm 的下载地址：
go get github.com/haming123/wego/worm

ORM 初始化

package main
import (
    "database/sql"
    "log"
    _ "github.com/go-sql-driver/mysql"
    "github.com/haming123/wego/worm"
)
func main() {
    var err error
    cnnstr := "user:pwd@tcp(127.0.0.1:3306)/db?charset=utf8&parseTime=True"
    dbcnn, err := sql.Open("mysql", cnnstr)
    if err != nil {log.Println(err)
        return
    }
    err = dbcnn.Ping()
    if err != nil {log.Println(err)
        return
    }
    err = worm.InitMysql(dbcnn)
    if err != nil {log.Println(err)
        return
    }
}

创立实体类

CREATE TABLE `user` (`id` bigint(20) NOT NULL AUTO_INCREMENT,
  `name` varchar(30) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `passwd` varchar(32) DEFAULT NULL,
  `created` datetime DEFAULT NULL,
  `updated` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
);

数据库表 user 对应的实体类的定义如下：

type User struct {
    Id          int64       `db:"id;autoincr"`
    Name        string      `db:"name"`
    Age         int64       `db:"age"`
    Passwd      string      `db:"passwd"`
    Created     time.Time    `db:"created;n_update"`
}
func (ent *User) TableName() string {return "user"}

worm 应用名称为 ”db” 的 Tag 映射数据库字段，”db” 前面是字段的名称，autoincr 用于阐明该字段是自增 ID，n_update 用于阐明该字段不可用于 update 语句中。

事务处理

当应用事务处理时，须要调用 worm.NewSession()来创立 Session 对象，并调用 TxBegin()函数开启数据库事务。在事务中能够混用 Struct 映射、原生 SQL 以及 SQLBuilder 来拜访数据库：

func demoTxCommit() {tx := worm.NewSession()
    tx.TxBegin()

    var user = User{Name:"name1", Age: 21, Created: time.Now()}
    id, err := tx.Model(&user).Insert()
    if err != nil{tx.TxRollback()
        return
    }

    _, err = tx.Table("user").Value("age", 20).Value("name", "zhangsan").Where("id=?", id).Update()
    if err != nil{tx.TxRollback()
        return
    }

    _, err = tx.SQL("delete from user where id=?", id).Exec()
    if err != nil{tx.TxRollback()
        return
    }

    tx.TxCommit()}