Liquibase是一个用于用于跟踪、治理和利用数据库变动的开源工具,通过日志文件(changelog)的模式记录数据库的变更(changeset),而后执行日志文件中的批改,将数据库更新或回滚(rollback)到统一的状态。它的指标是提供一种数据库类型无关的解决方案,通过执行schema类型的文件来达到迁徙。本文次要介绍SpringBoot与Liquibase的集成。@pdai
  • SpringBoot数据库治理 - 用Liquibase对数据库治理和迁徙?

    • 常识筹备

      • 什么是Liquibase?这类工具要解决什么问题?
      • Liquibase有哪些概念?是如何工作的?
    • 简略示例

      • POM依赖
      • yml配置
      • 新增changelog
      • 测试
    • 进一步了解

      • 比拟好的changelog的实际?
      • 除了addColumn,addTable还有哪些changeType呢?
    • 示例源码

常识筹备

须要了解什么是Liquibase,它的呈现是要解决什么问题。

什么是Liquibase?这类工具要解决什么问题?

Liquibase是一个用于用于跟踪、治理和利用数据库变动的开源工具,通过日志文件(changelog)的模式记录数据库的变更(changeset),而后执行日志文件中的批改,将数据库更新或回滚(rollback)到统一的状态。它的指标是提供一种数据库类型无关的解决方案,通过执行schema类型的文件来达到迁徙。

其长处次要有以下

  • 反对简直所有支流的数据库,目前反对包含 Oracle/Sql Server/DB2/MySql/Sybase/PostgreSQL等 各种数据库,这样在数据库的部署和降级环节可帮忙利用零碎反对多数据库;
  • 反对版本控制,这样就能反对多开发者的合作保护;
  • 日志文件反对多种格局,如XML, YAML, JSON, SQL等;
  • 提供变动利用的回滚性能,可按工夫、数量或标签(tag)回滚已利用的变动。通过这种形式,开发人员可轻易的还原数据库在任何工夫点的状态
  • 反对多种运行形式,如命令行、Spring集成、Maven插件、Gradle插件等。

为何会呈现Liquibase这类工具呢

在实际上线的利用中,随着版本的迭代,常常会遇到须要变更数据库表和字段,必然会遇到须要对这些变更进行记录和治理,以及回滚等等;同时只有脚本化且版本可治理,能力在让数据库实现真正的DevOps(自动化执行 + 回滚等)。在这样的场景下Liquibase等工具的呈现也就成为了必然。

Liquibase有哪些概念?是如何工作的?

工作流程:将SQL变更记录到changeset,多个changeset变更组成了日志文件(changelog),liquibase将changelog更新日志文件同步到指定的RDBMS中。

日志文件(databaseChangeLog)反对多种格局,如XML, YAML, JSON, SQL; 咱们以xml为例,看下相干配置

<?xml version="1.0" encoding="UTF-8"?> <databaseChangeLog    xmlns="http://www.liquibase.org/xml/ns/dbchangelog"    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"    xmlns:ext="http://www.liquibase.org/xml/ns/dbchangelog-ext"    xmlns:pro="http://www.liquibase.org/xml/ns/pro"    xsi:schemaLocation="http://www.liquibase.org/xml/ns/dbchangelog        http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-4.9.0.xsd        http://www.liquibase.org/xml/ns/dbchangelog-ext http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-ext.xsd        http://www.liquibase.org/xml/ns/pro http://www.liquibase.org/xml/ns/pro/liquibase-pro-4.9.0.xsd">    <changeSet id="1" author="bob">          <comment>A sample change log</comment>          <createTable/>     </changeSet>      <changeSet id="2" author="bob" runAlways="true">          <alterTable/>      </changeSet>      <changeSet id="3" author="alice" failOnError="false" dbms="oracle">        <alterTable/>      </changeSet>      <changeSet id="4" author="alice" failOnError="false" dbms="!oracle">        <alterTable/>      </changeSet>  </databaseChangeLog>

简略示例

这里次要介绍基于SpringBoot集成liquibase来治理数据库的变更。

POM依赖

Maven 包的依赖,次要蕴含mysql驱动, JDBC(这里spring-boot-starter-data-jpa蕴含了jdbc包,当然间接引入jdbc包也行),以及liquibase包。

<dependency>    <groupId>mysql</groupId>    <artifactId>mysql-connector-java</artifactId>    <version>8.0.28</version></dependency><dependency>    <groupId>com.github.wenhao</groupId>    <artifactId>jpa-spec</artifactId>    <version>3.1.0</version></dependency><dependency>    <groupId>org.springframework.boot</groupId>    <artifactId>spring-boot-starter-data-jpa</artifactId></dependency><dependency>    <groupId>org.liquibase</groupId>    <artifactId>liquibase-core</artifactId>    <version>4.9.1</version></dependency>

yml配置

SpringBoot AutoConfig默认曾经蕴含了对liquibase的配置,在spring.liquibase配置下。

根底的配置,能够间接应用如下(次要是指定change-log的地位,默认的地位是classpath:/db/changelog/db.changelog-master.yaml):

spring:  datasource:    url: jdbc:mysql://localhost:3306/test_db_liquibase?useSSL=false&autoReconnect=true&characterEncoding=utf8    driver-class-name: com.mysql.cj.jdbc.Driver    username: root    password: bfXa4Pt2lUUScy8jakXf  liquibase:    enabled: true    # 如下配置是被spring.datasource赋值的,所以能够不配置#    url: jdbc:mysql://localhost:3306/test_db_liquibase?useSSL=false&autoReconnect=true&characterEncoding=utf8#    user: root#    password: bfXa4Pt2lUUScy8jakXf    change-log: classpath:/db/changelog/db.changelog-master.yaml

在开发时,更多的配置能够从如下SpringBoot AutoConfig中找到。

新增changelog

XML形式诚然OK,不过仍然举荐应用yml格局。

databaseChangeLog:  - changeSet:      id: 20220412-01      author: pdai      changes:        - createTable:            tableName: person            columns:              - column:                  name: id                  type: int                  autoIncrement: true                  constraints:                    primaryKey: true                    nullable: false              - column:                  name: firstname                  type: varchar(50)              - column:                  name: lastname                  type: varchar(50)                  constraints:                    nullable: false              - column:                  name: state                  type: char(2)  - changeSet:      id: 20220412-02      author: pdai      changes:        - addColumn:            tableName: person            columns:              - column:                  name: username                  type: varchar(8)  - changeSet:      id: 20220412-03      author: pdai      changes:        - addLookupTable:            existingTableName: person            existingColumnName: state            newTableName: state            newColumnName: id            newColumnDataType: char(2)

测试

启动springBootApplication, 咱们能够看到如下的几个changeSet被顺次执行

2022-04-12 20:41:20.591  INFO 8476 --- [           main] liquibase.lockservice                    : Successfully acquired change log lock2022-04-12 20:41:20.737  INFO 8476 --- [           main] liquibase.changelog                      : Creating database history table with name: test_db_liquibase.DATABASECHANGELOG2022-04-12 20:41:20.783  INFO 8476 --- [           main] liquibase.changelog                      : Reading from test_db_liquibase.DATABASECHANGELOGRunning Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-01::pdai2022-04-12 20:41:20.914  INFO 8476 --- [           main] liquibase.changelog                      : Table person created2022-04-12 20:41:20.914  INFO 8476 --- [           main] liquibase.changelog                      : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-01::pdai ran successfully in 53msRunning Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-02::pdai2022-04-12 20:41:20.952  INFO 8476 --- [           main] liquibase.changelog                      : Columns username(varchar(8)) added to person2022-04-12 20:41:20.952  INFO 8476 --- [           main] liquibase.changelog                      : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-02::pdai ran successfully in 31msRunning Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-03::pdai2022-04-12 20:41:21.351  INFO 8476 --- [           main] liquibase.changelog                      : Lookup table added for person.state2022-04-12 20:41:21.351  INFO 8476 --- [           main] liquibase.changelog                      : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-03::pdai ran successfully in 389ms2022-04-12 20:41:21.382  INFO 8476 --- [           main] liquibase.lockservice                    : Successfully released change log lock

查看数据库,你会发现数据曾经变更

那咱们如果重新启动这个SpringBootApplication,会怎么呢?

很显然,因为databasechangelog表中曾经有相干执行记录了,所以将不再执行变更

2022-04-12 20:49:01.566  INFO 9144 --- [           main] liquibase.lockservice                    : Successfully acquired change log lock2022-04-12 20:49:01.761  INFO 9144 --- [           main] liquibase.changelog                      : Reading from test_db_liquibase.DATABASECHANGELOG2022-04-12 20:49:01.812  INFO 9144 --- [           main] liquibase.lockservice                    : Successfully released change log lock

进一步了解

通过几个问题,进一步了解。

比拟好的changelog的实际?

简略而言:yml格局 + sql-file形式

执行sqlFile格局的changeSet,如下

执行的日志如下

2022-04-12 21:00:28.198  INFO 17540 --- [           main] liquibase.lockservice                    : Successfully acquired change log lock2022-04-12 21:00:28.398  INFO 17540 --- [           main] liquibase.changelog                      : Reading from test_db_liquibase.DATABASECHANGELOGRunning Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-04::pdai2022-04-12 21:00:28.516  INFO 17540 --- [           main] liquibase.changelog                      : SQL in file classpath:/db/changelog/db.changelog-20220412-04.sql executed2022-04-12 21:00:28.516  INFO 17540 --- [           main] liquibase.changelog                      : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-04::pdai ran successfully in 83ms2022-04-12 21:00:28.532  INFO 17540 --- [           main] liquibase.lockservice                    : Successfully released change log lock

执行后,查看变更记录

数据表user表曾经创立并插入一条数据

除了addColumn,addTable还有哪些changeType呢?

除了addColumn,addTable还有哪些changeType呢?

与此同时,还反对如下changeType:

此外,还反对执行command

changeSet:    id:  executeCommand-example    author:  liquibase-docs    changes:    -  executeCommand:        args:        -  arg:            value:  -out        -  arg:            value:  -param2        executable:  mysqldump        os:  Windows 7        timeout:  10s

比方,回滚的操作能够通过如下command进行

再比方,咱们能够通过Liquibase来生成相干差别,再制作成changeSet,最初部署。

示例源码

https://github.com/realpdai/t...

参考文章

https://docs.liquibase.com