1.数据库高可用实现
1.1 数据库读写拆散原理
1.2 Mycat介绍
1.3 Mycat个性
1.反对前端作为MySQL通用代理
2.后端JDBC形式反对Oracle,DB2,SQL Server,mongodb,巨杉
3.基于心跳的主动故障切换，反对读写拆散
反对MySQL Cluster,Galera,Percona,cluster集群
反对数据的多片主动路由与聚合
反对sum,count,max等罕用的聚合函数,反对跨库分页
反对库内分表,反对单库外部任意join全局表，反对跨库2表join
基于caltlet的多表join
反对通过全局表，ER关系的分片策略，实现了高效的多表join查问
1.4 装置具体步骤
1.4.1 上传安装包
1.4.2 解压文件
命令: ‘tar -xvf Mycat-server-1.7.0-DEV-20170416134921-linux.tar.gz’
删除没用的文件. 如图所示:
1.4.3 对于代理服务器配置准则
1.4.4 编辑server.xml配置文件
1.代理的端口号-8066 常见端口号: 8080tomcat服务器,3306 mysql数据,80 nginx ,6379 redis
2.批改数据库链接
3).设定用户名和明码
4).数据库链接池个别最大的链接数量1000个.
5).逻辑库的阐明: 只存在于逻辑意义上的数据库
1.4.5 编辑schema.xml配置文件信息
阐明: 该文件次要的作用就是配置代理与数据库之间的关系.次要配置数据库具体地址信息
`<?xml version="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schema xmlns:mycat="http://io.mycat/"> <!--name属性是自定义的 dataNode示意数据库的节点信息 jtdb示意逻辑库--> <schema name="jtdb" checkSQLschema="false" sqlMaxLimit="100" dataNode="jtdb"/> <!--定义节点名称/节点主机/数据名称--> <dataNode name="jtdb" dataHost="localhost1" database="jtdb" /> <!--参数介绍 UTF-8 中文报错 应用单行正文 --> <!--balance 0示意所有的读操作都会发往writeHost主机 --> <!--1示意所有的读操作发往readHost和闲置的主节点中--> <!--writeType=0 所有的写操作都发往第一个writeHost主机--> <!--writeType=1 所有的写操作随机发往writeHost中--> <!--dbType 示意数据库类型 mysql/oracle--> <!--dbDriver="native" 固定参数 不变--> <!--switchType=-1 示意不主动切换, 主机宕机后不会主动切换从节点--> <!--switchType=1 示意会主动切换(默认值)如果第一个主节点宕机后,Mycat会进行3次心跳检测,如果3次都没有响应,则会主动切换到第二个主节点--> <!--并且会更新/conf/dnindex.properties文件的主节点信息 localhost1=0 示意第一个节点.该文件不要随便批改否则会呈现大问题--> <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select 1</heartbeat> <!--配置第一台主机次要进行写库操作,在默认的条件下Mycat次要操作第一台主机在第一台主机中曾经实现了读写拆散.因为默认写操作会发往137的数据库.读的操作默认发往141.如果从节点比较忙,则主节点分担局部压力. --> <writeHost host="hostM1" url="192.168.126.129:3306" user="root" password="root"> <!--读数据库1--> <readHost host="hostS1" url="192.168.126.130:3306" user="root" password="root" /> <!--读数据库2--> <readHost host="hostS2" url="192.168.126.129:3306" user="root" password="root" /> </writeHost> <!--定义第二台主机 因为数据库外部曾经实现了双机热备.--> <!--Mycat实现高可用.当第一个主机137宕机后.mycat会主动收回心跳检测.检测3次.--> <!--如果主机137没有给Mycat响应则判断主机死亡.则回启东第二台主机持续为用户提供服务.--> <!--如果137主机复原之后则处于期待状态.如果141宕机则137再次继续为用户提供服务.--> <!--前提:实现双机热备.--> <!--<writeHost host="hostM2" url="192.168.126.130:3306" user="root" password="root"> <readHost host="hostS1" url="192.168.126.130:3306" user="root" password="root" /> <readHost host="hostS2" url="192.168.126.129:3306" user="root" password="root" /> </writeHost>--> </dataHost></mycat:schema>` 1.5 上传配置文件
阐明: 将配置文件上传到mycat/conf目录中. 留神先删除原始文件
1.6 Mycat启动
阐明: Mycat启动以来于 JDK环境, 进入bin目录中 执行如下命令
1.7 对于mycat 报错阐明
通过 cat mycat.log| cat wrapper.log查看服务启动是否正确
1.8 我的项目测试
测试目录:
1.向数据库中增加记录,查看主从是否同步数据.
2.批改从库中的记录, 利用程序检查数据信息.查看是否有负载平衡成果.
3.批改之后,将数据更新保证数据统一即可.
1.9 双机热备
1.9.1 阐明
因为数据库中的主库因为非凡的起因可能宕机,则通过双机热备的模式配置为互为主从.
实现数据库高可用的前提条件: 实现数据库主从同步…
1.9.2 双机热备的配置
IP: 192.168.126.129 之前主库 , 当初当从库
IP: 192.168.126.130 之前从库 , 当初当主库
1.主库130配置:
`/*130配置 明天当主库*/SHOW MASTER STATUS;` 2.从库129配置
`/*设置129为从库*/CHANGE MASTER TO MASTER_HOST="192.168.126.130",MASTER_PORT=3306,MASTER_USER="root",MASTER_PASSWORD="root",MASTER_LOG_FILE="mysql-bin.000001",MASTER_LOG_POS=468;/*启动主从服务*/START SLAVE;/*查看主从状态*/SHOW SLAVE STATUS;` 1.9.3 实现数据库高可用
编辑schema配置信息:
`<?xml version="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schema xmlns:mycat="http://io.mycat/"> <!--name属性是自定义的 dataNode示意数据库的节点信息 jtdb示意逻辑库--> <schema name="jtdb" checkSQLschema="false" sqlMaxLimit="100" dataNode="jtdb"/> <!--定义节点名称/节点主机/数据名称--> <dataNode name="jtdb" dataHost="localhost1" database="jtdb" /> <!--参数介绍 UTF-8 中文报错 应用单行正文 --> <!--balance 0示意所有的读操作都会发往writeHost主机 --> <!--1示意所有的读操作发往readHost和闲置的主节点中--> <!--writeType=0 所有的写操作都发往第一个writeHost主机--> <!--writeType=1 所有的写操作随机发往writeHost中--> <!--dbType 示意数据库类型 mysql/oracle--> <!--dbDriver="native" 固定参数 不变--> <!--switchType=-1 示意不主动切换, 主机宕机后不会主动切换从节点--> <!--switchType=1 示意会主动切换(默认值)如果第一个主节点宕机后,Mycat会进行3次心跳检测,如果3次都没有响应,则会主动切换到第二个主节点--> <!--并且会更新/conf/dnindex.properties文件的主节点信息 localhost1=0 示意第一个节点.该文件不要随便批改否则会呈现大问题--> <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select 1</heartbeat> <!--配置第一台主机次要进行写库操作,在默认的条件下Mycat次要操作第一台主机在第一台主机中曾经实现了读写拆散.因为默认写操作会发往137的数据库.读的操作默认发往141.如果从节点比较忙,则主节点分担局部压力. --> <writeHost host="hostM1" url="192.168.126.129:3306" user="root" password="root"> <!--读数据库1--> <readHost host="hostS1" url="192.168.126.130:3306" user="root" password="root" /> <!--读数据库2--> <readHost host="hostS2" url="192.168.126.129:3306" user="root" password="root" /> </writeHost> <!--定义第二台主机 因为数据库外部曾经实现了双机热备.--> <!--Mycat实现高可用.当第一个主机137宕机后.mycat会主动收回心跳检测.检测3次.--> <!--如果主机137没有给Mycat响应则判断主机死亡.则回启东第二台主机持续为用户提供服务.--> <!--如果137主机复原之后则处于期待状态.如果141宕机则137再次继续为用户提供服务.--> <!--前提:实现双机热备.--> <writeHost host="hostM2" url="192.168.126.130:3306" user="root" password="root"> <readHost host="hostS1" url="192.168.126.130:3306" user="root" password="root" /> <readHost host="hostS2" url="192.168.126.129:3306" user="root" password="root" /> </writeHost> </dataHost></mycat:schema>` 1.9.4 配置策略
1).敞开mycat服务器
2).编辑schema配置文件
3).重启mycat
1.9.5 测试高可用
1).敞开主数据库.
2).测试程序是否运行失常.
3).重启主数据库检查数据是否同步.
2.学习Redis缓存
2.1 缓存机制阐明
2.2 缓存机制原理阐明
缓存机制:
缓存中的数据,肯定是数据库中的数据,应用缓存次要的目标就是升高用户拜访物理设施的频次.
如果数据库记录更新,则缓存应该同步更新.
1.缓存的数据结构 K-V构造进行数据保留
- 开发语言选择 C语言程序
- 缓存数据的运行环境在内存中, 断电即擦除. 将内存数据进行长久化操作.
- 如果不停的增加缓存的记录必定会造成内存溢出. 定期优化缓存机制.
1.LRU算法 2.LFU算法 3.Random 4.TTL
- 缓存也须要实现高可用机制.搭建缓存集群.
2.3 Redis介绍
2.3.1 官网介绍
URL地址: http://www.redis.cn
Redis 是一个开源（BSD许可）的 内存中的数据结构存储系统，它能够用作数据库、缓存和音讯两头件。 它反对多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 汇合（sets）， 有序汇合（sorted sets） 与范畴查问， bitmaps， hyperloglogs 和 天文空间（geospatial） 索引半径查问。 Redis 内置了 复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions） 和不同级别的 磁盘长久化（persistence）， 并通过 Redis哨兵（Sentinel）和主动 分区（Cluster）提供高可用性（high availability）。
效率: 读: 11.2万次/秒 写: 8.6万次/秒 均匀:10万次/秒
口诀: 1-5-8
2.3.2 常识扩大
1.数据库:
1.关系型数据库 mysql数据库/oracle数据 2维表 行/列
2.非关系型数据库 mongodb/hbase/Redis 1维表
- 中间件:
50万次/秒 吞吐量
2.4 Redis装置
2.4.1 上传安装包
2.4.2 解压redis
阐明: tar -xvf redis-5.0.4.tar.gz 解压实现之后删除安装包/ 批改文件名称
2.4.3 装置redis
阐明: 在redis根目录中执行如下命令
命令: 1. make
2.make install
2.4.4 进制换算
1k => 1000 bytes
1kb => 1024 bytes
1m => 1000000 bytes
1mb => 1024_1024 bytes
1g => 1000000000 bytes
1gb => 1024_1024*1024 bytes
2.4.4 批改Redis配置文件
1).批改IP绑定
2).敞开保护模式
3).开启后端运行
2.4.5 服务器命令
- 启动redis redis-server redis.conf
- 进入客户端 redis-cli -p 6379 exit 退出|quit|ctrl+c
- 敞开redis redis-cli -p 6379 shutdown
2.4.6 客户端命令
阐明: 依据文档练习redis命令
温习AOP相干常识.