存储过程

作者：秦福朗 爱可生 DBA 团队成员，负责我的项目日常问题解决及公司平台问题排查。酷爱 IT，喜爱在互联网里畅游，善于摄影、厨艺，不会厨艺的 DBA 不是好司机，didi~ 本文起源：原创投稿 *爱可生开源社区出品，原创内容未经受权不得随便应用，转载请分割小编并注明起源。 引言用过 Oracle 数据库的同学都晓得，在 Oracle 有个性能：AWR（全称为 Automatic Workload Repository），主动负载信息库。它收集对于特定数据库的操作统计信息和其余统计信息，Oracle 以固定的工夫距离（默认为 1 个小时）为其所有重要的统计信息和负载信息执行一次快照，并将快照寄存入 AWR 中，为 DBA 们剖析数据库提供了十分好的便当条件。尽管 MySQL 没有这么强的性能，但 MySQL 有一个相似的，名叫 diagnostics 的存储过程，提供了相相似的性能。 diagnostics() 存储过程是利用 MySQL 本身的 information_schema，performance_schema、sys 等元数据信息及性能数据信息的库表函数等，对以后服务器状态进行诊断，提供给 DBA 一份能够用于剖析数据库状态的报告。 根本蕴含信息diagnostics() 收集的数据次要蕴含以下信息： 来自 metrics 视图的信息；来自其余相干的 sys schema 视图的信息，比方检测第 95 百分位数的查问视图；如果是 NDB Cluster 的 MySQL 服务器，则还会有 ndbinfo schema 的信息；主从复制状态信息一些 sys schema 的视图被计算为初始（可选）、overall 和 delta： 初始视图是 diagnostics() 过程开始时的视图内容。这个输入与用于 delta 视图的起始值雷同。如果 diagnostics.include_raw 配置选项为 ON，则初始视图会被蕴含在报告中。overall 视图是 diagnostics() 过程完结时的视图内容。这个输入与用于 delta 视图的完结值雷同。overall 视图总是被蕴含在报告内。delta 视图是 procedure 执行开始到完结的差别。最小值和最大值别离是完结视图的最小值和最大值。它们不肯定反映监控期间的最小值和最大值。除了 metrics 视图外，Delta 仅计算第一个和最初一个输入之间的差值。留神： ...

本文欢送转载，转载请注明出处和作者。 存储类型如同后面所讲的服务器一样，存储也有很多不同维度的比照。例如块存储、ISCSI、SAN，平时可能会听到不懂行的人拿这几个来比照，然而这基本不是一个维度下面的概念，根本无法进行比照。以下咱们从几个维度来对存储类型进行比照。 1-依照存储的连贯形式 DAS:特色：磁盘装在服务器外部，直连服务器的串行（SCSI）接口。（相似笔记本通过USB直接插入移动硬盘） 长处：部署简略，即插即用，价格便宜； 毛病：只能单台设施应用，无奈共享。 NAS:特点：磁盘阵列接入IP交换机，服务器通过IP网络拜访存储；（相似Windows笔记本，文件夹右键属性创立共享文件夹，而后其余客户端能够通过\IP共享文件夹名称拜访） 长处：磁盘阵列能够通过IP网络多台服务器共享拜访，便宜； 毛病：传输数据速率较慢，对大量读写IO的反对较差。 SAN:特点：磁盘阵列接入光纤交换机，服务器配置HBA卡接入光纤交换机拜访存储。 长处：三者外面性能最优，IO读写性能最好，速度最快； 毛病：价格较高，须要额定购买光纤交换机与HBA卡进行组网。 2-依照封装协定分类SCSI协定:对应DAS存储，硬盘通过IDE或SATA接口线连贯服务器主板，数据通过SCSI协定进行封装，而后传输。 ISCSI协定（对应IPSAN网络）:对应NAS或是应用IP交换机的块存储，磁盘阵列设施有控制器，控制器上有NAS接口板（相当于以太网卡），通过以太网线与一般IP交换机互联，数据先通过SCSI协定封装，外层再封装IP协定，再通过IP网络传输。 FC协定（对应SAN网络）:对应SAN网络的存储（个别为块存储），磁盘阵列设施有控制器，控制器有光纤接口，通过光纤与光纤交换机互联，服务器须要特地配置HBA卡，连贯光纤交换机拜访磁盘阵列，数据通过FC协定进行封装。 FCOE协定:对应SAN网络存储，但IP交换机采纳具备FCoE性能的交换机，数据通过FC协定进行封装，外层再封装IP协定，再通过IP网络传输。 3-依照存储网络分类 4-按产品类型分类1、集中式存储集中式存储指采纳单台/单套专用存储硬件，对数据进行集中寄存，而后通过接入FC/IP网络的形式，共享给多台服务器同时拜访的存储。此类存储的冗余通常通过该专用硬件外面各局部部件进行冗余配置来解决（如通常配置至多2个控制器，磁盘须要配置热备盘，磁盘组要做Raid，风扇、电源也冗余配置等）。（如IBM DS8000、EMC VMAX零碎列 等） 长处是专用硬件，各局部部件冗余，性能强劲，能够通过减少扩大柜与磁盘扩容容量与性能。（Scale Up） 毛病是专用硬件价格昂贵，并且通常品牌绑定，不同品牌之间的设施无奈搭配扩容容量应用。甚至同品牌的不同系列存储产品，都不会向下兼容。而就算再高端的系列产品，受限于控制器的性能，上面能够带的磁盘总数与扩大柜数，都是有限度的。因而一旦应用容量/性能超过最大值，就要弄一套新的存储，须要业务那边思考如何将数据拆分到2套独立的存储中去。 集中式存储次要分以下两类： 01、传统块存储：根本对应SAN、IPSAN、DAS，指裸磁盘映射给服务器的操作系统，由操作系统对裸磁盘进行格式化（即装置文件系统）后能力应用。 长处是读写IO性能高，局部数据库必须采纳这种形式的存储。毛病是不适宜存储数据的共享，如Linux服务器的磁盘文件系统是EXT4，而Windows的服务器文件系统为NTFS，两者的磁盘数据无奈共享。 02、传统文件存储：根本对应NAS存储，用一般服务器也能作为NAS应用，有专门的文件系统（NFS、CIFS），其余服务器只有IP可达，即能够应用其作为文件存储，拜访的时候能看见一级级的文件目录，无需格式化即可以上传或下载文件。 长处是能够共享数据（Linux/Win的服务器都能拜访），毛病是只适宜寄存文件（数据库不能用这种）以及IO性能差。 2、分布式存储能够了解为服务器+DAS+软件：业界根本采纳服务器装大硬盘，而后分布式部署，再通过几台治理服务器装置对象存储软件的形式实现。治理服务器有所有数据的元数据（即所有数据的属性，如大小，日期等），用户拜访时先向治理服务器查问数据所在，而后间接拜访理论存储数据的分布式对象存储服务器拿数据。 长处是分布式的服务器同时并行对外提供服务，晋升了IO性能，实践上能够有限横向扩大。（Scale Out） 毛病是依赖于软件自身，操作、保护都有门槛，须要专门的技术人员去治理与运维。 分布式存储别离有分布式块存储、分布式文件存储、分布式对象存储。 对象存储：对象存储适宜寄存一次上传，屡次读取，从不批改的数据。（例如当初挪动互联网，大家抖音发的视频，微博、朋友圈发的文字、图片、视频，都有此属性）对象一旦上传是不能批改的。 对象存储与传统的存储不太一样，寄存的货色叫对象。对象除了须要存储的数据自身，还包含一部分叫元数据的内容（用来形容数据自身属性的数据，例如最初批改工夫，对象大小等）。对象寄存在一个叫Bucket的存储空间下，没有文件系统、目录等概念，存储空间在对象存储内有惟一的全局ID，存储对象数据是通过KEY:VALUE的键值对的形式进行存储的。用户能够间接通过“存储空间对象KEY”的形式，通过网络读取与调用对象的VALUE。 与块存储与文件存储相比： 1、文件存储是树状索引式的，拜访越深刻的目录，耗费的资源越大。对象存储应用key：value进行存储，读取开销很低。 2、块存储不不便进行数据共享，而文件存储能够将文件上传之后，其余用户有拜访权限的状况下能够间接通过http/RestAPI等形式调用对象，从而达到数据共享。 3、NOSQL存储nosql的全称是not-only-sql，以往罕用的数据库都是关系型数据库，将业务逻辑通过抽象化的形式，具象成一堆具备关联关系的二维表，然而随着挪动互联网的高速倒退传统的关系型数据库在应酬超大规模超大流量以及高并发的时候力不从心，特地是在SNS之类的利用，很多都是图片、视频等非结构化的数据。 NOSQL具备Key-Value存储、列式存储、对象存储等多种形式，在特定的利用场景可能提供更快的查问能力。更多精彩内容，能够关注我的微信公众号：Waiting的运维日常本篇文章由一文多发平台ArtiPub主动公布

本文欢送转载，转载请注明出处和作者。存储是个很大的话题，而且讲起来比拟硬核，很多术语与知识点。咱们尽量每一部分都标注重点，以及类比了解。 存储是什么 存储的外围是硬盘中的磁片。（一个硬盘有很多块） 磁盘外面由多个铝合金资料做的碟片形成，用于存储数据。每个碟片会有一个读写磁头通过磁化碟片来存储数据。 碟片在格式化被划分成为许多同心圆，这些同心圆的轨迹叫做磁道。磁道从最外圈向最内圈由0开始编号。 碟片上的每个磁道被等分为若干个弧段，这些弧段便是磁盘的扇区。每个扇区512个字节，扇区是磁盘可分的最小单位。 所有盘面上的同一磁道，垂直方向上形成一个圆柱，叫做柱面。 为缩小寻道工夫，磁头读写数据时先从同一个柱面的磁道0开始操作，而后再去往下一个柱面。 因为每个扇区的长度相等，因而0磁道周长最长，扇区最多，且各磁道角速度相等，因而外层磁道比内层磁道读写速率要高。 （重点：记住“扇区（sector）是磁盘可分的最小单位”即可，其余“柱面”、“磁道”那些前面都用不上） 如何应用磁盘第一步：对磁盘进行格式化：未格式化的硬盘称作裸磁盘，不能被操作系统辨认或间接应用。 格式化操作将裸磁盘划分为多个磁道，并且将多个扇区组成一个文件块（Block），块是操作系统可能辨认与操作的最小单位。（FAT32最小块1KB，最大为4GB，NTFS最小块4KB，最大64GB）。 格式化操作其外延是为了将磁盘空间依照文件系统可能辨认的办法进行编址，以便文件系统进行读写操作。而不同的操作系统可能反对不同的文件系统。 为啥要编址呢，其实磁盘就像住房，如果你只有一套房，并且是自住的，那么爱咋咋滴，反正就你本人住。然而如果你有N套房，你当房东了，那么有租客过去了，一手交钱、一手交房卡，那么租客如何找到他的房间而不要敲错他人房间的门呢？房东你是不是要通知租客他租的房间就是几零几号房？那么其实这个几零几的编号，就是你对房间进行了编址。 其实磁盘也就一样，裸磁盘相当于超市/图书馆门口那些长期储物柜，每个扇区相当于1个储物柜，而操作系统相当于长期存放管理员，应用程序相当于带着行李的游客。应用程序（游客）往裸磁盘（存储柜）存入货色的时候，租客不是间接轻易找个储物柜硬塞的，而是到寄存处，把行李交给管理员，而管理员看看哪里有空的柜子，而后把行李存进去，而后把带有存物柜编号（编址后，多个扇区组成的文件系统块地址）的钥匙/凭证交给游客。等应用程序调用数据（游客取行李）的时候，管理员依据凭证（编址），从对应的存物柜外面提取行李（数据）提取进去，而后交给游客。 （重点：记住1、“格式化就是对裸磁盘空间进行编地址”，2、“文件块（Block），块是操作系统可能辨认与操作的最小单位”） 第二步：对磁盘进行分区分区其实就是指定每个分区由哪个扇区开始，到那个扇区完结。 分区能够使多个分区之间的数据进行隔离。 分区后各分区能够用于格式化不同的文件系统，并且每个分区的格式化操作不会影响另外一个分区。（如平时C盘重装WINDOWS操作系统，不会影响D、E盘数据，数据不会清空） 第一个扇区次要存储：(1)次要开机区(Master boot record, MBR)及宰割表(partition table)， 其中 MBR 占有 446 bytes，而 partition table 则占有 64 bytes。 硬盘最多划分4个物理分区（主分区/扩大分区），须要更多的分区就要在扩大分区下面划逻辑分区。 数据如何写入存储一般文件系统以FAT32文件系统为例，对硬盘进行格式化后，多个扇区组成了多个块，并且对块进行了编址（下图每个矩形为1个文件块）。 假如每个块为1KB，一份4KB大小的文件，被分为4个文件块，别离存储到块1、4、7、15中去。 如1、4、7、15文件块各位于不同的磁片，那么每个磁片的磁头会参加到读取数据的操作中去。 这种形式读写效率低，如1、4、7文件块都在第一块磁盘，原本磁盘转一圈即可读取完3个文件块，然而因为1前面指向7，所以转第一圈通过4时不会读取，读取7后才晓得要读取4，须要转第二圈才可能读取到4文件块。 索引式文件系统Linux的EXT4为索引式文件系统，磁盘格式化后会生成Inode与Block，其中Block用户存储文件数据，Inode用来寄存文件的元数据。每个文件有惟一的Inode编号。当拜访文件时，会在Inode查找对应编号，找到元数据后，就一次过晓得文件分块所有的寄存地位，这个时候磁盘转一圈就能够全副数据读取结束了。因而读写效率较高。 日志式文件系统传统的文件系统，如果在写入过程产生中断，会产生写入设施与被写入设施上的数据不统一的问题，将须要启动数据修复，修复工夫长，资源耗费大，所以呈现了日志式文件系统。 在每次写入数据之前，会先在日志记录缓存区中写下要进行的写入的数据的信息，而后才会着手将数据以及元数据写入到磁盘中，写入数据实现后，又会将日志记录缓存区块中的记录写入到磁盘的日志记录区，这样如果中途呈现问题，查看日志记录缓存区/日志记录区，就能找到中断的地位或者谬误的起因，从新进行读写，排错工夫短，修复工夫快。 更多精彩内容，能够关注我的微信公众号：Waiting的运维日常本篇文章由一文多发平台ArtiPub主动公布