如果你把货色整顿得东倒西歪，下次就不必查找了
——– 德国谚语
从最根本的层面上看，数据库只须要做两件事：向它插入数据时，它就保留数据；之后查问时他就返回数据。接下来也就围绕着查问和存储这两个话题开展，存储时有两种比拟罕用的数据结构 LSM 和 B -Tree，基于数据的查问依据不同的利用场景能够分为两种形式事务处理（OLTP) 和剖析解决 (OLAP)。
LSM 数据结构
LSM 数据结构晚期是利用于日志构造文件系统上的，是一种基于合并和压缩的排序文件索引的存储引擎，在 leveldb，rocksdb 等存储系统上有宽泛的利用。
它是以一种程序写的形式将值写磁盘，相比于随机写速度上有大大的晋升。对于写入的数据在磁盘上保障程序性，键值能够采纳稠密的形式存储在内存，查问时能够定位数据的范畴，在节俭内存的同时放慢查问的速度。当插入的数据达到一定量时，对数据块进行合并压缩解决。
1. 文件格式
二进制的形式进行存储。
2. 删除记录
不间接删除数据，而是采纳标记位的形式示意已删除，在合并的时候抛弃。
3. 解体复原
对于写入内存的数据通过追加磁盘日志的形式备份，能够及时复原。
4. 局部写入的记录
减少校验位解决，对于不残缺的数据抛弃。
5. 并发管制
因为是程序写的形式，以一个线程写，多个线程读的形式来实现并发。
6. 保障磁盘数据程序性
能够采纳跳表，红黑树等数据结构实现
7. 对于不存在的数据晋升查问性能
能够采纳布隆过滤器的形式
B-Tree 数据结构
B-Tree 是目前宽泛应用且比拟成熟的数据库底层存储构造，mysql 就是采纳该数据结构实现的。B-tree 将数据库分解成大小固定的块或页，通常为 4KB，相似于底层磁盘的块排列形式，能够让一个页面援用另一页面，结构一个树状页面。数据是以程序的形式排列，插入时须要找到键的地位，如果此时改块已满须要进行决裂操作。
1. 可靠性
通过预写日志（WAL）的形式存储数据库的操作，避免零碎解体时数据失落。
2. 节俭内存
保留键的缩略信息，而不是残缺的键，这样能够节俭空间。
3. 大范畴查问
相邻的页在磁盘中顺序存储，缩小磁盘 IO
4. 查问速度
能够减少兄弟指针，这样能够不必返回父指针再拜访一次
5.LSM 和 B -Tree 比照
LSM 整体的写性能比 B -Tree 好，数据的压缩性能更好。B-Tree 整体的读性能更加优异，且在合并压缩这块不须要耗费更多的性能，反对事务语义。须要依据理论利用的场景，抉择相应的数据结构。
事务处理与剖析解决
在线事务处理指的是日常程序中的增删改查操作，在线剖析解决次要是预先对数据分析，波及数据量较大，且个别读取的是某几列的值。
| 属性 | 事务处理零碎 | 剖析零碎 |
|---|---|---|
| 次要读特色 | 基于键，每次查问返回大量的记录 | 对大量记录进行汇总 |
| 次要写特色 | 随机拜访，低提早写入用户的输出 | 批量导入或事件流 |
| 典型应用场景 | 终端用户，通过网络应用程序 | 外部分析师，为决策提供反对 |
| 数据表征 | 最新的数据状态 | 随着工夫而变动的所有事件历史 |
| 数据规模 | GB 到 TB | TB 到 PB |
列式存储
如果事实表中无数以万亿行,PB 大小的数据，则高效地存储和查问这些数据将成为一个具备挑战性的问题。面向列存储的想法很简略：不要将一行的所有值存储在一起，而是将每列的所欲值存储在一起。列式存储能够不便数据的压缩，能够节俭存储空间。
作为利用开发人员，把握更多无关存储引擎外部的常识，能够更好地理解哪种工具最适宜你的具体利用。