内容参考

对分布式对定义参考这篇文章：

微服务都想用，先把分布式和微服务之间的关系说分明

对分布式架构核心或无核心比照参考这篇文章：

分布式存储单主、多主和无核心架构的特色与趋势

对HDFS对外部机制参考这篇文章：

Hadoop分布式文件系统I/O原理机制的深度解读

分布式文件系统HDFS无索引就无K/V

首先分布式数据并不是相对的喜爱应用kv存储模式，例如分布式数据库外面mongodb和elasticsearch是文档模式存储，若把HDFS也算进去的话，它是无索引的存储。

上图是HDFS作为分布式数据存储的文件分块存储模式，简略间接，并没有进行任何的kv索引建设。咱们能够看到图中Nginx日志被切割成duo多份，而后散布在三台数据节点上，要留神的是，HDFS的正本个别是三份，图中只做了两份代表正本的意思，但实际上是三份。客户端在进行拜访通信是时候，都是通过数据块scan的形式进行，没有索引，就没有随机拜访机制。

TiDB的架构特色

像cockroach,tidb，明明是关系库，为啥非要弄个key，即便业务逻辑不须要表有unique key，也要给每条记录硬加一个key，这是什么目标？

其实cockroach，tidb都叫NewSQL，是NoSQL+关系型数据库的合体，认为它们是关系库，说得不失当。

例如：tidb分为PD、TIKV、TIDB，PD管理者kv的关系构造，这部分能够对标关系型数据库。

上图是TIDB的架构图，图中能够看到TIDB造成的集群次要是接管内部利用的SQL，解决SQL的逻辑，与PD交互获取KV地址，与KV交互获取数据；

PD组成的集群次要是通过元数据的语义了解kv在集群中的地位，实现对KV集群的调度和负载平衡，调配全局事务ID；

TIKV就是咱们说到的重点，通过Key-Value存储引擎，提供分布式事务能力。每个节点有多个Region，Region存储一个范畴Key的数据——Key Range，次要是为了造成间断的小组，在部分提供写入和读取的性能劣势。并且以Region作为原子单元，实现集群跨节点的正本复制，复制形式用Raft协定实现。

实际上TIKV局部就是规范的NoSQL为根底的数据长久化层了，TIKV的长久化数据层就是RocksDB，同样的cockroach长久化数据层也用的是RocksDB，RocksDB的就是LSM-Tree的日志追加形式WAL (write ahead log)疾速写入数据，再通过LSM-Tree的memtable，sstable构造，索引key，获取value，所以就是个规范的key/value数据库。

RocksDB的外围劣势LSM-Tree构造

为什么它们不谋而合的都抉择了RocksDB，因为作为外围构造LSM树的WAL，memtable，sstable形式具备写入数据的微小劣势并保证数据可靠性，造成很多小的程序分组，同时又失去部分热点上的惊人查问劣势，在内存中实现查找。

而且LSM-Tree配合Bloom Filter又能将工夫线作为优先级，疾速索引数据在磁盘中的地位范畴，这就大大减少扫描磁盘的动作。

若遇到大范畴随机查找，Bloom Filter有也查不到地位的状况，才会通过二分查找，并在树的不同层进行多路合并，取优先级最高的数据。

那么通过这种思路，就能比关系型数据库的b/b+树索引在写的性能方面带来质的晋升，而且对于部分热点，也就是近期数据带来惊人的查问性能，尽管全局范畴的查问有所升高，数据段合并会带来的资源耗费(rocksdb通过多线程合并晋升了这一过程的效率)，但数据库读写的整体性能的平衡性变得更正当了，总之未来通过集群解决读的问题总是比解决写的问题更容易，这就是抉择key/value数据库的底层逻辑。

NewSQL绝对于MySQL的劣势

反观关系型数据库，例如要给MySQL加上一条索引，那么索引字段就是key。所以RDBMS也不能说本人跟key/value存储没啥分割。

作为业务逻辑上不须要unique key而非要加一个key，这是因为关系型数据库设计的初衷就不是为了海量数据的疾速写入和查找所设计的，即使没有索引，行集扫描也没有问题，这才是常态是其本质，这和Hadoo HDFS的按块扫描一样，都是一种原始的状态，HDFS之上仍然须要HBase数据库来解决海量数据的随机查找场景，实质上作为列族分类的HBase也是Key/Value模式。

NewSQL抉择了RocksDB，也就是抉择了业务记录中key存在的必须，但换来的是海量数据的高效写入和查找，十分划算。

返回读字节的知乎——理解更多对于大数据的常识

公众号“读字节” 分布式，大数据，软件架构的深度，业余解读