关于influxdb:InfluxDB-TSM存储引擎的整体结构

TSM存储引擎的存储类tsdb.Store，蕴含索引区和数据区：

tsdb.Store
    //索引
    -- map[string]*Index    
        -- map[string]*measurement
        -- map[string]*series
    //数据
    -- map[uint64]*Shard
        -- Engine // 形象接口，可插拔设计，目前是 tsm1 存储引擎
            -- *WAL
            -- *Cache
            -- *Compactor
            -- *FileStore

索引区：map构造，databaseName–>Index构造；

• Index构造蕴含measurement和series元信息；

数据区：map构造，shardId–>Shard构造，一个shard能够了解为独自的tsm引擎，其中蕴含wal、tsm file等数据；

tsdb.Store整体构造

Store是存储的顶层构造，蕴含索引和数据：

//tsdb/store.go
type Store struct {
    path              string

    // shared per-database indexes, only if using "inmem".
    indexes map[string]interface{}    //key=databaseName, value理论是*Index

    //所有shards，key=shardId
    shards            map[uint64]*Shard
}

Store::indexes索引区

indexes定义为map[string]interface: key=databaseName，value=*Index。
该对象缓存了influxdb中所有的database、retention policy、measurement、series等元信息，若series设计不合理，容易导致内存占用偏高。
在influxdb启动时，将初始化该构造，从所有shards下的tsm file中加载index信息，获取其中的meaurement以及series信息，缓存到该构造中。

//tsdb/index/inmem/inmem.go
// Index is the in memory index of a collection of measurements, time
// series, and their tags.
type Index struct {
    //数据库下measurementName-->*measurement
    measurements map[string]*measurement // measurement name to object and index
    //数据库下seriesKey-->*series
    series       map[string]*series      // map series key to the Series object    
    database string    //数据库名称
}

measurement构造保留某个measurement下series、tags等信息：

• seriesByID：seriesId–>series；

• seriesByTagKeyValue：

  • 这个对象较为简单，它理论是tagKey–>tagValue–>[]uint64；
  • 可通过tagKey查问到其tagValue、蕴含该tagKey的[]seriesId；
  • 不便通过tagKey查问各种元信息；

//tsdb/index/inmem/meta.go
type measurement struct {
    Database  string
    Name      string `json:"name,omitempty"`
    fieldNames map[string]struct{}

    // in-memory index fields
    //seriesId-->*series
    seriesByID          map[uint64]*series      // lookup table for series by their id
    //tagKey-->tagValue-->[]seriesId
    //查问时，可依据tagKey找到seriesId，而后再找到相干的series
    seriesByTagKeyValue map[string]*tagKeyValue // map from tag key to value to sorted set of series ids

    sortedSeriesIDs seriesIDs // sorted list of series IDs in this measurement
}
type tagKeyValue struct {
    mu      sync.RWMutex
    entries map[string]*tagKeyValueEntry
}
type tagKeyValueEntry struct {
    m map[uint64]struct{} // series id set
}

series的构造很简略，蕴含serisId、key和tag信息：

// series belong to a Measurement and represent unique time series in a database.
type series struct {
    // immutable
    ID          uint64
    Measurement *measurement    //归属的measurement
    Key         string
    Tags        models.Tags
}

Store::shards数据区

shard在TSM中的地位：

• influxdb依照数据的工夫戳范畴，创立不同的shard，每个shard负责管理一段时间内的数据；
• 每个shard都有本人的cache、wal、tsmfile和compactor；
• 能够通过工夫疾速定位到shard，减速查问；同时批量删除时，删除响应的shard目录即可；

每个shard能够了解为一个独自的底层数据引擎，由其中的engine负责和底层的文件打交道：

//tsdb/shard.go
type Shard struct {
    path    string    //shard在磁盘中的门路
    walPath string    //shard中的wal目录
    id      uint64    //shardId

    database        string
    retentionPolicy string
    _engine Engine    //存储引擎
}

Engine是interface，InfluxDB应用tsm1实现了该接口：tsm1.Engine负责保护治理治理shard下的cache/wal/filestore/compactor对象

//tsdb/engine/tsm1/engine.go
type Engine struct {
    path         string
    index tsdb.Index    //索引信息

    WAL            *WAL           //WAL文件对象
    Cache          *Cache         //WAL文件在内容中的缓存
    Compactor      *Compactor    //合并治理对象
    CompactionPlan CompactionPlanner
    FileStore      *FileStore    //数据文件对象
    
    //Cache超过肯定大小会被写入TSM文件，默认25M
    //配置文件：cache-snapshot-memory-size
    CacheFlushMemorySizeThreshold uint64

    //Cache超过多久没有数据写入，将其写入TSM文件，默认30min
    //配置文件：cache-snapshot-write-cold-duration
    CacheFlushWriteColdDuration time.Duration
}

每个Shard蕴含：Cache、WAL、Compactor、FileStore四大组件。

Cache

cache相当于LSM-Tree中的MemTable，内存中是一个map构造，key=seriesKey+分隔符+fieldName。
插入数据时，同时向cache和WAL写入数据，能够认为cache是wal在内存中的缓存；当influxdb启动时，会遍历所有的wal，从新结构cache，这样即便系统故障，也不会导致数据失落。
cache中的数据不会有限增长，当达到cache-snapshot-memory-size(默认25M)时，将cache进行快照，将快照中的数据写入tsm文件中；同时删除对应的wal文件。

WAL

wal文件内容与cache雷同，用于过程解体后，通过wal文件复原数据(复原到cache)；

FileStore

FileStore具体是TSM File，单个TSM File最大2GB，用于寄存压缩后的时序数据，对不同的数据类型，应用不同的压缩算法；

• Timestamp: simple8B
• Floats: XOR
• Integers: ZigZag
• Strings: Snappy

Compactor

compactor相似于LSM-Tree中的低Level向高Level SSTable的合并。
compactor在后盾运行，每隔1s查看一次是否须要合并：

• cache中的数据大小达到阈值，进行快照，而后转存到一个tsm文件中；
• 合并tsm文件，将低level tsm合并到高level，缩小文件数量，同时进行数据的过期删除；

参考：

1.http://blog.fatedier.com/2016…
2.http://blog.fatedier.com/2016…
3.https://docs.influxdata.com/i…