乐趣区

关于golang:进程内缓存助你提高并发能力

jiezi

前言

缓存，设计的初衷是为了缩小沉重的 IO 操作，减少零碎并发能力。不论是 CPU 多级缓存，page cache，还是咱们业务中相熟的 redis 缓存，实质都是将无限的热点数据存储在一个存取更快的存储介质中。

计算机本身的缓存设计就是 CPU 采取多级缓存。那对咱们服务来说，咱们是不是也能够采纳这种多级缓存的形式来组织咱们的缓存数据。同时 redis 的存取都会通过网络 IO，那咱们能不能把热点数据间接存在本过程内，由过程本人缓存一份最近最热的这批数据呢？

这就引出了咱们明天探讨的：local cache，本地缓存，也叫过程缓存。

本文带你一起探讨下 go-zero 中过程缓存的设计。Let’s go!

疾速入门

作为一个过程存储设计，当然是 crud 都有的：

  1. 咱们先初始化 local cache
// 先初始化 local cache
cache, err = collection.NewCache(time.Minute, collection.WithLimit(10))
if err != nil {log.Fatal(err)
}

其中参数的含意：

  • expire：key 对立的过期工夫
  • CacheOption：cache 设置。比方 key 的下限设置等
  1. 根底操作缓存
// 1. add/update 减少 / 批改都是该 API
cache.Set("first", "first element")

// 2. get 获取 key 下的 value
value, ok := cache.Get("first")

// 3. del 删除一个 key
cache.Del("first")
  • Set(key, value) 设置缓存
  • value, ok := Get(key) 读取缓存
  • Del(key) 删除缓存
  1. 高级操作
cache.Take("first", func() (interface{}, error) {
  // 模仿逻辑写入 local cache
  time.Sleep(time.Millisecond * 100)
  return "first element", nil
})

后面的 Set(key, value) 是单纯将 <key, value> 退出缓存；Take(key, setFunc) 则是在 key 对于的 value 不存在时，执行传入的 fetch 办法，将具体读取逻辑交给开发者实现，并主动将后果放到缓存里。

到这里外围应用代码根本就讲完了，其实看起来还是挺简略的。也能够到 https://github.com/tal-tech/g… 去看 test 中的应用。

解决方案

首先缓存本质是一个存储无限热点数据的介质，面临以下的这些问题：

  1. 无限容量
  2. 热点数据统计
  3. 多线程存取

上面来说说这 3 个方面咱们的设计实际。

无限容量

无限就意味着满了要淘汰，这个就波及到淘汰策略。cache 中应用的是：LRU（最近起码应用）。

那淘汰怎么产生呢？ 有几个抉择：

  1. 开一个定时器，一直循环所有 key，等到了预设过期工夫，执行回调函数（这里是删除 map 中过的 key）
  2. 惰性删除。拜访时判断该键是否被删除。毛病是：如果未拜访的话，会减轻空间节约。

而 cache 中采取的是第一种 被动删除。然而，被动删除中遇到最大的问题是：

一直循环，空耗费 CPU 资源，即便在额定的协程中这么做，也是没有必要的。

cache 中采取的是工夫轮记录额定过期告诉，等过期 channel 中有告诉时，而后触发删除回调。

无关 工夫轮 更多的设计文章：https://go-zero.dev/cn/timing…

热点数据统计

对于缓存来说，咱们须要晓得这个缓存在应用额定空间和代码的状况下是否有价值，以及咱们想晓得需不需要进一步优化过期工夫或者缓存大小，所有这些咱们就很依赖统计能力了，go-zero 中 sqlc 和 mongoc 也同样提供了统计能力。所以咱们在 cache 中也退出的缓存，为开发者提供本地缓存监控的个性，在接入 ELK 时开发者能够更直观的监测到缓存的散布状况。

而设计其实也很简略，就是：Get() 命中，就在统计 count 上加 1 即可。

func (c *Cache) Get(key string) (interface{}, bool) {value, ok := c.doGet(key)
  if ok {
    // 命中 hit+1
    c.stats.IncrementHit()} else {
    // 未命中 miss+1
    c.stats.IncrementMiss()}

  return value, ok
}

多线程存取

当多个协程并发存取的时候，对于缓存来说，波及的问题以下几个：

  • 写 - 写抵触
  • LRU 中元素的挪动过程抵触
  • 并发执行写入缓存时，造成流量冲击或者有效流量

这种状况下，写抵触好解决，最简略的办法就是 加锁：

// Set(key, value)
func (c *Cache) Set(key string, value interface{}) {
  // 加锁，而后将 <key, value> 作为键值对写入 cache 中的 map
  c.lock.Lock()
  _, ok := c.data[key]
  c.data[key] = value
  // lru add key
  c.lruCache.add(key)
  c.lock.Unlock()
  ...
}

// 还有一个在操作 LRU 的中央时：Get()
func (c *Cache) doGet(key string) (interface{}, bool) {c.lock.Lock()
  defer c.lock.Unlock()
  // 当 key 存在时，则调整 LRU item 中的地位，这个过程也是加锁的
  value, ok := c.data[key]
  if ok {c.lruCache.add(key)
  }

  return value, ok
}

而并发执行写入逻辑，这个逻辑次要是开发者本人传入的。而这个过程：

func (c *Cache) Take(key string, fetch func() (interface{}, error)) (interface{}, error) {// 1. 先获取 doGet() 中的值
  if val, ok := c.doGet(key); ok {c.stats.IncrementHit()
    return val, nil
  }

  var fresh bool
  // 2. 多协程中通过 sharedCalls 去获取，一个协程获取多个协程共享后果
  val, err := c.barrier.Do(key, func() (interface{}, error) {
    // double check，避免屡次读取
    if val, ok := c.doGet(key); ok {return val, nil}
    ...
    // 重点是执行了传入的缓存设置函数
    val, err := fetch()
    ...
    c.Set(key, val)
  })
  if err != nil {return nil, err}
  ...
  return val, nil
}

而 sharedCalls 通过共享返回后果，节俭了屡次执行函数，缩小了协程竞争。

总结

本篇文章解说了本地缓存设计实际。从应用到设计思路，你也能够依据你的业务动静批改 缓存的过期策略 ， 退出你想要的统计指标，实现本人的本地缓存。

甚至能够将本地缓存和 redis 联合，给服务提供多级缓存，这个就留到咱们下一篇文章：缓存在服务中的多级设计。

对于 go-zero 更多的设计和实现文章，能够关注『微服务实际』公众号。

我的项目地址

https://github.com/tal-tech/go-zero

欢送应用 go-zero 并 star 反对咱们！

微信交换群

关注『微服务实际 』公众号并点击 进群 获取社区群二维码。

go-zero 系列文章见『微服务实际』公众号

退出移动版