乐趣区

关于redis:Redis中的内存分配和原子操作

jiezi

内容

  • redis 中的内存调配 api
  • redis 中的原子操作 api

源代码

Redis 中的内存调配和原子操作

代码构建

cp /home/vagrant/github/server_installer/servers/redis/redis-6.2/src/zmalloc.* .
cp /home/vagrant/github/server_installer/servers/redis/redis-6.2/src/atomicvar.h .

zmalloc.c 中援用了 config.h, 删除掉

新建 server.c, 内容如下

#include "stdio.h"
#include "atomicvar.h"
#include "zmalloc.h"
int main(int argc, char **argv){
    redisAtomic long  long i = 10;
    atomicIncr(i, 3);
    printf("hello %lld\n",i);
    char *p;
    p = zmalloc(10);
    p = "hello";
    printf("hello %s\n",p);
    int accurate;
    accurate = 10;
#ifdef REDIS_TEST
    zmalloc_test(argc,argv,accurate);
#endif
    return 0;
}

新建 Makefile

server : zmalloc.o server.o
        $(CC)   -o $@   $^

%.o: %.c 
        $(CC) -DREDIS_TEST=1 -MMD -o $@ -c $<


.PHONY: clean
clean:
        rm -rf *.o *.d server

再看一下 zmalloc_test 的内容

#ifdef REDIS_TEST
#define UNUSED(x) ((void)(x))
int zmalloc_test(int argc, char **argv, int accurate) {
    void *ptr;

    UNUSED(argc);
    UNUSED(argv);
    UNUSED(accurate);
    printf("Malloc prefix size: %d\n", (int) PREFIX_SIZE);
    printf("Initial used memory: %zu\n", zmalloc_used_memory());
    ptr = zmalloc(123);
    printf("Allocated 123 bytes; used: %zu\n", zmalloc_used_memory());
    ptr = zrealloc(ptr, 456);
    printf("Reallocated to 456 bytes; used: %zu\n", zmalloc_used_memory());
    zfree(ptr);
    printf("Freed pointer; used: %zu\n", zmalloc_used_memory());
    return 0;
}
#endif

输入

hello 13
hello hello
Malloc prefix size: 0
Initial used memory: 24
Allocated 123 bytes; used: 160
Reallocated to 456 bytes; used: 480
Freed pointer; used: 24

解释

对于 zmalloc 函数，能够间接对应到 c 规范库里的 malloc, realoc, free 函数，redis 会依据不同的实现调用不同的内存调配库，以实现更好的性能以及更多的性能。因为 redis 中曾经写好测试了，咱们就间接调用了。这外面用到了预编译。失常的编译不会把测试函数编译进 redis server 中的。在编译多 c 文件中，没有制订如何生成 *.o 文件。当用上篇文章中的 Makefile 编译时会晋升找不到 zmalloc_test 的实现。通过查看 redis 的 Makefile, 发现了

%.o: %.c
        $(CC) -DREDIS_TEST=1 -MMD -o $@ -c $<

外面的 MMD 是什么含意呢，上面参考文章有具体的解释, 这里总结一下
. M 依赖的文件
. MM 去除#include 援用的依赖后的依赖
. D 是生成依赖文件，后缀为.d, 所以有 MD 和 MMD，这里用的 MMD

linux 下原子操作是 C11 中的封装。

gcc -MM zmalloc.c

输入为：zmalloc.o: zmalloc.c zmalloc.h atomicvar.h

redis zmalloc & atomic api

  • size_t zmalloc_used_memory(void) — 动静分配内存
  • void *zmalloc(size_t size)– 分配内存
  • void zrealloc(void ptr, size_t size)– 从新分配内存
  • void zfree(void *ptr) — 开释内存
  • atomicIncr(var,count) — 原子加
  • atomicGetIncr(var,oldvalue_var,count) — Get and increment the atomic counter
  • atomicDecr(var,count) — 原子减
  • atomicGet(var,dstvar) — 原子取
  • atomicSet(var,value) — 原子设置数
  • atomicGetWithSync(var,value) — 原子取, 不胜利始终循环
  • atomicSetWithSync(var,value) — 原子设置, 不胜利始终循环

参考

MMD 含意

退出移动版