后面文章曾经分享了Netty如何援用jemalloc 4算法治理内存。
本文次要分享Netty 4.1.52之前版本中,PoolChunk如何应用jemalloc 3算法治理内存。
感兴趣的同学能够比照两种算法。
源码剖析基于Netty 4.1.29
首先阐明PoolChunk内存组织形式。
PoolChunk的内存大小默认是16M,它将内存组织成为一颗完满二叉树。
二叉树的每一层每个节点所代表的内存大小都是均等的,并且每一层节点所代表的内存大小总和加起来都是16M。
每一层节点可分配内存是父节点的1/2。整颗二叉树的总层数为12,层数从0开始。
示意图如下
先看一下PoolChunk的构造函数
PoolChunk(PoolArena<T> arena, T memory, int pageSize, int maxOrder, int pageShifts, int chunkSize, int offset) { unpooled = false; this.arena = arena; this.memory = memory; this.pageSize = pageSize; this.pageShifts = pageShifts; this.maxOrder = maxOrder; this.chunkSize = chunkSize; this.offset = offset; unusable = (byte) (maxOrder + 1); log2ChunkSize = log2(chunkSize); subpageOverflowMask = ~(pageSize - 1); freeBytes = chunkSize; assert maxOrder < 30 : "maxOrder should be < 30, but is: " + maxOrder; maxSubpageAllocs = 1 << maxOrder; // Generate the memory map. memoryMap = new byte[maxSubpageAllocs << 1]; depthMap = new byte[memoryMap.length]; int memoryMapIndex = 1; for (int d = 0; d <= maxOrder; ++ d) { // move down the tree one level at a time int depth = 1 << d; for (int p = 0; p < depth; ++ p) { // in each level traverse left to right and set value to the depth of subtree memoryMap[memoryMapIndex] = (byte) d; depthMap[memoryMapIndex] = (byte) d; memoryMapIndex ++; } } subpages = newSubpageArray(maxSubpageAllocs);}
unpooled: 是否应用内存池
arena:该PoolChunk所属的PoolArena
memory:底层的内存块,对于堆内存,它是一个byte数组,对于间接内存,它是(jvm)ByteBuffer,但无论是哪种模式,其内存大小默认都是16M。
pageSize:叶子节点大小,默认为8192,即8K。
maxOrder:示意二叉树最大的层数,从0开始。默认为11。
chunkSize:整个PoolChunk的内存大小,默认为16777216,即16M。
offset:底层内存对齐偏移量,默认为0。
unusable:示意节点已被调配,不必了,默认为12。
freeBytes:闲暇内存字节数。
每个PoolChunk都要按内存使用率关联到一个PoolChunkList上,内存使用率正是通过freeBytes计算。
maxSubpageAllocs:叶子节点数量,默认为2048,即2^11。
log2ChunkSize:用于计算偏移量,默认为24。
subpageOverflowMask:用于判断申请内存是否为PoolSubpage,默认为-8192。
pageShifts:用于计算分配内存所在二叉树层数,默认为13。
memoryMap:初始化内存治理二叉树,将每一层节点值设置为层数d。
应用数组保护二叉树,第d层的开始下标为 1<<d
。(数组第0个元素不应用)。
depthMap:保留二叉树的层数,用于通过地位下标找到其在整棵树中对应的层数。
留神:depthMap的值代表二叉树的层数,初始化后不再变动。
memoryMap的值代表以后节点最大可申请内存块,在分配内存过程中一直变动。
节点最大可申请内存块能够通过层数d计算,为2 ^ (pageShifts + maxOrder - d)
。
PoolChunk#allocate
long allocate(int normCapacity) { if ((normCapacity & subpageOverflowMask) != 0) { // >= pageSize return allocateRun(normCapacity); } else { return allocateSubpage(normCapacity); }}
若申请内存大于pageSize,调用allocateRun办法调配Chunk级别的内存。
否则调用allocateSubpage办法调配PoolSubpage,再在PoolSubpage上调配所需内存。
PoolChunk#allocateRun
private long allocateRun(int normCapacity) { // #1 int d = maxOrder - (log2(normCapacity) - pageShifts); // #2 int id = allocateNode(d); if (id < 0) { return id; } // #2 freeBytes -= runLength(id); return id;}
#1
计算应该在哪层调配分配内存maxOrder - (log2(normCapacity) - pageShifts)
,如16K, 即2^14,计算结果为10,即在10层调配。#2
缩小闲暇内存字节数。
PoolChunk#allocateNode,在d层调配一个节点
private int allocateNode(int d) { int id = 1; int initial = - (1 << d); // has last d bits = 0 and rest all = 1 // #1 byte val = value(id); if (val > d) { // unusable return -1; } // #2 while (val < d || (id & initial) == 0) { // id & initial == 1 << d for all ids at depth d, for < d it is 0 // #3 id <<= 1; val = value(id); // #4 if (val > d) { // #5 id ^= 1; val = value(id); } } byte value = value(id); assert value == d && (id & initial) == 1 << d : String.format("val = %d, id & initial = %d, d = %d", value, id & initial, d); // #6 setValue(id, unusable); // mark as unusable // #7 updateParentsAlloc(id); return id;}
#1
memoryMap[1] > d,第0层的可分配内存有余,表明该PoolChunk内存不能满足调配,调配失败。#2
遍历二叉树,找到满足内存调配的节点。val < d
,即该节点内存满足调配。id & initial = 0
,即 id < 1<<d
, d层之前循环继续执行。这里并不会呈现val > d的场景,但会呈现val == d的场景,如
PoolChunk以后可分配内存为2M,即memoryMap[1] = 3,这时申请2M内存,在0-2层,都是val == d。可参考前面的实例。#3
向下找到下一层下标,留神,子树左节点的下标是父节点下标的2倍。#4
val > d
,示意以后节点不能满足调配#5
id ^= 1
,查找同一父节点下的兄弟节点,在兄弟节点上分配内存。id ^= 1
,当id为偶数,即为id+=1
, 当id为奇数,即为id-=1
。
因为后面通过id <<= 1
找到下一层下标都是偶数,这里等于id+=1。#6
因为一开始判断了PoolChunk内存是否足以调配,所以这里肯定能够找到一个可调配节点。
这里标注找到的节点已调配。#7
更新找到节点的父节点最大可分配内存块大小
private void updateParentsAlloc(int id) { // #1 while (id > 1) { // #2 int parentId = id >>> 1; byte val1 = value(id); byte val2 = value(id ^ 1); byte val = val1 < val2 ? val1 : val2; setValue(parentId, val); id = parentId; }}
#1
向父节点遍历,直到根节点#2
id >>> 1,找到父节点
取以后节点和兄弟节点中较小值,作为父节点的值,示意父节点最大可分配内存块大小。
如memoryMap[1] = 0,示意最大可分配内存块为16M。
调配8M后,memoryMap[1] = 1,示意以后最大可分配内存块为8M。
上面看一则实例,大家能够联合实例了解下面的代码
内存开释
PoolChunk#free
void free(long handle) { // #1 int memoryMapIdx = memoryMapIdx(handle); int bitmapIdx = bitmapIdx(handle); // #2 if (bitmapIdx != 0) { // free a subpage ... } freeBytes += runLength(memoryMapIdx); setValue(memoryMapIdx, depth(memoryMapIdx)); updateParentsFree(memoryMapIdx);}
#1
获取memoryMapIdx和bitmapIdx#2
内存块在PoolSubpage中调配,通过PoolSubpage开释内存。#3
解决到这里,就是开释Chunk级别的内存块了。
减少闲暇内存字节数。
设置二叉树中对应的节点为未调配
对应批改该节点的父节点。
另外,Netty 4.1.52对PoolArena内存级别划分的算法也做了调整。
Netty 4.1.52的具体算法后面文章《Netty内存池与PoolArena》曾经说过了,这里简略说一下Netty 4.1.52前的算法。
PoolArena中将保护的内存块按大小划分为以下级别:
Tiny < 512
Small < 8192(8K)
Chunk < 16777216(16M)
Huge >= 16777216
PoolArena#tinySubpagePools,smallSubpagePools两个数组用于保护Tiny,Small级别的内存块。
tinySubpagePools,32个元素,每个数组之间差16个字节,大小别离为0,16,32,48,64, ... ,496
smallSubpagePools,4个元素,每个数组之间大小翻倍,大小别离为512,1025,2048,4096
这两个数组都是PoolSubpage数组,PoolSubpage大小默认都是8192,Tiny,Small级别的内存都是在PoolSubpage上调配的。
Chunk内存块则都是8192的倍数。
在Netty 4.1.52,曾经删除了Small级别内存块,并引入了SizeClasses计算对齐内存块或计算对应的索引。
SizeClasses默认将16M划分为75个内存块size,内存划分更细,也能够缩小内存对齐的空间节约,更充分利用内存。
如果您感觉本文不错,欢送关注我的微信公众号,系列文章继续更新中。您的关注是我保持的能源!