nginx104源码分析内存池结构ngxpoolt及内存管理Word文件下载.docx
- 文档编号:19252076
- 上传时间:2023-01-04
- 格式:DOCX
- 页数:17
- 大小:135.68KB
nginx104源码分析内存池结构ngxpoolt及内存管理Word文件下载.docx
《nginx104源码分析内存池结构ngxpoolt及内存管理Word文件下载.docx》由会员分享,可在线阅读,更多相关《nginx104源码分析内存池结构ngxpoolt及内存管理Word文件下载.docx(17页珍藏版)》请在冰豆网上搜索。
00048:
typedefstruct{
00049:
u_char
*last;
//当前内存池分配到此处,即下一次分配从此处开始
00050:
*end;
//内存池结束位置
00051:
ngx_pool_t
*next;
//内存池里面有很多块内存,这些内存块就是通过该指针连成链表的
00052:
ngx_uint_t
failed;
//内存池分配失败次数
00053:
}ngx_pool_data_t;
//内存池的数据块位置信息
00054:
00055:
00056:
structngx_pool_s{
//内存池头部结构
00057:
ngx_pool_data_t
d;
//内存池的数据块
00058:
size_t
max;
//内存池数据块的最大值
00059:
*current;
//指向当前内存池
00060:
ngx_chain_t
*chain;
//该指针挂接一个ngx_chain_t结构
00061:
ngx_pool_large_t
*large;
//大块内存链表,即分配空间超过max的内存
00062:
ngx_pool_cleanup_t*cleanup;
//释放内存池的callback
00063:
ngx_log_t
*log;
//日志信息
00064:
};
其中,sizeof(ngx_pool_data_t)=16B,sizeof(ngx_pool_t)=40B。
nginx将几乎所有的结构体放在ngx_core.h文件中重新进行了申明,如下。
typedefstructngx_module_s
ngx_module_t;
typedefstructngx_conf_s
ngx_conf_t;
typedefstructngx_cycle_s
ngx_cycle_t;
typedefstructngx_pool_s
ngx_pool_t;
typedefstructngx_chain_s
ngx_chain_t;
typedefstructngx_log_s
ngx_log_t;
typedefstructngx_array_s
ngx_array_t;
typedefstructngx_open_file_s
ngx_open_file_t;
typedefstructngx_command_s
ngx_command_t;
typedefstructngx_file_s
ngx_file_t;
typedefstructngx_event_s
ngx_event_t;
typedefstructngx_event_aio_s
ngx_event_aio_t;
typedefstructngx_connection_s
ngx_connection_t;
其他与内存池相干的数据结构,如清除资源的cleanup链表,分配的大块内存链表等,如下。
00015:
/*
00016:
*NGX_MAX_ALLOC_FROM_POOLshouldbe(ngx_pagesize-1),i.e.4095onx86.
00017:
*OnWindowsNTitdecreasesanumberoflockedpagesinakernel.
00018:
*/
00019:
#defineNGX_MAX_ALLOC_FROM_POOL(ngx_pagesize-1)
//在x86体系结构下,该值一般为4096B,即4K
00020:
00021:
#defineNGX_DEFAULT_POOL_SIZE
(16*1024)
00022:
00023:
#defineNGX_POOL_ALIGNMENT
16
00024:
#defineNGX_MIN_POOL_SIZE
\
00025:
ngx_align((sizeof(ngx_pool_t)+2*sizeof(ngx_pool_large_t)),
00026:
NGX_POOL_ALIGNMENT)
00027:
00028:
00029:
typedefvoid(*ngx_pool_cleanup_pt)(void*data);
//cleanup的callback类型
00030:
00031:
typedefstructngx_pool_cleanup_sngx_pool_cleanup_t;
00032:
00033:
structngx_pool_cleanup_s{
00034:
ngx_pool_cleanup_pthandler;
00035:
void
*data;
//指向要清除的数据
00036:
ngx_pool_cleanup_t*next;
//下一个cleanupcallback
00037:
00038:
00039:
00040:
typedefstructngx_pool_large_sngx_pool_large_t;
00041:
00042:
structngx_pool_large_s{
00043:
//指向下一块大块内存
00044:
*alloc;
//指向分配的大块内存
00045:
...
00067:
00068:
ngx_fd_t
fd;
00069:
*name;
00070:
ngx_log_t*log;
00071:
}ngx_pool_cleanup_file_t;
00072:
(gdb)pgetpagesize()
$18=4096
全局变量ngx_pagesize的初始化是在如下函数中完成的。
./src/os/unix/ngx_posix_init.c
ngx_int_t
ngx_os_init(ngx_log_t*log)
{
n;
#if(NGX_HAVE_OS_SPECIFIC_INIT)
if(ngx_os_specific_init(log)!
=NGX_OK){
returnNGX_ERROR;
}
#endif
ngx_init_setproctitle(log);
/**该函数为glibc的库函数,由系统调用实现,返回内核中的PAGE_SIZE,该值依赖体系结构*/
ngx_pagesize=getpagesize();
ngx_cacheline_size=NGX_CPU_CACHE_LINE;
...
}
这些数据结构之间的关系,请参考后面的图。
这些数据结构逻辑结构图如下。
注:
本文采用UML的方式画出该图。
创建内存池有ngx_create_pool()函数完成,代码如下。
ngx_pool_t*
ngx_create_pool(size_tsize,ngx_log_t*log)
{
ngx_pool_t*p;
p=ngx_memalign(NGX_POOL_ALIGNMENT,size,log);
if(p==NULL){
returnNULL;
p->
d.last=(u_char*)p+sizeof(ngx_pool_t);
//last指向ngx_pool_t结构体之后数据取起始位置
d.end=(u_char*)p+size;
//end指向分配的整个size大小的内存的末尾
d.next=NULL;
d.failed=0;
size=size-sizeof(ngx_pool_t);
max=(size<
NGX_MAX_ALLOC_FROM_POOL)?
size:
NGX_MAX_ALLOC_FROM_POOL;
//最大不超过4095B
current=p;
chain=NULL;
large=NULL;
cleanup=NULL;
log=log;
returnp;
例如,调用ngx_create_pool(1024,0x80d1c4c)后,创建的内存池物理结构如下图。
销毁内存池由如下函数完成。
voidngx_destroy_pool(ngx_pool_t*pool)
该函数将遍历内存池链表,所有释放内存,如果注册了clenup(也是一个链表结构),亦将遍历该cleanup链表结构依次调用clenup的handler清理。
同时,还将遍历large链表,释放大块内存。
重置内存池由下面的函数完成。
voidngx_reset_pool(ngx_pool_t*pool);
该函数将释放所有large内存,并且将d->
last指针重新指向ngx_pool_t结构之后数据区的开始位置,同刚创建后的位置相同。
内存分配的函数如下。
void*ngx_palloc(ngx_pool_t*pool,size_tsize);
void*ngx_pnalloc(ngx_pool_t*pool,size_tsize);
void*ngx_pcalloc(ngx_pool_t*pool,size_tsize);
void*ngx_pmemalign(ngx_pool_t*pool,size_tsize,size_talignment);
返回值为分配的内存起始地址。
选择其中的两个函数进行分析,其他的也很好理解,省略。
ngx_palloc()代码如下,分析请参考笔者所加的注释。
00115:
void*
00116:
ngx_palloc(ngx_pool_t*pool,size_tsize)
00117:
00118:
*m;
00119:
00120:
00121:
if(size<
=pool->
max){//判断待分配内存与max值
00122:
00123:
p=pool->
current;
//小于max值,则从current节点开始遍历pool链表
00124:
00125:
do{
00126:
m=ngx_align_ptr(p->
d.last,NGX_ALIGNMENT);
00127:
00128:
if((size_t)(p->
d.end-m)>
=size){
00129:
d.last=m+size;
//在该节点指向的内存块中分配size大小的内存
00130:
00131:
returnm;
00132:
00133:
00134:
p=p->
d.next;
00135:
00136:
}while(p);
00137:
00138:
returnngx_palloc_block(pool,size);
//链表里没有能分配size大小内存的节点,则生成一个新的节点并在其中分配内存
00139:
00140:
00141:
returnngx_palloc_large(pool,size);
//大于max值,则在large链表里分配内存
00142:
例如,在2.1节中创建的内存池中分配200B的内存,调用ngx_palloc(pool,200)后,该内存池物理结构如下图。
ngx_palloc_block函数代码如下,分析请参考笔者所加的注释。
00175:
staticvoid*
00176:
ngx_palloc_block(ngx_pool_t*pool,size_tsize)
00177:
00178:
00179:
psize;
00180:
ngx_pool_t*p,*new,*current;
00181:
00182:
psize=(size_t)(pool->
d.end-(u_char*)pool);
//计算pool的大小
00183:
00184:
m=ngx_memalign(NGX_POOL_ALIGNMENT,psize,pool->
log);
//分配一块与pool大小相同的内存
00185:
if(m==NULL){
00186:
00187:
00188:
00189:
new=(ngx_pool_t*)m;
00190:
00191:
new->
d.end=m+psize;
//设置end指针
00192:
00193:
00194:
00195:
m+=sizeof(ngx_pool_data_t);
//让m指向该块内存ngx_pool_data_t结构体之后数据区起始位置
00196:
m=ngx_align_ptr(m,NGX_ALIGNMENT);
//按4字节对齐
00197:
//在数据区分配size大小的内存并设置last指针
00198:
00199:
current=pool->
00200:
00201:
for(p=current;
d.next){
00202:
if(p->
d.failed++>
4){
//failed的值只在此处被修改
00203:
current=p->
//失败4次以上移动current指针
00204:
00205:
00206:
00207:
d.next=new;
//将这次分配的内存块new加入该内存池
00208:
00209:
pool->
current=current?
current:
new;
00210:
00211:
00212:
注意:
该函数分配一块内存后,last指针指向的是ngx_pool_data_t结构体(大小16B)之后数据区的起始位置。
而创建内存池时时,last指针指向的是ngx_pool_t结构体(大小40B)之后数据区的起始位置。
结合2.7节的内存池的物理结构,更容易理解。
请参考如下函数,不再赘述。
ngx_int_tngx_pfree(ngx_pool_t*pool,void*p)
需要注意的是该函数只释放large链表中注册的内存,普通内存在ngx_destroy_pool中统一释放。
请参考如下函数,该函数实现也很简单,此处不再赘述。
ngx_pool_cleanup_t*ngx_pool_cleanup_add(ngx_pool_t*p,size_tsize)
针对本文第3节的例子,画出的内存池的物理结构如下图。
从该图也能看出2.4节的结论,即内存池第一块内存前40字节为ngx_pool_t结构,后续加入的内存块前16个字节为ngx_pool_data_t结构,这两个结构之后便是真正可以分配内存区域。
因此,本文Reference中的内存分配相关中的图是有一点点小问题的,并不是每一个节点的前面都是ngx_pool_t结构。
理解并掌握开源软件的最好方式莫过于自己写一些测试代码,或者改写软件本身,并进行调试来进一步理解开源软件的原理和设计方法。
本节给出一个创建内存池并从中分配内存的简单例子。
ngx_pool_t_test.c
这个问题是编写测试代码或者改写软件本身最迫切需要解决的问题,否则,编写的代码无从编译或运行,那也无从进行调试并理解软件了。
如何对自己编写的测试代码进行编译,可参考Linux平台代码覆盖率测试-编译过程自动化及对链接的解释、Linux平台如何编译使用Googletest写的单元测试?
。
我们要做的是学习这种编译工程的方法,针对该例子,笔者编写的makefile文件如下。
——这便是本节的主要目的。
CXX=gcc
CXXFLAGS+=-g-Wall-Wextra
NGX_ROOT=/usr/src/nginx-1.0.4
TARGETS=ngx_pool_t_test
TARGETS_C_FILE=$(TARGETS).c
CLEANUP=rm-f$(TARGETS)*.o
all:
$(TARGETS)
clean:
$(CLEANUP)
CORE_INCS=-I.\
-I$(NGX_ROOT)/src/core\
-I$(NGX_ROOT)/src/event\
-I$(NGX_ROOT)/src/event/modules\
-I$(NGX_ROOT)/src/os/unix\
-I$(NGX_ROOT)/objs\
NGX_PALLOC=$(NGX_ROOT)/objs/src/core/ngx_palloc.o
NGX_STRING=$(NGX_ROOT)/objs/src/core/ngx_string.o
NGX_ALLOC=$(NGX_ROOT)/objs/src/os/unix/ngx_alloc.o
$(TARGETS):
$(TARGETS_C_FILE)
$(CXX)$(CXXLAGS)$(CORE_INCS)$(NGX_PALLOC)$(NGX_STRING)$(NGX_ALLOC)$^-o$@
result.txt
本文针对nginx-1.0.4的内存管理进行了较为全面的分析,包括相关内存池数据结构,内存池的创建、销毁,以及从内存池中分配内存等。
最后通过一个简单例子向读者展示nginx内
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- nginx104 源码 分析 内存 结构 ngxpoolt 管理