linux的IO复用技术:select、pool、epool的区别以及epool的原理和使用
select、poll、epoll都是IO多路复用的机制,但是他们的机制有很大的区别
1、select
select机制刚开始的时候,需要把fd_set从用户空间拷贝到内核空间,并且检测的fd数是有限制的,由FD_SETSIZE设置,一般是1024。
检测的时候,根据timeout,遍历fd_set表,把活跃的fd(可读写或者错误),拷贝到用户空间,
再在用户空间依次处理相关的fd。
这个机制是linux内核很早的版本,epool是根据select,pool基础上优化的,缺点比较多。
缺点:
1)每次调用select的时候需要把fd_set从用户空间拷贝到内存空间,比较耗性能。
2)wait时,需要遍历所有的fd,消耗比较大。
3)select支持的文件数大小了,默认只有1024,如果需要增大,得修改宏FD_SETSIZE值,并编译内核(麻烦,并且fd_set中的文件数多的话,每次遍历的成本就很大)。
2. pool
poll的实现和select非常相似,只是描述fd集合的方式不同,poll使用pollfd结构而不是select的fd_set结构,其他的都差不多。
3. epool
epool是select和poll的改进版本,
* 先是使用int epoll_create(int size)在内存中创建一个指定size大小的事件空间,
* 再使用int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);事件注册函数,注册新的fd到epfd的epool对象空间中,并指明event(可读写啊等等),注意:在注册新事件fd的过程中,也再内核中断处理程序里注册fd对应的回调函数callback,告诉内核,一旦这个fd中断了,就把它放到ready队列里面去。
* 再使用int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);在epool对象对应的ready队列里取就绪的fd,并使用内存映射mmap拷贝到用户空间。
* 再在用户空间依次处理相关的fd。
优点:
1)支持一个进程打开大数目的socket描述符
select 一个进程打开FD是有限制的,由FD_SETSIZE设置,默认值是1024。epool可以打开的FD数可以很大,一般1GB的内存有10万多的FD数,具体数目可以cat
/proc/sys/fs/file-max查看。
2) IO效率不随FD数目增加而线性下降
3) 使用mmap加速内核与用户空间的消息传递
epool的使用:
epoll的相关系统调用
epoll只有epoll_create,epoll_ctl,epoll_wait 3个系统调用。
1. int epoll_create(int size);
创建一个epoll的句柄。自从linux2.6.8之后,size参数是被忽略的。需要注意的是,当创建好epoll句柄后,它就是会占用一个fd值,在linux下如果查看/proc/进程id/fd/,是能够看到这个fd的,所以在使用完epoll后,必须调用close()关闭,否则可能导致fd被耗尽。
2. int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
epoll的事件注册函数,它不同于select()是在监听事件时告诉内核要监听什么类型的事件,而是在这里先注册要监听的事件类型。
第一个参数是epoll_create()的返回值。
第二个参数表示动作,用三个宏来表示:
EPOLL_CTL_ADD:注册新的fd到epfd中;
EPOLL_CTL_MOD:修改已经注册的fd的监听事件;
EPOLL_CTL_DEL:从epfd中删除一个fd;
第三个参数是需要监听的fd。
第四个参数是告诉内核需要监听什么事,struct epoll_event结构如下:
//保存触发事件的某个文件描述符相关的数据(与具体使用方式有关)
typedef union epoll_data {
void *ptr;
int fd;
__uint32_t u32;
__uint64_t u64;
} epoll_data_t;
//感兴趣的事件和被触发的事件
struct epoll_event {
__uint32_t events; /* Epoll events */
epoll_data_t data; /* User data variable */
};
events可以是以下几个宏的集合:
EPOLLIN :表示对应的文件描述符可以读(包括对端SOCKET正常关闭);
EPOLLOUT:表示对应的文件描述符可以写;
EPOLLPRI:表示对应的文件描述符有紧急的数据可读(这里应该表示有带外数据到来);
EPOLLERR:表示对应的文件描述符发生错误;
EPOLLHUP:表示对应的文件描述符被挂断;
EPOLLET: 将EPOLL设为边缘触发(Edge Triggered)模式,这是相对于水平触发(Level Triggered)来说的。
EPOLLONESHOT:只监听一次事件,当监听完这次事件之后,如果还需要继续监听这个socket的话,需要再次把这个socket加入到EPOLL队列里
3. int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
收集在epoll监控的事件中已经发送的事件。参数events是分配好的epoll_event结构体数组,epoll将会把发生的事件赋值到events数组中(events不可以是空指针,内核只负责把数据复制到这个events数组中,不会去帮助我们在用户态中分配内存)。maxevents告之内核这个events有多大,这个 maxevents的值不能大于创建epoll_create()时的size,参数timeout是超时时间(毫秒,0会立即返回,-1将不确定,也有说法说是永久阻塞)。如果函数调用成功,返回对应I/O上已准备好的文件描述符数目,如返回0表示已超时。
用例
写了一个类,封装了epool的使用接口:
#include <sys/epoll.h> class FDEvent { int evfd; struct epoll_event *events; int maxfds; bool nonblocking; int epet; public: typedef int EventType; FDEvent(int max_client_num, bool is_nonblocking):maxfds(max_client_num),nonblocking(is_nonblocking) { if ((evfd = epoll_create(maxfds)) == -1) { perror("epoll_create error!"); exit(1); } if (fcntl(evfd, F_SETFD, FD_CLOEXEC) == -1) { perror("epoll_create error!"); exit(1); } events = new epoll_event[max_client_num]; epet = 0;//nonblocking?EPOLLET:0; } ~FDEvent() { delete[] events; } int wait(int timeout) { return epoll_wait(evfd, events, maxfds, timeout); } int add(int fd, bool init = false) { epoll_event ev; if (init) { ev.events = EPOLLIN; } else { ev.events = EPOLLIN|epet; } ev.data.u64 = 0; ev.data.fd = fd; if (epoll_ctl(evfd, EPOLL_CTL_ADD, fd, &ev) == -1) { perror("epoll_add error!"); return -1; } return 0; } int del(int fd) { epoll_event ev; ev.data.fd = fd; if (epoll_ctl(evfd, EPOLL_CTL_DEL, fd, &ev) == -1) { perror("epoll_del error!"); return -1; } return 0; } pair<int, EventType> get(uint32_t i) { return make_pair(events[i].data.fd, events[i].events); } bool isEventIn(EventType t) { return t&EPOLLIN; } }; 使用: int n = fde.wait(-1); for (int i=0; i<n; i++) { pair<int, FDEvent::EventType> p = fde.get(i); if (p.first == listenfd) { int clientfd = accept(listenfd, (struct sockaddr *)&remote_addr, &adsize); fde.add(clientfd); } else if (fde.isEventIn(p.second)) { fde.del(p.first); } }
参考文章:
1. http://blog.csdn.net/xiajun07061225/article/details/9250579#(这个比较系统的讲epool)
2. http://watter1985.iteye.com/blog/1614039(这个是select, pool和epool源码剖析)
3. http://www.cnblogs.com/Anker/p/3265058.html (这个总结的很好)
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。