读《构建高性能Web站点》服务器并发处理能力 - 1

一台Web服务器在单位时间内能处理的请求越多越好，这也成了Web服务器的能力高低所在，它体现了我们常说的"服务器并发处理能力"。

吞吐量

Web服务器的并发处理能力，一般使用单位时间内服务器处理的请求数来描述其并发能力，习惯称其为吞吐率（Throughput），单位是"reqs/s"。

• 并发用户数

人们常常把并发用户数和吞吐率混淆，实际上，它们并不是一回事，吞吐率是指在一定并发用户数的情况下，服务器处理请求能力的量化体现；并发用户数就是指在某一时刻同时向服务器发送请求的用户总数。

采用多线程的并发对于同一个域名下的URL的并发下载数是有最大限制的，具体限制视浏览器的不同而不同，比如，在HTTP/1.1下，IE7支持两个并发连接，IE8支持6个并发连接，Firefox3支持4个并发连接。另一方面，Web服务器一般也会限制同时服务的最多用户数，比如Apache的MaxClients参数。

CPU并发计算

服务器之所以可以同时处理个请求，在于操作系统通过多执行流体系设计使得多个任务可以轮流使用系统资源，这些资源包括CPU、内存以及I/O等。

多执行流的一般实现便是进程。

进程的调度有内核来进行，从内核的观点来看，进程的目的就是担当分配系统资源的实体。同时，进程也可以理解为记录程序实例当前运行到什么程度的一组数据，多个进程通过不同的进程描述符与这些数据进程关联。

每个进程都有自己独立的内存地址和生命周期。进程的创建使用fork()系统调用。

由于进程之间相对独立，无法共享数据。为此，在Linux2.0之后，提供了对轻量级进程的支持，它由一个新的系统调用clone()来创建，并由内核直接管理，像普通的进程一样独立存在，各自拥有进程的描述符，但是这些进程已经允许共享一些资源。

轻量级进程减少了内存的开销，并为多进程应用程序的数据共享提供了直接支持。

POSIX 1003.1c为Linux定义了现成的接口"pthread"。从内核角度来看，多线程只是一个普通的进程，它是由用户态通过一些库函数模拟实现的多执行流，所以多现成的管理完全在用户态完成。这种实现方式下线程切换的开销相比于进程和轻量级进程要少，但它在多处理器的服务器（SMP）表现较差，因为只有内核的进程调度器才有权分配多个CPU的时间。

POSIX线程的另一种是现实LinuxThreads，它可以说是内核级线程（Kernel-Level Threads），因为它通过clone()来创建线程，也就是说，它的实现原理是将线程和轻量级进程一对一关联，每个线程实际上就是一个轻量级进程，这样使得线程完全由内核的进程调度器来管理，所以他对于SMP的支持较好，但线程切换的开销要比用户态线程多一些。

LinuxThreads已经加入了glibc和libc的目前版本。

内核中的进程调度器（Scheduler）维护着各种状态的进程队列。在Linux中，进程调度器维护者一个包含所有可运行进程的队列，称为"运行队列"，一集一个包括所有休眠进程和僵尸进程的列表。

进程调度器的一项重要工作就是决定下一个运行的进程，这个执行先后顺序通过进程优先级进行处理，进程优先级由进程自己决定，但在进程运行时进程调度器会动态的调整它们的优先级。

Linux中进程的优先级属性为Priority，在top结果中用PR表示，而对于进程的动态调整体现在进程的nice属性，在top结果中用NI表示。

PR所代表的是进程调度器分配给进程的时间片长度，单位是时钟个数，一个时钟需要多长时间跟CPU的主频以及操作系统平台有关，比如Linux上一般为10ms，那么PR值为20则表示这个进程的时间为200ms。

Linxu2.6的进程调度器偏爱I/O操作密集型的进程，因为这些进程在发起I/O操作后通常都会阻塞（除异步I/O），不会占用太多CPU时间，。

在任何时刻通过 /proc/loadavg，可以查看系统运行队列的情况。

其中6/1564，6表示测试运行队列中的进程个数，而1564则表示此时的进程总数。最右边的25689表示到此时为止，最后创建的一个进程ID。左边的0.24、0.52、0.58三个数值分别表示最近1分钟、5分钟、15分钟的系统负载。

系统负载是在单位时间内运行队列中就绪等待的进程的平均值，系统负载越高，代表CPU越繁忙。

为了让所有的进程可以轮流使用系统资源，进程调度器在必要的时候挂起正在运行的进程，同时恢复以前挂起的某个进程，这种行为称为进程切换，也就是"上下文"。

一个进程被挂起的本质就是将它在CPU寄存器中的数据拿出来暂存在内核态堆栈中，而一个进程恢复工作的本质就是将它的数据重新载入CPU寄存器。

Nmon是一个Linux监视工具，它可以提供基于服务器终端命令的监视页面。利用Nmon对服务器某个时刻的抽样结果如下：

ContextSwitch表示这时上下文切换平均每秒12614.9次，这是操作系统正常运转所进行的必要工作。

IOWait是指CPU空闲并且等待I/O操作完成的时间比例。IOWait往往不能代表I/O操作的性能，它的设计出发点是用来衡量CPU性能的。

IOWait很高的时候，说明当前任务的CPU时间比I/O操作时间比较少，通过Nmon得到CPU监控数据如下图：

此时IOWait为0%，系统不繁忙。

—————————— 本文同步发布于 ZHANGSR 我的个人博客  ——————————