云计算之路-阿里云上：Web服务器遭遇奇怪的“黑色30秒”问题
今天下午访问高峰的时候，主站的Web服务器出现奇怪的问题，开始是2台8核8G的云服务器（ECS），后来又加了1台8核8G的云服务器，问题依旧。
而且3台服务器特地使用了不同的配置：1台是禁用了虚拟内存的临时磁盘云服务器，1台是启用了虚拟内存的临时磁盘云服务器，1台是禁用了虚拟内存的云盘云服务器。这样排除了磁盘IO与虚拟内存的原因。
问题的表现是这样的（以下监视截图来自Windows性能监控器Performance Monitor）：
1. ASP.NET请求执行时间（Request Execution Time）变慢
通常请求执行时间在100ms以下，而出问题时竟然达到了近1.5s，发生时间为15:18:09。
2. IIS当前连接数（Current Connections）突增
IIS当前连接数通常在10左右，出现问题时先跳高至67，后跳高至270多，说明IIS处理请求的能力下降，开始发生的时间点是15:18:06。
可见IIS当前连接数突增早于ASP.NET请求执行时间变慢。
3. CPU占用下降
CPU在15:18:07到达高点之后，一直往下调，在15:18:14掉至最低点。
CPU下降发生于IIS当前连接数突增之后。
4. 请求出现排队现象（Requests Queued）
Requests Queued正常情况下是0，只有在请求处理不过来的时候才会出现排队现象。请求排队开始于15:18:05，早于IIS当前连接数突增。
5. ASP.NET请求处理能力下降（Requests/Sec）
15:18:05开始，ASP.NET的请求处理能力下降，与请求排队开始于同一时间。
我们给上面的5个现象排个序：请求处理能力下降（Requests/Sec）-> 请求排队（Requests Queued）-> 当前连接数突增（Current Connections）-> CPU占用下降 -> 请求执行时间变慢（Request Execution Time）
然后再来看另外一次问题发生时的现象：
1. Requests/Sec下降（棕色）与Requests Queued出现（蓝色）
Requests Queued在高点达1007。
2. Request Execution Time变慢（紫色）与Current Connections突增（绿色）
Current Connections在高点达1586。
3. 加上CPU占用率，5个指标叠在一起
【分析】
Requests/Sec下降、Requests Queued上升、Request Execution Time变慢、Current Connections突增，这些说明在什么地方卡住了；而CPU占用下降说明不是因为负载高CPU处理不过来，而是卡在了其他环节，比如IO。
之前遇到比这还奇怪的“黑色10秒钟”（详见云计算之路-阿里云上：超级奇怪的“黑色10秒钟”），现象有点类似，但有2个地方不同：
1. 这次持续时间是30秒（所以把这次问题命名为“黑色30秒”）。
2. “黑色10秒钟”期间Requests/Sec会下降为0；而“黑色30秒”期间Requests/Sec只是下降，没有为0，也就是说还在处理请求，只是因为某些资源出现瓶颈，请求处理能力下降。
之前的“黑色10秒钟”是因为虚拟化对spinlock的支持问题引起的，改用Windows Server 2012解决了问题。
这次呢？应用的问题，Windows的问题，还是阿里云的问题？这是个问题！目前还不知道从何处下手。
期待您的宝贵建议！
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
