架构 Varnish+nginx+php(FastCGI)+MYSQL5+MenCache+MenCachedb (三)

四、优化Linux内核参数

vi /etc/sysctl.conf

　　在末尾增加以下内容：

引用
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 5000    65000

　　使配置立即生效：

/sbin/sysctl -p

-----------------------------------------------------------------------------------------------------------------------

附:最近经常搞lighttpd+fastcgi+php或者nginx+fastcgi+php，时常被php的“No input file specified.”给郁闷了，把我遇到的情况说一下

首先php.ini的配置中
cgi.fix_pathinfo=1
doc_root=

doc_root曾经被我设置过一个路径，结果php老提示“No input file specified.”，只有一个虚拟机好使。改掉后就正常了。

nginx中的配置有些麻烦

fastcgi_pass 127.0.0.1:1234;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME /var/www/html$fastcgi_script_name;

每个虚机要根据自己不通的虚机设置不能的目录，要保证这个路径正确。
fastcgi_param SCRIPT_FILENAME /var/www/html$fastcgi_script_name;不能在fastcgi_pass 127.0.0.1:1234;的前面。

记得修改了php.ini要重启fastcgi服务。

其实都是因为粗心造成的，本来很简单，写出来也给自己提个醒

---------------------------------------------------------------------------------------------------------------------------

四.)安装Varnish

     今天写的这篇关于Varnish的文章，已经是一篇可以完全替代Squid做网站缓存加速器的详细解决方案了。网上关于Varnish的资料很少，中文资料更是微乎其微，希望本文能够吸引更多的人研究、使用Varnish。

　　在我看来，使用Varnish代替Squid的理由有三点：
　　1、Varnish采用了“Visual Page Cache”技术，在内存的利用上，Varnish比Squid具有优势，它避免了Squid频繁在内存、磁盘中交换文件，性能要比Squid高。
　　2、Varnish的稳定性还不错,顺便说一句,Varnish的性能的发挥关键在于Varnish配置文档的优化.
　　3、通过Varnish管理端口，可以使用正则表达式快速、批量地清除部分缓存，这一点是Squid不能具备的
    4. 还有一点,应该算是Varnish的缺点了吧,就是Varnish的缓存基本上在内存中，如果Varnish进程停止再启动，Varnish就会重新访问后端Web服务器,再一次进行缓存.虽然Squid性能没有Varnish高，但它停止、重启的时候，可以直接先从磁盘读取缓存数据。

    varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang (http://www.vg.no) 使用3台Varnish代替了原来的12台squid，性能比以前更好。

    varnish的作者Poul-Henning Kamp是FreeBSD的内核开发者之一，他认为现在的计算机比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬盘。但现在计算机系统的内存除了主存外，还包括了cpu内的L1、L2，甚至有L3快取。硬盘上也有自己的快取装置，因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化，但操作系统可以得知这些情况，所以这部份的工作应该交给操作系统处理，这就是 Varnish cache设计架构.
   
------------------------------------------------------------------------------------------------------------------

1.编译安装varnish：

下载源码包链接:  wget http://nchc.dl.sourceforge.net/sourceforge/varnish/varnish-1.1.1.tar.gz

附1：Varnish官方网站：http://www.varnish-cache.org/

[root@localhost]#wget http://blog.s135.com/soft/linux/varnish/varnish-1.1.2.tar.gz
[root@localhost]#tar zxvf varnish-1.1.2.tar.gz
[root@localhost]#cd varnish-1.1.2
[root@localhost]#./configure --prefix=/usr/local/varnish --enable-debugging-symbols --enable-developer-warnings --enable-dependency-tracking
[root@localhost]#make && make install

2.创建www用户和组，以及Varnish缓存文件存放目录（/var/vcache）：

[root@localhost]#/usr/sbin/groupadd www
[root@localhost]#/usr/sbin/useradd -g www www
[root@localhost]#mkdir -p  /usr/local/varnish/var/varnish/
[root@localhost]#chmod +w  /usr/local/varnish/var/varnish/
[root@localhost]#chown -R www:www  /usr/local/varnish/var/varnish/

3.创建Varnish日志目录（/usr/local/varnish/logs）：

[root@localhost]#mkdir -p /usr/local/varnish/logs
[root@localhost]#chmod +w /usr/local/varnish/logs
[root@localhost]#chown -R www:www /usr/local/varnish/logs
[root@localhost]#touch /usr/local/varnish/logs/varnish.log

4.创建Varnish配置文件：

[root@localhost]#vi /usr/local/varnish/vcl.conf

backend myblogserver {
       set backend.host = "192.168.0.1";
       set backend.port = "80";
}

acl purge {
       "localhost";
       "127.0.0.1";
       "192.168.0.0"/24;
       "192.168.1.0"/24;
}

sub vcl_recv {
       if (req.request == "PURGE") {
               if (!client.ip ~ purge) {
                       error 405 "Not allowed.";
               }
               lookup;
       }

       if (req.http.host ~ "^www.test.com") {
               set req.backend = myblogserver;
               if (req.request != "GET" && req.request != "HEAD") {
                       pipe;
               }
               else {
                       lookup;
               }
       }
       else {
               error 404 "Zhang Quan Sheng Cache Server";
               lookup;
       }
}

sub vcl_hit {
       if (req.request == "PURGE") {
               set obj.ttl = 0s;
               error 200 "Purged.";
       }
}

sub vcl_miss {
       if (req.request == "PURGE") {
               error 404 "Not in cache.";
       }
}

sub vcl_fetch {
       if (req.request == "GET" && req.url ~ "\.(txt|js)$") {
               set obj.ttl = 3600s;
       }
       else {
               set obj.ttl = 30d;
       }
}

　　这里，我对这段配置文件解释一下：
　　(1)、Varnish通过反向代理请求后端IP为192.168.0.1，端口为80的web服务器；
　　(2)、Varnish允许localhost、127.0.0.1、192.168.0.***三个来源IP通过PURGE方法清除缓存；
　　(3)、Varnish对域名为www.test.com的请求进行处理，非www.test.com域名的请求则返回"Zhang Quan Sheng Cache Server"；
　　(4)、Varnish对HTTP协议中的GET、HEAD请求进行缓存，对POST请求透过，让其直接访问后端Web服务器。之所以这样配置，是因为POST请求一般是发送数据给服务器的，需要服务器接收、处理，所以不缓存；
　　(5)、Varnish对以.txt和.js结尾的URL缓存时间设置1小时，对其他的URL缓存时间设置为30天。

-------------------------------------------------------------------------------------------------------------------------

5、启动Varnish

ulimit -SHn 51200l
/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file, /usr/local/varnish/var/varnish/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on

6.启动varnishncsa用来将Varnish访问日志写入日志文件：

/usr/local/varnish/bin/varnishncsa -n /usr/local/varnish/var/varnish/ -w /usr/local/varnish/var/varnish/varnish.log &

7.配置开机自动启动Varnish

vi /etc/rc.local

ulimit -SHn 51200l
/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file, /usr/local/varnish/var/varnish/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on
/usr/local/varnish/bin/varnishncsa -n /usr/local/varnish/var/varnish/ -w /usr/local/varnish/var/varnish/varnish.log &

8.优化Linux内核参数

vi /etc/sysctl.conf
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 5000    65000

---------------------------------------------------------------------------------------------------------------------------

再看看如何管理Varnish：
1.查看Varnish服务器连接数与命中率：

/usr/local/varnish/bin/varnishstat

2.通过Varnish管理端口进行管理：
　用help看看可以使用哪些Varnish命令：

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 help

Available commands:
ping [timestamp]
status
start
stop
stats
vcl.load
vcl.inline
vcl.use
vcl.discard
vcl.list
vcl.show
param.show [-l] []
param.set
help [command]
url.purge
dump.pool

3、通过Varnish管理端口，使用正则表达式批量清除缓存：
　　(1)、例：清除类似http://www.k18.com/a/quansheng.html的URL地址）：

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge /a/

　　(2)、例：清除类似http://blog.s135.com/tech的URL地址：

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge w*$

　　(3)、例：清除所有缓存：

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge *$

　4、一个清除Squid缓存的PHP函数（清除Varnish缓存同样可以使用该函数，无需作任何修改，十分方便）：

<?php  
function purge($ip, $url)  
{  
    $errstr = ‘‘;  
    $errno = ‘‘;  
    $fp = fsockopen ($ip, 80, $errno, $errstr, 2);  
    if (!$fp)  
    {  
         return false;  
    }  
    else 
    {  
        $out = "PURGE $url HTTP/1.1\r\n";  
        $out .= "Host:blog.s135.com\r\n";  
        $out .= "Connection: close\r\n\r\n";  
        fputs ($fp, $out);  
        $out = fgets($fp , 4096);  
        fclose ($fp);  
        return true;  
    }  
}  
 
purge("192.168.0.4", "/index.php");  
?> 

附2：2007年12月10日，我写了一个每天0点运行，按天切割Varnish日志，生成一个压缩文件，同时删除上个月旧日志的脚本（/usr/local/varnish/var/varnish/cutlog.sh）：
　/usr/local/varnish/var/varnish/cutlog.sh文件内容如下：

#!/bin/sh
# This file run at 00:00
date=$(date -d "yesterday" +"%Y-%m-%d")
pkill -9 varnishncsa
mv /usr/local/varnish/var/varnish/youvideo.log /usr/local/varnish/var/varnish/${date}.log
/usr/local/varnish/bin/varnishncsa -n /usr/local/varnish/var/varnish/ -w /usr/local/varnish/var/varnish/youvideo.log &
mkdir -p /usr/local/varnish/var/varnish/youvideo/
gzip -c /usr/local/varnish/var/varnish/${date}.log > /usr/local/varnish/var/varnish/${date}.log.gz
rm -f /usr/local/varnish/var/varnish/${date}.log
rm -f /usr/local/varnish/var/varnish/youvideo/$(date -d "-1 month" +"%Y-%m*").log.gz

　　设置在每天00:00定时执行：
　　
/usr/bin/crontab -e
　　或者　　
vi /var/spool/cron/root
　　输入以下内容：
引用
0 0 * * * /bin/sh /usr/local/varnish/var/varnish/cutlog.sh

--------------------------------------------------------------------------------------------------------------------------

附3.TCP连接数Varnish要比Squid少，因为Varnish的TCP连接释放要比Squid快。

但同时处理的请求数Varnish要比Squid高一些，一台Varnish、另一台Squid，分给它们的连接
数相同，Varnish实时处理的请求数比Squid多1倍，平均处理的请求数也比Squid多100余个：

/usr/local/webserver/varnish/bin/varnishstat
-----------------------------------------------------------
   70979868       580.97       356.55 Client requests received
   70897998       580.97       356.14 Cache hits

/usr/local/squid/bin/squidclient -p 80 mgr:5min
-----------------------------------------------------------
client_http.requests = 248.425264/sec
client_http.hits = 245.135282/sec

如果正常的话，vcache这个目录里只有一个大小为1G的文件：varnish_cache.data

---------------------------------------------------------------------------------------------------------------------------

五.)Memcachedb

Memcachedb:编译以及安装     

 
说明: memcachedb跟memcache一样，网络socket数据处理依赖于libevent，所以，在安装之前需要下载三个安装包，即libevent、Berkeley Db以及memcachedb。

Libevent 下载页面：http://monkey.org/~provos/libevent/ ，下载最新稳定版本就行。

Berkeley Db下载页面：http://www.oracle.com/technology/software/products/berkeley-db/index.html 需要安装4.6版本

memcachedb下载页面：http://code.google.com/p/memcachedb/  下载最新版本 0.1.0版本

按照顺序安装，Libevent和Berkeley Db按照常规安装即可，这里以Linux 环境为标准。

[======Libevent=====]

[root@localhost]#tar -zxvf libevent-1.3e.tar.gz
[root@localhost]#cd libevent-1.3e
[root@localhost]#./configure
[root@localhost]#make && make install

[======Berkeley Db=====]

[root@localhost]#tar -zxvf db-4.6.19.tar.gz

#需要进入特定操作系统编译环境，更常规软件的编译有些区别

[root@localhost]#cd db-4.6.19/build_unix/

#然后才能够开始编译

[root@localhost]#../dist/configure

[root@localhost]#make && make install

#如果没有指定特殊安装路径，编译完成，需要将Berkeley Db运行库的路径添加到系统配置里面

[root@localhost]#echo "/usr/local/BerkeleyDB.4.6/lib/" >> /etc/ld.so.conf

#重载系统Ld运行库

[root@localhost]#ldconfig

[======Memcachedb=====]

[root@localhost]#tar -zxvf memcachedb-0.1.0.tar.gz
[root@localhost]#cd memcachedb-0.1.0

#如果您要存储的内容的键值的长度和单笔内容的长度有变化,您需要更改一个文件 memcachedb.h

[root@localhost]#vi memcachedb.h

////////////////////////////////////////////////////////////

#define END_LEN 32               ----> 这是是 Key+Value 的最大长度
#define END_LEN_STR "31"     ----> 这是是 key 的最大长度

 /////////////////////////////////////////////////////////

#默认key键值只预留了31个字节的长度，单笔数据最长是32个字节数。

#例如您如果需要用这个玩艺来存储文本内容数据，假设您的键值是一个32个字节的md5，单笔数据允许最长10K，那您可以设定

////////////////////////////////////////////////////////////

#define END_LEN 102400             ----> 这是是 Key+Value 的最大长度
#define END_LEN_STR "32"           ----> 这是是key的最大长度

 /////////////////////////////////////////////////////////

#修改完之后，直接make就行

[root@localhost]#make

#编译完之后，将生成可执行memcachedb拷贝到 /usr/sbin/

[root@localhost]#cp -f memcachedb  /usr/sbin/

#启动 memcachedb

#第一种，读写合并模式，即不做辅拷贝，即读又写，不做冗余备份

[root@localhost]#memcachedb -p21211 -d -r -u root -H  /data/mdb_11211  -N

#第二种，读写分离/备份模式

#主服务器 192.168.0.1 读写监听 11211 ，同步通过31211的端口完成，不占用繁忙的主服务端口

[root@localhost]#memcachedb -p21211 -d -r -u root -H  /data/mdb_11211_m -N -R 127.0.0.1:31211 -M

# 辅服务器 192.168.0.2  只读监听 21212，从192.168.0.1 的 31211端口同步数据，同时再开一个31212端口对外提供数据同步服务

[root@localhost]#memcachedb -p21212 -d -r -u root -H  /data/mdb_11211_from_16801_s -O 192.168.0.1:31211 -R 192.168.0.2:31212 -S

------------------------------------------------------------------------------------------------------------------------

http://blog.sina.com.cn/s/blog_4a8d06ce010080es.html