大型网站技术架构--核心原理和案例分析 大型网站架构演化（一）

     如果把上世纪90年代CERN正式发布web标准和第一个WEB服务的出现当作互联网的开始，那么互联网站的发展之经历了短短20多年的时间。在20多年的时间里，互联网的世界发生了变化，今天，全球有近一半的人口使用互联网，人们的生活因为互联网而产生了巨大的变化。从信息检索到即使通信，从电子购物到文化娱乐，互联网渗透到生活的每一个 角落，而且这种趋势还在蔓延。因为互联网，我们的世界正变得越来越小。

   同时我们也看到，在互联网跨越式发展进程中，在电子商务火热的市场背后却是不堪重负的网站架构。某些B2C网站逢促销必宕机几乎成为一种规律，而铁道部电子票据购票网站的频繁故障和操作延迟将这种现象演绎的淋漓尽致。

一边是企业在网站技术上的大量投入，一边却是网站在关键时刻的频繁宕机，一边是工程师夜以继日的加班工作，一边却是网站故障频发新功能上线缓慢，一边是互联网业务快速发展多领域挑战传统行业，一边却是网站安全漏洞频发让网民胆战心惊怨声哀悼。

  如何打造一个高可用，高性能，易扩展，可伸缩且安全的网站？如何让网站随应用所需灵活变动，即便是山寨他人的产品，也可以山寨的更高，更快，更强，一年时间用户数从零过亿呢？

1.1 大型网站软件的特点

与传统企业系统相比，大型互联网应用有以下特点.

高并发，大流量：需要面对高并发用户，大流量访问。Google日均Pv（即页面浏览量）数35亿，日均Ip访问数3亿；腾讯QQ的最大在线人数1.4亿；淘宝2012年"双十一"活动一天交易额191亿，活动开始第一分钟独立访问用户达1000万。

高可用：系统7*24小时不间断服务。大型互联网的宕机事件通常会成为新闻焦点，例如2010年百度域名被黑客劫持导致不能访问。成为重大新闻热点。

海量数据：需要存贮，管理海量数据，需要使用大量服务器。facebook每周上传的照片数目接近10亿。百度收录的页面数量有百亿，Google有近百万台服务器为全球用户提供服务。

安全环境恶劣：由于互联网的开放性，使得互联网站更容易受到攻击，大型网站几乎每天都会被黑客攻击。2011年国内多个重要网站泄露用户密码，让普通用户也直面一次互联网安全问题。

渐进式：与传统软件产品和企业应用系统一开始就规划好全部的功能和非公能需求不同，几乎所有的大型互联网网站都是从一个小网站开始，渐进的发展起来的。facebook是扎克伯格在哈弗大学的宿舍里开发的；Google的第一台服务器部署是在斯坦福大学的实验室，阿里巴巴则是马云家里的客厅诞生的。好的互联网产品是慢慢运营出来的，不是一开始就好，这也正好与网站架构的发展演化过程对应。

1.2

大型网站的技术挑战主要是来自庞大的用户，高并发的访问和海量的数据，任何简单的业务一旦需要处理数以P计的数据和面对数以亿计的用户，问题就会变得棘手。大型网站架构主要就是解决这种问题。

1.2.1

大型网站都是从小型网站发展而来，网站架构也一样，是从小型网站架构逐步演化而来，小型网站最开始的没有太多人访问，只需要一台服务器就绰绰有余，这时的网站架构如图1.1所示

应用程序，数据库，文件等所有的资源都在一台服务器上面。通常服务器操作系统使用Linux，应用程序PHP，然后部署到Apache,数据库使用MySQL，汇集各种免费开源软件以及一台廉价服务器就可以开始工作了。

1.2.2 应用服务和数据库服务分离

随着网站业务的发展，一台服务器逐渐不能满足需求，越来越多的用户访问导致性能越来越差，越来越多的数据导致存贮空间不足。这时就需要将应用和数据分离。应用程序和数据分离后整个网站使用三台服务器；应用服务器，文件服务器和数据库服务器，如图1.2所示，这三台服务器对硬件资源的要求各不相同，应用服务器需要处理大量的业务逻辑，因此需要更强大的Cpu；数据库服务器需要快速磁盘检索和数据缓存，因此需要更快的硬盘和大量的内存；文件服务器需要存贮大量的用户上传的文件，因此需要更大的硬盘。

应用和数据分离后，不同特性的服务器承担不同的服务角色，网站的并发处理能力和数据存贮空间得到了很大的改善。支持网站业务的发展。但是随着用户逐渐增多，网站有一次面临挑战；数据库压力太大导致访问延迟，进而影响整个网站的性能，用户体验受到影响。这时需要对网站架构进一步优化。

1.2.3

网站访问特点和现实世界的分配财富一样遵循着二八原则：80%的业务访问集中在20%的数据上。淘宝买家浏览的商品集中在少部分成交数量多，评价良好的商品上；百度搜索关键词集中在热门词汇上；只有经常登录用户才会发微博。

既然大部分的业务逻辑集中在一小部分数据中，那么如果把这一小部分的数据缓存在内存中，是不是就可以减少访问数据库的压力。提高整个网站的数据访问速度上。改善数据库的写入性能了吗？

网站使用的缓存可以分为两种：缓存在应用服务器上的本地缓存和缓存在专门的分布式缓存缓存远程缓存。本地缓存的访问速度更快一些，但是受到应有程序服务器内存限制，其缓存数据量有限，而且会出现和应用程序竞争使用内存的情况。远程分布式缓存可以使用集群的方式，部署大内存的服务器作为专门的缓存服务器，可以在理论上做到不受内存容量限制的缓存服务，如图1.3所示

使用缓存后，数据访问压力得到缓解，但是单一应用程序服务器能够处理的请求链接有限，在网站访问高峰期，应用程序成为整个网站的瓶颈。

1.2.4  使用应用服务器集群改善网站的并发处理能力

使用集群是网站解决高并发，海量数据问题的常用手段。当一台服务器的处理能力，存贮空间不足时，不要企图去更换更强大的服务器，对于大型网站而言，不管多么强大的服务器，都满足不了网站持续增长的业务需求。在这种情况下，更恰当的方式是增加一台服务器分担原有的服务器的访问以及存贮压力。

对网站架构而言，只要能通过增加一台服务器的方式改善负载压力，就可以用同样的方式持续增加服务器不断改善系统性能，从而实现系统的可伸缩性，应用服务器实现集群是网站可伸缩集群架构较为成熟的一种，如图1.4所示

通过负载均衡调度服务器，可将来自用户浏览器的访问请求分发到应用服务器集群中的任何一台服务器上，如果有更多地用户，即在集群中计入更多地应用服务器，使应用服务器的负载压力不在成为网站的瓶颈。

1.2.5 数据库的读写分离

网站在使用缓存后，是绝大部分数据读操作访问都可以不通过数据库就可以完成，但是仍一部分读操作和全部的写操作需要访问数据库，在网站的用户达到一定规模后，数据库因为负载压力过大而成为网站的瓶颈。

目前大部分主流的数据库都提供热备功能，通过配置两台数据库主从关系，可以将一台数据库数据库同步更新到另一台服务器，网站利用数据库的这一功能，实现数据库读些分离，从而改善数据库负载压力。

应用服务器在写数据的时候，访问主数据库，主数据库通过主从复制机制将数据更新到从数据库，这样当应用程序服务器读取数据的时候，就可以通过从数据库获得数据。为了便于应用程序访问读写分离后的数据库，通常在应用程序服务器使用专门的数据访问模块，是数据库读些分离对应用透明。

大型网站技术架构--核心原理和案例分析 大型网站架构演化（一）,古老的榕树,5-wow.com