网站架构资料集
add by zhj:很多文章是转自www.itivy.com,很可惜,这个网站已经无法访问,不过,你可以用Google搜索一下这些文章,另外
各大网站架构总结笔记 也能看到部分转载的原文。
原文:http://www.diguage.com/archives/41.html
扯扯蛋
以前见过零零散散地介绍一些知名网站架构的分析文章。最近D瓜哥也想研究一下各大知名网站的架构。所以,就搜集了一下这方面资料。限于时间问题,这篇文章分享的文章并没有都看完,所以不保证所有文章的质量。另外,如果有朋友发现更好的文章,欢迎留言告知。再补充进来。
知名网站架构分析
- 探索Google App Engine背后的奥秘(1)–Google的核心技术
- 探索Google App Engine背后的奥秘(2)–Google的整体架构猜想
- 探索Google App Engine背后的奥秘(3)- Google App Engine的简介
- 探索Google App Engine背后的奥秘(4)- Google App Engine的架构
- 探索Google App Engine背后的奥秘(5)- Datastore的设计
- 探索Google App Engine背后的奥秘(6)- 总结
- Amazon网站架构学习总结
- Amazon网站架构学习总结
- Amazon 的 Dynamo 架构
- eBay 的应用服务器规模
- eBay 的数据量
- 来自淘宝的架构经验
- Yahoo!社区架构
- 基于Facebook和Flash平台的应用架构解析(一)
- 基于Facebook和Flash平台的应用架构解析(二)
- 基于Facebook和Flash平台的应用架构解析(三)
- Facebook图片存储架构的学习
- facebook图片存储架构技术全解析
- Facebook数据仓库揭秘:RCFile高效存储结构
- Facebook 架构学习
- Facebook 架构学习
- 人人网移动开发架构
- QQ空间技术架构之深刻揭密
- Twitter 的架构扩展: 100 倍性能提升
- Twitter网站架构学习笔记
- 国内外大型SNS网站后台架构对比
- 优酷网架构学习笔记
- 优酷网(Youku.com)架构经验
- YouTube架构学习体会
- YouTube 的架构扩展
- Digg网站架构
- Digg 网站架构
- WikiPedia技术架构学习笔记
- Yupoo网站架构学习总结
- Flickr 网站架构分析
- 学习 Flickr 的 基于 LAMP 的容量规划经验
- MySpace 系统架构
- 回顾MySpace架构的坎坷之路
- 挑战空中加油——1号店B2C电商系统演进之路
- PlentyOfFish.com .NET网站的又一传奇
- 学习豆瓣好榜样–网站架构
- 37Signals 架构
- Tailrank 网站架构
- SmugMug 的架构介绍
- 高并发PHP网站Poppen.de架构学习
- Drupal与大型网站架构
- 手机之家网站架构–对话高春辉
- 手机之家的网站架构设计和演化
- 学习 HeroKu 的架构设计
- 各大网站架构总结笔记
- 花瓣网的架构介绍
- 大型网站架构技术专家谈
架构分析与设计
- 架构之美–开放环境下的网络架构
- 案例分析:基于消息的分布式架构
- 基于模式的架构评审
- 为不规则应用设计新一代超大型多线程架构
- 从简单到复杂:大型Rails与VoIP系统架构与部署实践
- 专家视角看IT与架构
- 架构腐化之谜
- 我眼中的云端架构
- 从100PV到1亿级PV网站架构演变
- 网站架构设计方案
- 浅谈大型网站动态应用系统架构——鉴于某度有胡乱改系统,而且不自动保留原来数据的恶习,建议大家手动备份下来。
- 做大的艺术 – 大型网站的架构设计
- 平台网站架构设计之我所见
- 屌丝程序员如何打造日PV百万的网站架构
- 设计 REST 风格的 MVC 框架
- 集群架构实践 – 初试Memcached
- BigPipe,加速你的页面加载
- 一步步构建大型网站架构
- 图片存储架构学习:缓存,架构师的美丽小三
- 要快速伸缩?重新架构吧!
- 大型Rails与VoIP系统架构与部署实践
- LAMP网站架构方案分析
- 大型网站架构演变和知识体系
- 网站架构相关PPT、文章整理
- 说说大型高并发高负载网站的系统架构
- 软件架构设计思考之一
- 视频流服务架构解析
- Rails架构简介
- 自建CDN防御DDoS(1):知己知彼,建设持久防线
- 自建CDN防御DDoS(2):架构设计、成本与部署细节
- 自建CDN防御DDoS(3):架构的后续改进
- 系统技术非业余研究-资料下载
- 中小型应用系统知识体系
- 中小型应用系统架构体系
- 《架构师》月刊——InfoQ推出来的电子杂志。貌似还不错。
- 系统设计说明书(架构、概要、详细)目录结构——D瓜哥不太擅长写文档,所以插播个文档模板。
架构背后的技术
- CDN(内容分发网络)技术原理
- 高性能网站的十四条黄金法则
- 大型网站后台架构的web server与缓存
- Facebook性能大提升的秘密:HipHop
- 浅谈Squid在图片存储架构中的应用
- 揭秘淘宝自主研发的文件系统——TFS
- 百万级访问量网站的技术准备工作
- 谈谈大型网站的负载均衡器、db proxy和db
- 深入浅出node.js游戏服务器开发——Pomelo框架的设计动机与架构介绍
- 架构师不可不知的十大可扩展架构
- Memcached FAQ(1) 一般性的问题
- Memcached FAQ(2) 集群架构方面的问题
- Memcached FAQ(3) 性能和客户端库方面的问题
- Memcached FAQ(4) 选项、Item过期和命名空间方面的问题
- 分享一些资料(侧重Linux)
- 用JavaScript阐述MapReduce原理
- 分享一些D瓜哥攒的比较好的Web开发资料
数据库架构
插件架构
- 关于Plugin Framework的关键因素
- Plugin Architecture简述
- Eclipse(3.1) Plugin Framework(基于OSGI的Plugin Architecture)
- OSGI与Plugin Architecture
- 思考插件架构体系
- 基于Equinox开发系统的总结
- Declarative Services――Service-Oriented Component Model
- Service-Oriented Component Model(SOCM)
- 插件开发框架的思考
- 基于Eclipse Equinox的插件框架:TPF
问题
- WordPress的插件架构是怎么样的?
权限架构
转自:http://www.diguage.com/archives/41.html
网络架构师:各大型网站架构分析收集 及大型高负载网站架构的感
想
1. PlentyOfFish 网站架构学习
http://www.dbanotes.net/arch/plentyoffish_arch.html
采取
Windows 技术路线的 Web 2.0 站点并不多,除了 MySpace ,另外就是这个 PlentyOfFish。这个站点提供 “Online
Dating” 服务。一个令人津津乐道的、惊人的数据是这个只有一个人(创建人Markus Frind)的站点价值 10 亿,估计要让很多人眼热,更何况
Markus Frind 每天只用两个小时打理网站–可操作性很强嘛。
2. 从LiveJournal后台发展看
大型网站系统架构以及性能优化方法
http://www.example.net.cn/archives/2006/03/olivejournaloio.html
LiveJournal是99年始于校园中的项目,几个人出于爱好做了这样一个应用,以实现以下功能:
*
博客,论坛
* 社会性网络,找到朋友
*
聚合,把朋友的文章聚合在一起
LiveJournal采用了大量的开源软件,甚至它本身也是一个开源软件。
在上线后,LiveJournal实现了非常快速的增长:
*
2004年4月份:280万注册用户。
* 2005年4月份:680万注册用户。
* 2005年8月份:790万注册用户。
*
达到了每秒钟上千次的页面请求及处理。
* 使用了大量MySQL服务器。
* 使用了大量通用组件。
3. YouTube
的架构扩展
http://www.dbanotes.net/opensource/youtube_web_arch.html
在西雅图扩展性的技术研讨会上,YouTube
的 Cuong Do 做了关于 YouTube Scalability 的报告。视频内容在 Google Video
上有(地址),可惜国内用户看不到。
Kyle Cordes 对这个视频中的内容做了介绍。里面有不少技术性的内容。值得分享一下。(Kyle Cordes
的介绍是本文的主要来源)
4. WikiPedia 技术架构学习分享
http://www.dbanotes.net/opensource/wikipedia_arch.html
维基百科(WikiPedia.org)位列世界十大网站,目前排名第八位。这是开放的力量。
来点直接的数据:
*
峰值每秒钟3万个 HTTP 请求
* 每秒钟 3Gbit 流量, 近乎375MB
* 350 台 PC 服务器
5. Tailrank
网站架构
http://www.dbanotes.net/review/tailrank_arch.html
每天数以千万计的
Blog 内容中,实时的热点是什么? Tailrank 这个 Web 2.0 Startup 致力于回答这个问题。
专门爆料网站架构的 Todd
Hoff 对 Kevin Burton 进行了采访。于是我们能了解一下 Tailrank 架构的一些信息。每小时索引 2400 万的 Blog 与
Feed,内容处理能力为 160-200Mbps,IO 写入大约在10-15MBps。每个月要处理 52T 之多的原始数据。Tailrank
所用的爬虫现在已经成为一个独立产品:spinn3r。
6. LinkedIn 架构笔记
http://www.dbanotes.net/arch/linkedin.html
LinkedIn 雇员有
180 个,在 Web 2.0 公司中算是比较多的,不过人家自从 2006 年就盈利了,这在 Web 2.0 站点中可算少的。用户超过 1600
万,现在每月新增 100 万,50% 会员来自海外(中国用户不少,也包括我).
7. Yahoo!社区架构
http://www.dbanotes.net/arch/yahoo_arch.html
旧金山举行的
QCon 会议带给我们很多新鲜的信息。虽然没机会参加,但是看看各个网站”晒架构”也是个比较过瘾的事情。请参观并收藏这个页面:Architectures
you’ve always wondered about。
8. Craigslist 的数据库架构
http://www.dbanotes.net/database/craigslist_database_arch.html
Craigslist
绝对是互联网的一个传奇公司。根据以前的一则报道:
每月超过 1000 万人使用该站服务,月浏览量超过 30
亿次,(Craigslist每月新增的帖子近 10 亿条??)网站的网页数量在以每年近百倍的速度增长。Craigslist 至今却只有 18
名员工(现在可能会多一些了)。
9. Fotolog.com 的技术信息拾零
http://www.dbanotes.net/review/fotolog_arch.html
尽管是世界上最大的图片服务网站,
Fotolog.com 在国内的名气并不是很响亮, 每当提到图片服务, 很多人第一个会想起 Flickr. 但实际上 Fotolog 也的确是很猛的,
Alexa 上的排名一直在 Flickr 前面, 目前注册用户超过 1100 万. 而前不久也卖了一个好价钱, 9000 万美金. 算下来的话, 1
个注册用户大约 9 美金. Yupoo 的刘平阳可以偷着算算自己的网站如果卖给老外是怎样一个价格了.
10. Digg 网站架构
http://www.dbanotes.net/arch/digg_arch_cache_and_shard.html
Digg
工程师采用 LAMP (Linux, Apache, MySQL and PHP) 模式。这个 Alexa 排名在 100 左右的、自我估价 1.5
亿美金的站点目前有超过 100 台的 PC 服务器(足够少了),可以粗略分成三个部分:数据库服务器,Web 服务器,搜索服务器。
11.
Amazon 的 Dynamo 架构
http://www.dbanotes.net/techmemo/amazon_dynamo.html
我在
DBAnotes.net 上记录过不少比较大的网站架构分析(eg: eBay [1], eBay [2]) ,Amazon
一直找不到太多的资料。国庆期间读到了一篇关于 Amazon Dynamo 的论文,非常精彩。Amazon Dynamo
这个高可用、可扩展存储体系支撑了Amazon 不少核心服务.
12. 财帮子(caibangzi.com)网站架构
http://www.dbanotes.net/arch/caibangzi_web_arch.html
财帮子(caibangzi.com)
定位在”基金理财社区”。是国内访问量最大的基于 Ruby on rails 的 startup
项目。“理财”这个词据说是光大银行发明的,且不去管,不可否认的是,目前国内”理财”是个很有潜力的切入点。财帮子网站潜在用户群还是很大的。
13.
了解一下 Technorati 的后台数据库架构
http://www.dbanotes.net/web/technorati_db_arch.html
目前处理着大约
10Tb 核心数据, 分布在大约 20 台机器上.通过复制, 多增加了 100Tb 数据, 分布在 200 台机器上. 每天增长的数据 1TB. 通过 SOA
的运用, 物理与逻辑的访问相隔离, 似乎消除了数据库的瓶颈. 值得一提的是, 该扩展过程始终是利用普通的硬件与开源软件来完成的. 毕竟 , Web 2.0
站点都不是烧钱的主. 从数据量来看,这绝对是一个相对比较大的 Web 2.0 应用.
14. 说说大型高并发高负载网站的系统架构
http://www.toplee.com/blog/?p=71
我在CERNET做过拨号接入平台的搭建,而后在Yahoo&3721从事过搜索引擎前端开发,又在MOP处理过大型社区猫扑大杂烩的架构升级等 工作,同时自己接触和开发过不少大中型网站的模块,因此在大型网站应对高负载和并发的解决方案上有一些积累和经验,可以和大家一起探讨一下。
15.
大型高负载网站架构 的感想
http://atman.memoab.com/articles/194
摘自:http://blog.csdn.net/lovingprince/article/details/3379710
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。