大型网站分类更新策略

一 大型网站特点：

信息量大。一个站点如果本身涵盖的领域范围不广泛，网页数量不大的话， 不可能称为大型网站。显而易见，在整个Web中，大型网站占整个网站 数很小的比列，但网页数量和网页字节数占据比例却较大； 

结构化程度高。为吸引更多的到访用户，大型网站的结构设计通常都比较 优秀。URL层次分明，而且网页命名规范； 

时效性强。大型网站拥有良好的网页编辑体系，页面内容可以得到保证， 总能及时跟上网民的聚焦点； 

·变化速度快。大型网站中，几乎不存在超过一个月都没发生变化的网页；

·变化频率不一致。变化多次的网页，如新闻类每小时都有新页面产生，而 变化速度慢的，可能一周内都毫无动静。

大型站点正是能涵括新闻发布、休闲娱乐和资料查询的网站。

二 大型网站分类更新策略

1 子网站的划分

2 获取子网站网页变化频率

Web中网页变化形式有三种：新页面的产生、旧网页内容的改变、旧网页的 删除。在更新本地索引库的网页快照时就有两种必要的操作：刷新本地已抓取的页面；发现并抓取网页更新周期内Web上新产生的页面。

本文可以通过访问索引 页来抓取网站中新产生的页面。索引页的评价标准设定如下：

(1)网页是网站首页；

(2)网页URL目录深度小，通常为三级以下；

(3)网页URL以index、default或者英文主题词加上HTML或其他动态页面

的结尾。

通过采用分析这些子网站索引页的改 变频率(超链接的改变频率)，就可以确定子网站网页变化频率。

3 子网站的分类

速变型表示此子网站的网页平均变化频率是以小时为单位的，例如新闻类 页面，在某些特定周期内，每小时变化甚至超过五次。在奥运期间，体育 类新闻页面变化频率达每小时8次以上； 

多变型表示此子网站网页平均变化频率是以天为单位的，例如科技类、商 业类页面，这些页面有的一天变化一次，有的两到三天变化一次； 

少变型表示此子网站网页平均变化频率是以星期为单位的，例如文化类， 教育类页面，这些页面多数以固定展示内容为主。

4  分类更新策略

一个优秀的网页更新策略，不仅仅是在现有的网络资源和硬件条件支持下尽 可能的提高搜索引擎的新鲜度，它也需减轻Web服务器的访问负担。搜索引擎在网络应用服务上面的高应用率，也决定它的性能要求必须满足用户对于检索信息 更时新更及时的要求。在前文基础上，接下来是按照子网站已划分好的不同类别 制定各自的面向用户体验的更新策略。

【用户行为分析】

通过分析日志文件可以发现用户的浏览的兴趣，确定网站服务器访问高峰。

【面向用户体验的分类更新策略】

_针对速变型子网站

每天更新两次，时间选择在上午6．7时和下午16．17时

_针对多变型子网站

每天更新一次，时间选择在凌晨3．4时。这样选择错开速变型更新的时间段，对Web服务器友好。

_针对少变型子网站

每周更新一次，时间选择在每周目凌晨1．2点。

----------->  时间段信息

对于大部分用户来 说，上午8点是开始使用网络工作学习的时间也是访问高峰期，选择在此之前更 新本地网页库，在用户使用搜索引擎获取信息资源时，可以更好的获取第一手资 料；而傍晚18点开始，用户处于休闲状态，对娱乐、文化或者来不及浏览的新闻 报导等资源有获取需求。