乌鲁木齐网站优化搜索引擎蜘蛛工作原理 一、抓取网页。 每家独立的搜索引擎都会有自己的网页抓取程序爬虫。爬虫蜘蛛顺着网页中的超链接分析连续访问抓去更多网页。被抓取的网页被称之为网页快照。毋庸置疑，搜索引擎蜘蛛抓取网页是有一定规律的。如下： 1、权重优先：先参照链接的权重，再综合深度优先和宽度优先策略抓取。打个比方，如果这条链接的权重还不错，就采用深度优先;如果权重很低，则采用宽度优先。 2、重访抓取：这个就可以直接字面上理解。因为搜索引擎使用单个重访与全部重访结合的居多。所以我们做网站内容要记得定期维护日常更新，让蜘蛛多来访多抓取才能收录快。 二、处理网页。 搜索引擎抓取到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引库和索引。其他还包括去除重复网页、分词(中文)、判断网页类型、超链接分析、计算网页的重要度/丰富度等。 处理网页分为以下几个部分： 1、网页结构化：HTML代码全部删除掉，提取出内容。 2、消噪：留下网页的主题内容。 3、查重：查找删除重复的网页与内容。 4、分词：提取出正文的内容后，分成若干个词语，然后排列存
