【个人站长】做seo打造有效页面数据库

这篇文章主要介绍的是如何提高有效页面的收录数量的流程，步骤或者是思路，见仁见智，根据网站实际情况出发，效果更会好点，但是套路具有普适性，所以本文值得认真研读。

科学的SEO_打造有效页面数据库

开篇之前，再次回顾一个公式，叫做SEO流量公式，这个公式虽然不是全对，但是能够延伸出所有的SEO运营操作点，所以需要反复咀嚼，更需要时刻拿出来装逼用。

SEO流量公式：SEO流量=搜索需求覆盖率*收录量*排名*点击率

总此公式出发，假如搜索需求覆盖率，排名和点击率这三个值是确定的，那么只需要增加收录量就可以增加流量了。然而收录量的只是单纯的收录量（天真脸）吗？

科学尚未普及，思维上的粒度还需要再次细分：

收录量=无效收录量+有效收录量

所以从运营的角度出发做收录量的核心是：增加有效收录量，冷处理无效收录量（冷处理就是不理他，先放着）

再次细分，增加有效收录量需要从两方面出发：

（1）增加有效页面数

（2）增加有效页面的爬取量。单独一个网站的蜘蛛资源在一个阶段是有限，每天派出4000蜘蛛爬取，这个资源量一般不会突然发生暴增，所以这里就需要nofollow和sitemap去引导蜘蛛爬取有效页面，具体如何引导可以参考这两篇文章：

基于抓取策略的htmlsitemap

我也谈一下nofollow

第一点就是增加有效页面数量，这也是本文讨论的主旨，我给出的参考文章你可以看完本文之后再去点击扩展阅读，下面我们继续来谈有效页面数应该如何系统流程化的增加。

有效页面的定义

定义：有效页面就是有收录价值的页面。

定义标准

基于爬虫的web信息采集技术的理论基础：分析目标网站结构，确定抓取规则，扩展heritrix爬虫，对于网页内容，可以分析所得网页的页面结构特点，利用jsoup过滤页面噪声信息，提取内容，在内容索引方面，运用lucenne对存储在数据中的信息进行索引，实现对采集信息的全文索引，在内存呈现方面，可以整合struts2、spring、hibernate这三种技术框架，搭建三层j2ee框架，利用web页面展示所抓取过滤后的信息。

2.这个页面被搜索引擎抓取，索引，并且在参与排名的索引库中。

如果你在类别页面设定rel=canonical说明指向其他页面，那么该类别页面就不会被索引。

对于这样的问题，建议网站使用503返回码，这样百度的抓取器接到503返回码后，会在隔一段时间再去访问这个地址，在您的页面建好上线后，就又能被重新抓取，保证页面及时被抓取和索引，避免未建好的内容设为404后带来不必要的收录和流量损失。

3，无(弱)排名价值，但可以提升整站权重。这类页面常见于海量文章页、贴子等。通过UGC创造的页面大多数可以归为此类。不过，这些海量的页面，除了可以极大提高整站权重，其整体排名价值又往往超过了网站其他所有有效页面。这是非常有意思的现象。页面数量越多的网站，这个表现越明显——很多你压根想不到的词，这些词大部分只被检索过一次，带来的流量超过了整体的一半。

建立有效页面数据库的流程

关于有效页面数据库搭建流程，可以单独写一篇比较长的文章。这里做框架性阐述。

1.确立有效页面规则

主体、意图、属性A(可能还有B、C、D等)、记录A(可能还有B、C、D等)、页面类型以及URL。

举例大概可以设计下面这个样子

拿到一个有效页面规则，其他目的地国家都同理得到。

2.拿到字典表

页面各个字段参数与记录对应关系构成了字典表。

大概可以设计下面这个样子

注意：最好加上主体、意图、属性这三个字段。随着网站结构复杂，记录上完全一样的词，对应的参数很可能不一样。所以需要加上主体、意图、属性来加以细分。