首页 » 技术 » 网络 » Wordpress » 添加noindex标签到WordPress的/page/页面

添加noindex标签到WordPress的/page/页面

相信很多人的网站被搜索引擎收录了大量的/page/页面,如下面的链接,你可以通过Google搜索:“site:yourwebsite.com inurl:/page/”查询你的收录页面是否有这样的结果:

  1. http://clyee.com/blog/page/2/   
  2. http://clyee.com/blog/topics/psychology/page/2/   
  3. http://clyee.com/blog/tag/seo/page/2/  

Homepage主页的Subpages页面是可以通过插件来完成添加noindex,follow的,但是如何添加<meta name=”robots” content=”noindex,follow”>给分类和标签的分页呢? 因为这样的搜索结果对搜索引擎是一点意义都没有。比如Categories或者tag的/page/页面,所以我们采取措施让收索引擎不收录它们。

两种方法 There are two ways.
1.你可以通过robots.txt进行拦截,写法为:

  1. User-agent: *   
  2. Disallow: */page/*  

2.通过php判断url中是否有/page/字符串完成,如/page/2

  1. <?php   
  2. $url = ‘http://’.$_SERVER[“HTTP_HOST”].$_SERVER[‘REQUEST_URI’];   
  3. if ((strpos(“$url”,“/page/”)==false))   
  4. { ?>   
  5. <?php } else { ?>   
  6. <meta name=“robots” content=“noindex,follow” />   
  7. <?php } ?>  

* 其中noindex是指不要收录这个页面,follow是指跟踪(即爬行)这个页面上的链接。你也可以选择noindex,nofollow的组合,意思为不收录这个页面,也不跟踪页面中的链接。

第二个方法比第一个方法好在:搜索引擎可以爬行page页面,但是不收录。而不是阻止搜索引擎爬行page页面。

上面的代码通过判断请求页面的URL中是否含有”/page/”这个字段,如果有,就添加标签,如果没有就跳过。添加到header.php中不仅可以判断tag的分页,也可以判断categories的分页。这段代码不仅适用于Wordpress,还可以添加到Typecho等php博客程序的header.php中。