当前位置:首页 > CMS教程 > WordPress > 列表

什么是robots协议,wordpress网站的robots协议怎么写

发布:smiling 来源: PHP粉丝网  添加日期:2015-02-28 20:55:03 浏览: 评论:0 

网站的robots协议也可以叫做爬虫协议,通过这些协议可以告诉搜索引擎蜘蛛网站的哪些内容可以抓取,哪些不能抓取。具体解释可以参照百度百科。关于wordpress网站的robots协议,八猫做了详细的梳理。这里感谢悦听有声站长的分享。

1.什么是robots协议

网站的robots协议也可以叫做爬虫协议,通过这些协议可以告诉搜索引擎蜘蛛网站的哪些内容可以抓取,哪些不能抓取。具体解释可以参照百度百科。关于用法,其实很简单。写好robots.txt写好之后,把robots.txt协议上传到网站的根目录。这样每次搜索引擎抓取的时候就会遵循robots.txt协议上的内容进行抓取。不过需要注意的是:

robots.txt在书写的时候一定要谨慎,因为不够谨慎的话导致网站收录收到影响。比如下面这句:Disallow: /。phpfensi.com

这个指的是不允许抓取网站上所有的内容。注意斜杠之前要有一个空格。包括其他的Disallow也是。一定要有空格,这个才是正确的robots写法。

2.wordpress网站如何使用书写robots协议

关于wordpress网站的robots协议,八猫做了如下汇总。这是悦听有声的站长分享出来的。简单说下 User-agent: 搜索引擎的名称。其他的可以具体看。

  1. User-agent: * 
  2.  
  3.  
  4. Disallow: /wp-admin/ 
  5.  
  6.  
  7. Disallow: /wp-content/ 
  8.  
  9.  
  10. Disallow: /wp-includes/ 
  11.  
  12.  
  13. Disallow: /feed 
  14.  
  15.  
  16. Disallow: comment-page-* 
  17.  
  18.  
  19. Disallow: trackback 
  20.  
  21.  
  22. Disallow: /?s=* 
  23.  
  24.  
  25. Disallow: /*/?s=* 
  26.  
  27.  
  28. Disallow: /?p=* 
  29.  
  30.  
  31. Disallow: /?p=*&preview=true 
  32.  
  33.  
  34. Disallow: /?page_id=*&preview=true 
  35.  
  36.  
  37. Disallow: /wp-login.php 
  38.  
  39.  
  40. User-agent: MJ12bot 
  41.  
  42.  
  43. Disallow:/ 
  44.  
  45.  
  46. User-agent: Adsbot-Google 
  47.  
  48.  
  49. Disallow: / 
  50.  
  51.  
  52.  User-agent: Feedfetcher-Google 
  53.  
  54.  
  55. Disallow: / 
  56.  
  57.  
  58.  User-agent: Yahoo! Slurp 
  59.  
  60.  
  61. Disallow: / 
  62.  
  63.  
  64.  User-agent: Yahoo! Slurp China 
  65.  
  66.  
  67. Disallow: / 
  68.  
  69.  
  70.  User-agent: Yahoo!-AdCrawler 
  71.  
  72.  
  73. Disallow: / 
  74.  
  75.  
  76.  User-agent: YoudaoBot 
  77.  
  78.  
  79. Disallow: / 
  80.  
  81.  
  82.  User-agent: Sosospider 
  83.  
  84.  
  85. Disallow: / 
  86.  
  87.  
  88.  User-agent: Sogou spider 
  89.  
  90.  
  91. Disallow: / 
  92.  
  93.  
  94. User-agent: Sogou web spider 
  95.  
  96.  
  97. Disallow: / 
  98.  
  99.  
  100. User-agent: MSNBot 
  101.  
  102.  
  103. Disallow: /

Tags: robots协议 wordpress协议

分享到: