网站的robots协议也可以叫做爬虫协议，通过这些协议可以告诉搜索引擎蜘蛛网站的哪些内容可以抓取，哪些不能抓取。具体解释可以参照百度百科。关于wordpress网站的robots协议，八猫做了详细的梳理。这里感谢悦听有声站长的分享。

1.什么是robots协议

网站的robots协议也可以叫做爬虫协议，通过这些协议可以告诉搜索引擎蜘蛛网站的哪些内容可以抓取，哪些不能抓取。具体解释可以参照百度百科。关于用法，其实很简单。写好robots.txt写好之后，把robots.txt协议上传到网站的根目录。这样每次搜索引擎抓取的时候就会遵循robots.txt协议上的内容进行抓取。不过需要注意的是：

robots.txt在书写的时候一定要谨慎，因为不够谨慎的话导致网站收录收到影响。比如下面这句：Disallow: /。phpfensi.com

这个指的是不允许抓取网站上所有的内容。注意斜杠之前要有一个空格。包括其他的Disallow也是。一定要有空格，这个才是正确的robots写法。

2.wordpress网站如何使用书写robots协议

关于wordpress网站的robots协议，八猫做了如下汇总。这是悦听有声的站长分享出来的。简单说下 User-agent： 搜索引擎的名称。其他的可以具体看。

1. User-agent: * 
2.  
3.  
4. Disallow: /wp-admin/ 
5.  
6.  
7. Disallow: /wp-content/ 
8.  
9.  
10. Disallow: /wp-includes/ 
11.  
12.  
13. Disallow: /feed 
14.  
15.  
16. Disallow: comment-page-* 
17.  
18.  
19. Disallow: trackback 
20.  
21.  
22. Disallow: /?s=* 
23.  
24.  
25. Disallow: /*/?s=* 
26.  
27.  
28. Disallow: /?p=* 
29.  
30.  
31. Disallow: /?p=*&preview=true 
32.  
33.  
34. Disallow: /?page_id=*&preview=true 
35.  
36.  
37. Disallow: /wp-login.php 
38.  
39.  
40. User-agent: MJ12bot 
41.  
42.  
43. Disallow:/ 
44.  
45.  
46. User-agent: Adsbot-Google 
47.  
48.  
49. Disallow: / 
50.  
51.  
52.  User-agent: Feedfetcher-Google 
53.  
54.  
55. Disallow: / 
56.  
57.  
58.  User-agent: Yahoo! Slurp 
59.  
60.  
61. Disallow: / 
62.  
63.  
64.  User-agent: Yahoo! Slurp China 
65.  
66.  
67. Disallow: / 
68.  
69.  
70.  User-agent: Yahoo!-AdCrawler 
71.  
72.  
73. Disallow: / 
74.  
75.  
76.  User-agent: YoudaoBot 
77.  
78.  
79. Disallow: / 
80.  
81.  
82.  User-agent: Sosospider 
83.  
84.  
85. Disallow: / 
86.  
87.  
88.  User-agent: Sogou spider 
89.  
90.  
91. Disallow: / 
92.  
93.  
94. User-agent: Sogou web spider 
95.  
96.  
97. Disallow: / 
98.  
99.  
100. User-agent: MSNBot 
101.  
102.  
103. Disallow: /

Tags: robots协议 wordpress协议

分享到：