1. 在“百度搜索帮助中心”中，
对如何禁止百度蜘蛛访问是这样定义的 ：
User-agent: Baiduspider
Disallow: /
仅允许百度蜘蛛的访问：
User-agent: Baiduspider
Disallow:
禁止百度蜘蛛访问特定目录：
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
2. 2
下面我们以举例子的方法逐步介绍，例1
3. 3
例2
4. 4
例3
5. 例4
6. 例5
7. 例6
8. 例7
9. 例8
10. 例9
11. 例10
12. 例11
13. 例12
14. 新旧页面的处理方法：
新旧页面的处理即网站改版，旧的内容页面和新的内容页面重复，只是URL不同的情况下则需要以robots.txt把旧页面屏蔽掉，只充许搜索引擎收录新的页面。
