1.    　在“百度搜索帮助中心”中，

　　对如何禁止百度蜘蛛访问是这样定义的 ：

User-agent: Baiduspider

Disallow: /

　　仅允许百度蜘蛛的访问：

User-agent: Baiduspider

Disallow:

　　禁止百度蜘蛛访问特定目录：

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

2.    2

下面我们以举例子的方法逐步介绍，例1

3.    3

例2

4.    4

例3

5.    例4

6.    例5

7.    例6

8.    例7

9.    例8

10. 例9

11. 例10

12. 例11

13. 例12

14. 新旧页面的处理方法：

新旧页面的处理即网站改版，旧的内容页面和新的内容页面重复，只是URL不同的情况下则需要以robots.txt把旧页面屏蔽掉，只充许搜索引擎收录新的页面。