可以在根目录的robots,txt文件里面修改相应的设置:
robots.txt文件用法举例
例1、禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
例2、允许所有的robot访问
User-agent: *
Disallow:
(或者也可以建一个空文件 "/robots.txt" file)
例3、禁止某个搜索引擎的访问
User-agent: BadBot
Disallow: /
例4、允许某个搜索引擎的访问
User-agent: baiduspider
Disallow:
User-agent: *
Disallow: /
例5、一个简单例子
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /joe/
需要注意的是对每一个目录必须分开声明,而不要写成:“Disallow: /cgi-bin/ /tmp/”。
User-agent:后的* 具有特殊的含义,代表“any robot”,所以在该文件中不能有 “Disallow: /tmp/*” or “Disallow: *.gif”这样的记录出现。
就如robot文件就可以了